Amazon SageMaker HyperPod Üzerinde Qwen3.8-2.4T-A95B Dağıtımı
Alibaba'nın açık ağırlıklı Qwen3.8-2.4T-A95B modeli, Amazon SageMaker HyperPod ve vLLM kullanılarak NVIDIA B300 GPU'lu altyapılara başarıyla kuruluyor.
Alibaba tarafından geliştirilen Qwen3.8-2.4T-A95B modeli, Amazon SageMaker HyperPod üzerinde vLLM ve NVIDIA B300 Blackwell Ultra GPU altyapısıyla çalıştırılmak üzere teknik bir rehberle kullanıma sunuldu.
Qwen3.8 Modelinin Öne Çıkan Mimari Özellikleri
Alibaba Qwen ekibi tarafından 12 Ağustos 2026 tarihinde yayımlanan model, Qwen-Max sınıfındaki bir modelin ilk kez açık ağırlıklarla sunulmasını temsil ediyor.
Toplam 2.4 trilyon parametreye sahip olan model, her token için 95 milyar aktif parametre kullanıyor ve hibrit mimarisiyle 262 bin token bağlam penceresini destekliyor.
Altyapı ve Donanım Gereksinimleri
Yürütülen teknik detaylara göre dağıtım süreci, sekiz adet NVIDIA B300 Blackwell Ultra GPU barındıran ml.p6-b300.48xlarge örnekleri üzerinde gerçekleştiriliyor.
Kurulum aşamasında küme provizyonu ve NVFP4 nicemleme teknikleri kullanılarak model boyutu tek bir düğüme sığacak şekilde yaklaşık 1.2 terabayta sıkıştırılıyor.
Gelişmiş vLLM Entegrasyonu ve Yetenekler
Yapılandırma süreci; yerleşik akıl yürütme kontrollerini, araç çağırma özelliklerini ve yerel Çoklu Token Tahmini spekülatif kod çözme mekanizmalarını kapsıyor.