Amazon EKS Üzerinde NVRx ile Kesintisiz Dağıtık Eğitim
AWS, NVIDIA NVRx uzantısının Amazon EKS ve PyTorch FSDP ile entegrasyonunu göstererek büyük ölçekli yapay zeka eğitimlerinde kesintileri önlüyor ve GPU verimliliğini artırıyor.
Büyük ölçekli dağıtık yapay zeka eğitimlerinde yaşanan donanım ve ağ sorunlarının önüne geçmek amacıyla AWS, NVIDIA Resiliency Extension (NVRx) teknolojisinin Amazon EKS ve PyTorch FSDP ile nasıl entegre edileceğini duyurdu.
Dağıtık Eğitimlerde Yaşanan Kesintiler
Günlerce süren büyük ölçekli dağıtık eğitim işlerinde ağ kesintileri, bellek hataları ve donanım arızaları gibi aksaklıklar kaçınılmaz olarak karşımıza çıkmaktadır.
Tek bir GPU arızası, sağlıklı çalışanlarda bile zaman aşımına yol açarak pahalı GPU saatlerinin boşa harcanmasına neden olmaktadır.
NVRx Entegrasyonu ve Temel Özellikleri
AWS, bu zorlukların üstesinden gelmek için NVIDIA Resiliency Extension (NVRx) sistemini Amazon Elastic Kubernetes Service ortamında PyTorch FSDP ile birleştirdi.
NVRx, özel çekirdeklere veya PyTorch düzenlemelerine gerek kalmadan uygulama düzeyinde dayanıklılık sağlayan gelişmiş bileşenler sunmaktadır.
Asenkron Kontrol Noktaları
Asenkron kontrol noktası özelliği, durum sözlüğünü arka plan sürecine devrederek eş zamanlı kaydetme işlemlerinin yarattığı darboğazları ortadan kaldırmaktadır.
Her bir derece kendi parçasını doğrudan yazarak geleneksel yöntemlerde görülen bekleme sürelerini ve zaman kayıplarını en aza indirmektedir.
Süreç İçi ve İş İçi Yeniden Başlatma
Süreç içi yeniden başlatma, geçici hatalarda Python sürecini sonlandırmadan sağlık kontrolleri yapılmasına ve sistemin son noktadan devam etmesine olanak tanır.
İş içi yeniden başlatma ise bellek aşımı veya işletim sistemi düzeyindeki kritik durmalarda hayatta kalanları temizleyerek yeni işçilerin aynı işte yeniden doğmasını sağlar.
Amazon EKS Altyapısı ve Performans
EKS ortamı, yüksek ağ bant genişliğine sahip p5.48xlarge örnekleri ile NCCL operasyonları için güçlü bir altyapı sunmaktadır.
Amazon FSx for Lustre dosya sistemi her pod içerisine monte edilerek dağıtık kontrol noktası okuma ve yazma işlemlerinde ortak POSIX desteği sağlar.