Deepgram ve AWS, Nova-3 Ses Modelini Trainium2 ile Optimize Etti

Deepgram, AWS ile iş birliği yaparak Nova-3 konuşmadan metne dönüştürme modelini AWS Trainium2 donanımına uyarladı ve çevrimdışı toplu iş yüklerinde ses işleme verimliliğini önemli ölçüde artırdı.

Deepgram, çağrı merkezi analitiği ve tıbbi transkripsiyon gibi çevrimdışı toplu iş yükleri için Nova-3 modelini AWS Forward Deployed Engineering ekibiyle birlikte PyTorch tabanlı Trainium2 çipleri üzerine taşıdı. Yapılan optimizasyonlar sonucunda tek bir Amazon EC2 trn2.3xlarge örneği üzerinde sekiz model kopyası çalıştırılarak, önceki hesaplama seçeneklerine kıyasla dolar başına yüzde 11 ile 70 arasında daha fazla ses işleme verimliliği sağlandı.

Süreçte TorchNeuron, Neuron Explorer ve Neuron Agentic Development araçları kullanılarak katmanlar optimize edildi ve Rust tabanlı hafif bir veri paralelçalışma zamanı oluşturuldu. Bu sayede Python yorumlayıcı yükü ve küresel yorumlayıcı kilidi engelleri aşılarak performans artırıldı.