Amazon SageMaker AI için Metin Seslendirme Ölçekleme Yöntemi

Amazon Web Services (AWS), Amazon SageMaker AI üzerinde barındırılan metin seslendirme (TTS) modellerinin otomatik ölçeklendirme yapılandırmalarında yaşanan belirsizlikleri ortadan kaldıran yeni bir ölçüm metodolojisini hayata geçirdi. Standart politikaların yol açtığı bozulmaları önlemeyi amaçlayan bu yaklaşım, canlı uç noktalar üzerinden yapılan ampirik ölçümlere dayanıyor.

Standart otomatik ölçeklendirme politikaları çoğunlukla tahminî hedef değerlere dayanıyor ve bu durum trafik artışları sırasında boşta kalan grafik işlemci kaynaklarına ya da hizmet seviyesi hedefi ihlallerine yol açabiliyor. Yeni sunulan yöntem ise bu sorunu çözmek için Kokoro-82M modelinin bir SageMaker gerçek zamanlı uç noktasına özel kapsayıcı olarak konuşlandırılmasını temel alıyor.

Sistem, eşik değerlerini varsayılan metrikler yerine canlı uç noktada gerçekleştirilen iki özel ölçümden elde ediyor: Tek bir örneğin hedef ihlali yaşamadan sürdürebileceği maksimum eşzamanlılığı gösteren Q_max ve bir ölçeklendirme operasyonu için gereken toplam süreyi ifade eden T_total. Kokoro-82M modeli için yapılan testlerde Q_max değeri 50 eşzamanlı istek, T_total süresi ise yaklaşık 260,2 saniye olarak belirlendi.

Dağıtım süreci, doğrulanmış bir ölçüm planı bulunmadıkça ölçeklendirme kaynaklarının sentezlenmemesini sağlayan bağımsız bir kontrol mekanizması içeren AWS Cloud Development Kit (AWS CDK) yığınları aracılığıyla yönetiliyor. Bu sayede ölçülmemiş ve tahmine dayalı yapılandırmaların üretim ortamlarına ulaşması engelleniyor.