Jamf, Amazon Bedrock Harcamalarını Sınırlamak İçin Gerçek Zamanlı Sistem Kurdu
Jamf, üretken yapay zeka maliyetlerini denetlemek amacıyla Amazon Bedrock üzerinde kullanıcı bazlı ve gerçek zamanlı bir harcama kontrol mimarisi geliştirdi.
Apple cihaz yönetimi ve güvenliği sağlayan Jamf, Amazon Bedrock kullanan mühendislerin yapay zeka maliyetlerini kontrol altında tutmak için yeni bir gerçek zamanlı harcama denetim mekanizması hayata geçirdi.
Yapay Zeka Maliyet Sorunu
Üretken yapay zeka harcamaları geleneksel bilişim maliyetlerinden farklı bir yapı sergilemektedir. Geleneksel maliyetler kapasiteye göre ölçeklenirken, yapay zeka harcamaları doğrudan kullanıcı davranışlarına bağlı olarak değişkenlik göstermektedir.
Mühendislerin premium modeller üzerinde yürüttüğü yoğun çalışmalar kısa sürede yüksek maliyetler oluşturabilmektedir. Bu durum, faturalandırma dönemi öncesinde harcamaların görünür olmasını zorlaştırmaktadır.
Geliştirilen Altyapı Çözümü
Jamf, mühendislik ekibine Amazon Bedrock erişimi sağlarken periyodik maliyet görünürlüğü elde etmek amacıyla üretim ortamında yeni bir sistem kurmuştur.
Bu sistem; AWS IAM Müşteri Yönetim Politikaları, Amazon Athena maliyet görünümü ve sunucusuz AWS Lambda denetim döngüsünü bir araya getirmektedir.
Kademeli Model Kısıtlamaları
Geliştirilen çözüm, her mühendisin günlük Amazon Bedrock harcamalarını takip ederek bütçe sınırlarına yaklaşıldığında kademeli model kısıtlamaları uygulamaktadır.
Günlük bütçenin yüzde seksenine ulaşıldığında bazı modellere erişim kısıtlanırken, daha düşük maliyetli modeller açık bırakılarak mühendislerin çalışmalarına kesintisiz devam etmesi sağlanmaktadır.
Sunucusuz Mimari Bileşenleri
Sistemin mimarisi, çağrı günlüğü kaydı için Amazon S3, günlük harcamaları hesaplamak için Amazon Athena ve denetim işleyicisini tetiklemek için Amazon EventBridge bileşenlerini kullanmaktadır.
IAM ilke sürümleme özellikleri sayesinde aktif oturumlar kesintiye uğratılmadan canlı erişim değerlendirmeleri anlık olarak gerçekleştirilmektedir.