OpenAI, GPT-6 için gelişmiş önbellekleme sistemini duyurdu
Yeni sistem, geliştiricilere daha yüksek önbellek isabet oranları, otuz dakikalık yeniden kullanım penceresi ve yeni izleme araçları sunuyor.
OpenAI, GPT-6 ailesi için geliştirilen yeni prompt önbellekleme sistemini duyurarak, paylaşılan bağlamlarda maliyetleri düşüren ve yanıt sürelerini iyileştiren güncellemeleri hayata geçirdi.
GPT-6 ve Karmaşık Görevler
GPT-6, kod tabanlarını yeniden düzenlemekten kapsamlı araştırmalar ve sunumlar hazırlamaya kadar karmaşık görevler üzerinde saatlerce çalışan kalıcı ajanların çalışmasını sağlar.
API İstekleri ve Önbellekleme
Bu ajanların arkasındaki uygulamalar, genellikle önceki turlardan aynı talimatları, araç tanımlarını ve bağlamı taşıyan birbirinin üzerine inşa edilen bir dizi API isteği yapar.
OpenAI, istekler arasında hesaplamayı yeniden kullanmak için bu paylaşılan bağlamı önbelleğe alır; bu da yanıt sürelerini kısaltır.
Maliyet Avantajları ve İndirimler
Sistem, önbelleğe alınan girdi tokenlerinde geliştiricilere yüzde 90'a varan indirimler sunarak operasyonel maliyetleri önemli ölçüde azaltmaktadır.
Yeni Sistem ve Araçlar
Gelişmiş önbellekleme sistemi; varsayılan olarak daha yüksek isabet oranları, 30 dakikalık yeniden kullanım penceresi ve yeni izleme ile tanı araçları sağlar.