Ticaret Testleri Yapay Zeka Ajanlarının Zorlandığı Alanları Ortaya Koyuyor
Alibaba.com tarafından gerçekleştirilen testler, en iyi yapay zeka modellerinin bile çok adımlı ticaret süreçlerinde ve karmaşık iş akışlarında başarısızlıklar yaşayabildiğini gösterdi.
Alibaba.com, yapay zeka modellerinin gerçek ticaret görevlerindeki performansını ölçmek amacıyla CommerceAgentBench testini gerçekleştirdi. Sonuçlar, en başarılı modelin dahi tüm görevleri tamamlamakta zorlandığını ve özellikle çok adımlı süreçlerde aksaklıklar yaşandığını ortaya koydu.
Ticaret Testinin Detayları
Alibaba.com, yapay zeka modellerinin işleri tam anlamıyla bitirip bitiremediğini görmek için 13 yapay zeka modelini 107 gerçek tüccar göreviyle sınadı. Testler sonucunda en iyi performans gösteren model Claude Opus 5 oldu.
Claude Opus 5, görevlerin yüzde 61.7'sini başarıyla tamamlayarak en yüksek skoru elde etti. Ancak bu oran, yapay zeka sistemlerinin ticari alandaki mevcut kapasitesi ve sınırları hakkında önemli bir uyarı niteliği taşıyor.
Çok Adımlı İş Akışlarında Yaşanan Sorunlar
Ajanlar, tedarik zinciri maliyetleri, iade anlaşmazlıkları ve birden fazla bacağı olan nakliye rotaları gibi birçok adımı kapsayan karmaşık görevlerde ciddi zorluklar yaşadı.
Bu tür görevler, yapay zeka modellerinin uzun süreçler boyunca bilgiyi hafızasında tutmasını ve birden fazla değişkeni aynı anda yönetmesini gerektirdiği için sistemlerin tıkanmasına yol açtı.
Farklı Model ve Altyapı Sonuçları
Test edilen yapay zeka modelleri farklı altyapılar üzerinde çalıştırıldı ve modellerin başarı oranları kullanılan altyapıya göre değişiklik gösterdi. Örneğin Claude Opus 5, farklı platformlarda farklı başarı yüzdeleri elde etti.
Gemini 3 Flash modeli ise test edilen tüm altyapılarda yüzde 29 başarı oranında kalarak listenin son sıralarında yer aldı ve tek bir modelin her alanda lider olamayacağını kanıtladı.
Tüccarların Yapay Zeka Tercihleri
Yapılan araştırmalar, tüccarların hangi iş süreçlerini yapay zekaya devretmek konusunda temkinli yaklaştığını da gözler önüne seriyor. Ticaret erbabı özellikle fiyatlandırma konusunu ajanslara devretmeye en az istekli alan olarak belirliyor.
Fiyatlandırmanın ardından dolandırıcılık, anlaşmazlıklar ve sorumluluk gerektiren diğer hassas operasyonlar da tüccarların yapay zekaya emanet etmekten kaçındığı başlıca alanlar arasında yer alıyor.