Yapay zeka sohbet botları finansal konularda yüksek oranda hata yapıyor
Saturn tarafından yürütülen yeni bir araştırma, ChatGPT, Claude ve Gemini gibi popüler yapay zeka modellerinin finansal konularda ortalama yüzde 57 oranında yanlış yanıt verdiğini ortaya koydu.
Saturn isimli firmanın gerçekleştirdiği kapsamlı bir araştırma, popüler yapay zeka sohbet botlarının mali ve finansal sorularda güvenilir olmadığını gözler önüne serdi. Ücretli ve ücretsiz yapay zeka sistemlerinin incelendiği çalışmada, özellikle karmaşık hesaplamalarda hata oranlarının yüzde 88 ile 99 seviyelerine kadar ulaştığı tespit edildi.
Araştırmanın kapsamı ve hata oranları
Saturn firması tarafından gerçekleştirilen çalışmada ChatGPT, Claude, Copilot, Grok ve Gemini dahil olmak üzere hem ücretli hem de ücretsiz birçok yapay zeka modeli test edildi. Araştırma kapsamında 18 farklı yapay zeka sistemine 100'den fazla finansal soru yöneltildi ve toplamda 10 bini aşkın yanıt detaylı bir şekilde incelendi.
Zor sorularda hata seviyesi artıyor
Elde edilen verilere göre popüler sohbet botları, yöneltilen finansal bazlı sorulara ortalama yüzde 57 oranında yanlış yanıt verdi. Hesaplama gerektiren zor sorularda ise hata oranı yüzde 88'e çıkarken, bazı modellerde bu oranın yüzde 99 seviyesine kadar ulaştığı görüldü.
Hatalı hesaplamalar ve uydurma kurallar
Modellerin verdikleri cevaplarda hatalı hesaplamalar yaptıkları, yürürlükteki vergi değişikliklerini atladıkları ve gerçekte var olmayan kurallar ile yönetmelikler ürettikleri belirlendi. Saturn CEO'su Amal Jolly, kullanıcıların paralarını değerlendirmek için bu araçlara güvendiğini ve eksik cevaplar sebebiyle mali kayıplar yaşandığını ifade etti.
En iyi modelde bile hata payı yüksek
Yapılan incelemelerde ücretli ve yeni sürümlerin ücretsiz modellere kıyasla genel anlamda daha başarılı olduğu görüldü. Araştırma içerisindeki en iyi sonuç Claude Opus 5 modelinin akıl yürütme modunda elde edilmesine rağmen, bu sistem bile yanıtlarının yüzde 39'unda hata yapmaktan kurtulamadı.
Uzmanların finansal yapay zeka uyarısı
Uzmanlar sohbet botlarının bütçe planlama ve temel araştırmalar için faydalı olabileceğini belirtiyor. Ancak vergi, emeklilik ve yatırım gibi kritik konularda bu araçların kesinlikle bir uzman görüşünün yerini alamayacağı vurgulanıyor.