Büyük Dil Modellerindeki Yanılsamaları Tespit Eden Yeni Yöntem Geliştirildi
Skoltech ve Sberbank araştırmacıları, yapay zeka modellerindeki bağlam dışı yanıtları ek model eğitmeye gerek kalmadan belirleyen maliyet etkin bir yöntem geliştirdi.
Skoltech ve Sberbank bünyesindeki araştırmacılar, bilgi getirmeli üretim sistemlerinde büyük dil modellerinin ürettiği yanılsamaları tespit etmek amacıyla TOHA adı verilen maliyet etkin yeni bir yaklaşım ortaya koydu.
Yanılsama Tespiti İçin Yeni Yaklaşım
Skoltech ve Sberbank Pratik Yapay Zeka Merkezi araştırmacıları, bilgi getirmeli üretim sistemlerinde çalışan büyük dil modellerindeki yanılsamaları tespit etmek için TOHA adlı yeni bir yöntem önerdi.
Bağlam Dışı Yanıtların Belirlenmesi
Geliştirilen bu yaklaşım, modelin dikkat haritalarının topolojik yapısını analiz ederek sağlanan içerik tarafından desteklenmeyen yanıtların tespit edilmesini mümkün kılmaktadır.
Ek Model Eğitimi Gerektirmeyen Sistem
Yöntem, ek modellerin eğitilmesini gerektirmemekte ve yapılandırma işlemi için yalnızca küçük bir miktarda etiketlenmiş veri kullanılmasını yeterli bulmaktadır.
Bilimsel Makalenin Yayınlanması
Araştırma makalesi, Hesaplamalı Dilbilim Derneği'nin 64. Yıllık Toplantısı'nın Bildiriler Kitabı'nda yayımlanarak bilim dünyasıyla paylaşıldı.
Projede Yer Alan Uzmanlar
Çalışmanın yazarları arasında yer alan Aleksey Zaytsev, Skoltech'te doçent ve ortak Skoltech–Sberbank Laboratuvarı'nın başkanı olarak görev yapmaktadır.
Topolojik Yapı ve Graf Analizi
TOpology-based HAllucination detector kısaltması olan TOHA yöntemi, dil modelinin dikkat matrislerini analiz ederek bunları grafikler şeklinde temsil etmekte ve MTop-Div adı verilen topolojik bir özelliği hesaplamaktadır.
Açık Kaynaklı Kütüphaneye Entegrasyon
Geliştirilen bu yeni yaklaşım, araştırmacılar ve geliştiriciler tarafından kullanılabilmesi amacıyla açık kaynaklı SIRIN kütüphanesine başarılı bir şekilde entegre edilmiştir.