Yapay Zeka Devriminin Temel Taşı: Dikkat Mekanizması
2014 yılında makine çevirisi için geliştirilen dikkat mekanizması, günümüzdeki yapay zeka modellerinin ve ChatGPT gibi büyük dil sistemlerinin temelini oluşturmaktadır.
Yapay zeka alanında yaşanan büyük dönüşümün kökeni, 2014 yılında Montreal Üniversitesi laboratuvarlarında atılan adımlara dayanmaktadır. O dönemde geliştirilen matematiksel işlem, modern dil modellerinin yolunu açmıştır.
Dikkat Mekanizmasının Doğuşu
2014 yılında Montreal Üniversitesi'nde stajyer olarak çalışan Dzmitry Bahdanau, bilgisayarların İngilizce ve Fransızca arasında çeviri yapmasını sağlayacak yöntemler üzerinde çalışıyordu. Yapay sinir ağları o dönemde uzun cümlelerde zorlanıyordu.
Dzmitry Bahdanau, Kyunghyun Cho ve Yoshua Bengio ile birlikte sinir ağlarının uzun cümleleri kısa cümleler kadar iyi çevirebilmesini sağlayan dikkat adlı matematiksel operasyonu geliştirdiler.
Transformer Mimarisine Geçiş
Google araştırmacıları 2017 yılında bu çalışmayı temel alarak dikkat istersin makalesini yayımladı ve transformer mimarisini inşa ettiler. Bu mimari, günümüzdeki büyük dil modellerinin önünü açtı.
Dikkat mekanizması, ağın kelimeleri birbirine bağlamasına ve bağlam oluşturmasına olanak tanır. Bu bağlam, dikkat kafesleri içerisindeki sorgular, anahtarlar ve değerler aracılığıyla matematiğe dönüştürülür.
Yapay Zekanın Tanımı Haline Gelmesi
Geniş eğitim veri kümelerinden öğrenme sağlayan transformer modelleri, açık bir programlama olmaksızın zamir belirsizliğini giderme gibi dilsel ilişkileri keşfetmeyi başarır.
Gelecek kelimeyi tahmin etmek insanlığın yazılı neredeyse tüm görevlerini kapsadığı için, dil modellemesi yapay zekaya verilebilecek en yakın tanım haline gelmiştir.