Circuit Breaker Labs, Yapay Zeka Modellerinde Psikolojik Güvenliği Artırmayı Hedefliyor
Kardeşler tarafından kurulan girişim, yapay zeka sistemlerindeki psikolojik güvenlik açıklarını ve tehlikeli etkileşimleri yapay zeka ajanlarıyla test ediyor.
Kardeşler Shirali ve Arul Nigam tarafından kurulan Circuit Breaker Labs girişimi, yapay zeka modellerinin psikolojik güvenlik açıklarını tespit etmek amacıyla yapay zeka ajanlarını test mankeni olarak kullanıyor.
Yapay Zeka ve Psikolojik Riskler
Yapay zeka teknolojilerinin gelecekte insanlık için oluşturabileceği tehditler üzerine yapılan tartışmalar sürerken, bazı sistemlerin kullanıcılar üzerinde halihazırda psikolojik olarak tehlikeli sonuçlar doğurduğu görülüyor.
Character.AI ve OpenAI gibi platformlar, reşit olmayan kullanıcıların intiharlarıyla ve yaşadıkları olumsuz deneyimlerle bağlantılı olarak aileler tarafından açılan çeşitli dava süreçleriyle karşı karşıya kalmıştır.
Girişimin Kuruluş Amacı
Teknoloji alanındaki etkinliklerden biri olan TechCrunch Startup Battlefield 200 finalistleri arasında yer alan Circuit Breaker Labs, yapay zekayı farklı dil ve kültürler açısından daha güvenli hale getirmeyi amaçlıyor.
Girişimin kurucusu kardeşler Shirali ve Arul Nigam, bu misyonu benimserken genç yaşta hayatını kaybeden kullanıcıların yaşadığı trajik olaylardan etkilendiklerini belirtiyorlar.
Test Mankeni Gibi Çalışan Ajanlar
Circuit Breaker Labs, geleneksel olmayan konuşma tarzlarını ve nüansları test etmek üzere çarpışma test mankenlerini andıran özel yapay zeka ajanları geliştirmiştir.
Bu ajanlar; farklı yaş gruplarından, kültürel kökenlerden, dil geçmişlerinden ve argo kullanım alışkanlıklarından insanları taklit ederek modellerin zayıf yönlerini ortaya çıkarıyor.
Geniş Çaplı Simülasyon Testleri
İnsan alan uzmanlarının katkılarıyla oluşturulan gerçeğe yakın simülasyonlar, yapay zeka modellerine karşı düşmanca ve çelişkili kırmızı takım testleri gerçekleştirmek üzere kullanılıyor.
Girişimin sistemleri günde on binlerce ila yüz binlerce simüle edilmiş etkileşim çalıştırarak modellerin uzun vadede riskli durumlara uygun yanıt vermesini sağlamayı hedefliyor.
Hedeflenen Uygulama Alanları
Şirket şu anda koçluk, günlük tutma ve ruh sağlığı destek uygulamaları gibi yüksek riskli yapay zeka alanları için güvenlik test laboratuvarı olarak faaliyet gösteriyor.
Beş çalışanı bulunan erken aşamadaki bu platformun, gelecekte kullanıcıların sohbet botlarıyla sağlıksız parasosyal ilişkiler kurma riskini barındıran tüm uygulamalara uyarlanması mümkün.