Radyoloji Yapay Zeka Çözümlerini Değerlendirmek İçin Üç Adımlı Kılavuz
Uzmanlar, hastane popülasyonlarındaki farklılıklar nedeniyle yüksek yanlış alarm oranı üreten bir yapay zeka algoritmasının kaldırılmasının ardından radyoloji yapay zeka çözümlerini değerlendirmek üzere üç adımlı bir kılavuz hazırladı.
Mayo Clinic ve Penn State gibi kurumlardan uzmanların katkılarıyla hazırlanan üç adımlı kılavuz, sağlık merkezlerinin yapay zeka algoritmalarını yerel hasta profillerine göre değerlendirmesini ve olası hataların etkilerini önceden öngörmesini amaçlıyor.
Yapay Zeka Algoritmalarının Kaldırılma Nedeni
Bir yapay zeka algoritması, hatalı olduğu algısı yaratması nedeniyle yaklaşık üç hafta kullandıktan sonra kaldırılmak zorunda kalmıştır.
Satıcının iddia ettiği yüzde 5'lik orana karşın, pozitif öngörü değerinin yüzde 33 olarak gerçekleşmesi vakaların yüzde 67'sinin yanlış alarm olduğunu ortaya koymuştur.
Veri Uyuşmazlığının Temel Gerekçeleri
Yapılan detaylı analizler, bu uyumsuzluğun temel sebebinin uygulama yapılan merkezdeki hasta grubunun hastalık yaygınlığının modelin test ortamından çok farklı olması olduğunu göstermiştir.
İkinci bir neden olarak ise hasta kohortu ile modelin test performansı arasındaki duyarlılık ve özgüllük değerlerinin farklılık göstermesi gösterilmiştir.
Yerel Pratiklerde Performans Tahmini
Uzmanlar, satıcı tarafından bildirilen performans metriklerine güvenmenin modelin yerel pratikteki davranışını tahmin etmek için tek başına yeterli olmayabileceğini vurgulamaktadır.
Kılavuz, bir yapay zeka modelinin yerel popülasyonda nasıl performans göstereceğini ve klinisyenlerin hangi hata oranlarıyla karşılaşabileceğini değerlendirmek üzere üç temel adım sunmaktadır.
Yerel Popülasyona Uygunluk Değerlendirmesi
İlk adım olarak, algoritmanın hangi popülasyon üzerinde eğitildiği, test edildiği ve doğrulandığı ile elde edilen doğruluk metriklerinin neler olduğu sorgulanmaktadır.
Bu değerlendirme, modelin eğitim ve test verilerinin kullanılacağı klinik popülasyon ile ortamla ne derecede karşılaştırılabilir olduğunu belirlemeyi hedeflemektedir.
Klinik Karar Verme Süreçlerine Etkisi
İkinci adımda, bu hata oranlarının yerel klinik karar verme süreçlerini, tıbbi, yasal, finansal, psikolojik, iş akışı ve itibar yönleriyle ne sıklıkta etkileyeceği ele alınmaktadır.
Geliştirilen RADDE matrisi, yapay zeka hatalarının karar alma süreçlerini nasıl etkileyebileceğini ve olası aşağı yönlü sonuçları belirlemeye yardımcı olmaktadır.
Hata Sıklığı ve Maliyet Dengesi
Üçüncü aşamada ise hataların sıklığı ile bu yanlışların maliyeti birbiriyle karşılaştırılarak karar verilmektedir.
Uzmanlar, bu sorular yanıtlandıktan sonra bir yapay zeka sisteminin uygulanmasının gerekçelendirilip gerekçelendirilmeyeceği konusunda bilinçli kararlar alınabileceğini belirtmektedir.