Science Advances dergisinde yayımlanan yeni bir çalışmada, araştırmacılar insan beyin aktivitelerini metne dönüştürebilen “zihin altyazısı” adlı bir teknik geliştirdi. Bu yöntem, düşüncelerin yapay zekâ destekli dil modelleriyle çözümlenmesini sağlayarak, iletişim engeli yaşayan bireyler için umut vadediyor.
İnsan düşüncelerini doğrudan beyin taramalarından metne dönüştürmek artık bilim kurgu değil. Science Advances dergisinde yayımlanan çalışmada, Japonya merkezli bir araştırma ekibi, “zihin altyazısı” (mind-captioning) adını verdikleri yeni bir teknikle, bireylerin izlediği veya hatırladığı videoları beyin aktiviteleri üzerinden metin olarak tanımlayabildi.
Araştırmada, altı katılımcı 2.196 kısa video izlerken fonksiyonel manyetik rezonans görüntüleme (fMRI) ile beyin aktiviteleri kaydedildi. Bu videolar daha önce izleyiciler tarafından metinle betimlenmişti. Araştırmacılar, bu metinleri dil modeli DeBERTa-large ile işleyerek özellikler çıkardı ve bu özellikleri fMRI verileriyle eşleştirdi. Ardından RoBERTa-large adlı başka bir dil modeliyle, beyin sinyallerine karşılık gelen metinler üretildi.
Başlangıçta üretilen metinler parçalı ve anlamsızken, iteratif optimizasyon süreciyle zamanla anlamlı ve yapılandırılmış açıklamalara dönüştü. Araştırmacılar, “Tanımlamalar, izlenen videolardaki dinamik değişimleri doğru şekilde yansıtıyor. Nesneler tam olarak tanımlanmasa bile, aralarındaki etkileşimler başarıyla aktarılıyor” dedi.
Teknik, yalnızca görsel deneyimleri değil, hatırlanan içerikleri de metne dönüştürebiliyor. Katılımcılar daha sonra videoları hatırlamaya çalıştığında, sistem bu anıları da metin olarak tanımlayabildi. Bazı bireylerde hatırlanan videoların %40’a varan doğrulukla tanımlandığı görüldü.
Bu teknoloji, özellikle konuşma yetisini kaybetmiş bireyler için umut vadediyor. Zihin altyazısı, yalnızca kelime eşleştirmesi değil, daha derin anlam ve ilişkileri yakalayabildiği için mevcut beyin-bilgisayar arayüzlerinden daha kapsamlı iletişim imkânı sunabilir.
Araştırmacılar, bu teknolojinin etik boyutuna da dikkat çekiyor. Zihinsel mahremiyet, bireylerin rızası ve veri güvenliği gibi konular, bu tür uygulamaların yaygınlaşmasından önce çözülmesi gereken kritik başlıklar arasında yer alıyor.
Çalışmanın yazarları, “Yöntemimiz yorumlanabilirlik, genellenebilirlik ve performans arasında denge kurarak, insan beyninde yapılandırılmış anlamların nasıl kodlandığını sistematik biçimde araştırmak için şeffaf bir çerçeve sunuyor” ifadelerini kullandı.
