Beyin Sinyalleri, Yapay Zeka Kullanılarak Konuşmaya Dönüştürüldü!

Beyin sinyalleri yapay zeka kullanılarak konuşmaya dönüştürüldü.

Konuşamayan insanlar gelecekte beyin sinyalleri yoluyla konuşabilir.

Çevirmen Kartal Selici Nörobilimciler konuşamayan insanların ses üretebilmesini sağlamak için beyin sinyallerini konuşmaya dönüştürebilen bir cihaz geliştirdiler.

Bu teknoloji henüz laboratuvar dışında kullanılmak için yeterince hassas olmamasına karşın çoğu anlaşılabilir olan cümleler sentezleyebilmekte.

Yeni teknolojiyi geliştiren uzmanlar konuşmayı deşifre etme cihazlarının detaylarını Nature dergisinde yayınladılar.

Atlanta, Georgia'da bulunan Emory Üniversitesi'nde bir nöro mühendisi olarak çalışan makale yazarlarından Chet Han Pandarinat şöyle söylüyor.

Bilim insanları yakın zamanda çoğunlukla tek heceden oluşan, kimi zaman iki veya üç heceden oluşabilen kelimeleri beyin etkinliği kullanarak sese dönüştürmek için yapay zekayı kullandılar.

Ayrı ayrı kelimelerden Tam cümlelere geçiş için yapılan sıçrayış teknik açıdan oldukça zorluydu.

Bu çalışmayı böylesine etkileyici kılan nedenlerden birisi de bu.

San Francisco'daki California Üniversitesi'nde bir beyin cerrahı ve çalışmanın öncüsü olan Edward Chang şöyle diyor.

Konuşma yeteneğini kaybeden birçok insan iletişim kurmak için farklı teknolojilerden faydalanıyor.

Şu anda yaygın olan teknolojide bir imleç kullanarak harfleri ve bazı kelimeleri gösteren bir ekrandan tek tek seçim yapmak gerekiyor.

Bu imleci kullanabilmek için çok küçük hareketler gerekiyor.

Motor nöron hastalığı bulunan Stephen Hawking bunu kullanan ünlü örneklerden biriydi.

Kendisi yanağındaki bir kas sayesinde hareket ettirilen bir imleç kullanmaktaydı.

Bu tip cihazları kullanan insanlar kelimeleri harf harf yazarlar.

Dolayısıyla bu cihazlar dakikada 10 adete kadar kelime üretebilir yani çok yavaştır.

Doğal konuşma ise dakikada ortalama 150 kelime içeriyor.

Bunu ses kutumuzun verimliliği sayesinde başarabiliyoruz.

Bu temelden yola çıkan Chang ve ekibi kendi şifre çözücülerini oluştururken insanların ses kutusunu ve vokal yolağını modellemeye karar verdiler.

Araştırmacılar epilepsi tedavisinin bir parçası olarak beyinlerine elektrotlar yerleştirilmiş 5 bire ile çalıştılar.

Ekip ilk olarak katılımcılar yüzlerce cümleyi yüksek sesle okudukları sırada oluşan beyin etkinliklerini kaydetti.

Sonrasında Cheng ve arkadaşları bu kayıtları dil, dudak, çene ve gırtlak hareketlerinin nasıl ses oluşturduğunu belirleyen ve önceki çalışmalardan gelen veriler ile birleştirdiler.

Ekip bu verileri kullanarak bir derin öğrenme algoritması üzerine çalıştı ve sonrasında programı kendi deşifre cihazlarına dahil etti.

Cihaz beyin sinyallerini vokal bölgenin tahmin edilen hareketlerine göre dönüştürüyor ve bu hareketleri sentezlenmiş konuşma haline getiriyor.

Chang şöyle söylüyor.

Sentezlenen 101 cümleyi dinleyen kişiler ortalama olarak kelimelerin %70'ini anlayabildiler.

İsterseniz gelin şimdi bu sesleri bir dinleyelim ve bakalım siz bu cümleleri anlayabilecek misiniz?

Ses kaydında ilk olarak üretilmek istenen cümle şöyle söylüyor.

Yani gemi inşaatı baş döndürücü bir süreçtir.

Sonrasında ise aynı cümle düşünceler aracılığıyla üretiliyor ve sese dönüştürülüyor.

Ses kaydının ikinci kısmında ise bir diğer cümle söyleniyor.

Yani aradığın kanıt kitaplarda bulunmuyor.

Sonrasında yine bu cümle düşünceler kullanılarak tekrardan üretiliyor.

Başka bir deneyde araştırmacılar bir katılımcıdan cümleleri yüksek sesle okumasını ve ardından aynı cümleleri ağzını ses çıkarmadan hareket ettirerek taklit etmesini istedi.

Chang bu deneye ait şu yorum yapıyor.

Bu testte oluşturulan cümlelerin kalitesi sesli konuşma ile elde edilenlere göre daha düşüktü.

Ancak sonuçlar yine de umut verici.

Anlaşılabilir gelecek. Kaliforniya'daki San Diego Eyalet Üniversitesi'nde bir nörobilimci olan Stephanie Ries şöyle diyor.

Beyin faaliyetlerinin ses kutusundaki hareketlere göre haditalandırılıp sonrasında bunları sese dönüştürerek elde edilen cümleler, beyin faaliyetlerini doğrudan sese dönüştürerek elde edilen cümlelere göre

çok daha anlaşılır. Seattle'daki Washington Üniversitesi'nde bir sinir mühendisi olan Amy Orsban çalışmaya dair düşüncelerini şöyle açıklıyor.

Yeni konuşma deşifre cihazının bireylerin sadece düşündükleri kelimelerle çalışıp çalışmayacağı net değil.

Çalışma, konuşma taklidi yapıldığında çalıştığını gerçekten çok güzel bir şekilde gösteriyor.

Ancak biri ağzını hareket ettirmediği zaman bu sistem nasıl işleyecek?

Chicago, Illinois'daki Northwestern Üniversitesi'nde bir nörolog olan Mark Slutsky de aynı fikirde.

Ve deşifre cihazının performansının gelişmeye açık bir kapı bıraktığını ifade ediyor.

Slutsky şöyle diyor.

Dinleyiciler sentezlenen cümleleri anladıklarını göstermek için onlara sunulan bir dizi kelime içinden sözcükler seçtiler.

Ama onlara sunulan sözcük sayısı arttıkça sentezlenen cümledeki kelimeleri tespit etme başarısı da düştü.

Çalışma gerçekten çok önemli bir adım.

Ancak sentezlenen konuşmanın kolaylıkla anlaşılabilir olmasının önünde halen uzun bir yol bulunuyor.