A többek között mozgásképtelen betegek kommunikációját segítő agy-számítógép interfészek eddigi legjobban működő változatai (ilyen például az Elon Musk-féle Neuralink) idegsebészeti beavatkozást igényelnek: az érzékelőket a koponya felnyitása után az agy felszínére vagy annak belsejébe kell ültetni. A Meta mesterséges intelligenciával foglalkozó kutatói a párizsi Université PSL és az Adolphe de Rothschild Alapítvány Kórházának munkatársaival most egy olyan módszert mutattak be, amely műtét nélkül fordítja szöveggé az agyi aktivitást.

A Brain2Qwerty nevű rendszer két, a fejen kívülről mérő eljárásra épül: az EEG (elektroenkefalográfia) a fejbőrre helyezett érzékelőkkel az agy elektromos tevékenységét méri, a MEG (magnetoenkefalográfia) pedig egy rendkívül érzékeny szenzorokkal teli sisakkal az aktív idegsejtek keltette parányi mágneses tereket észleli.

A kísérletben 35, ismert idegrendszeri vagy pszichiátriai betegséggel nem rendelkező önkéntes vett részt. A résztvevőknek előbb meg kellett jegyezniük egy-egy mondatot, majd egy hagyományos QWERTY billentyűzeten legépelni, miközben a kutatók rögzítették az agyi tevékenységüket. A mélytanuló algoritmust ezután külön tanították be az EEG- és a MEG-felvételeken arra, hogy pusztán az agyi jelekből megjósolja, melyik betűt üti le éppen a kísérleti alany. A modell három egységből áll: egy konvolúciós modul dolgozza fel az agyi jelek fél másodperces szakaszait, egy mondatszinten betanított transzformer értelmezi ezeket, végül egy előre betanított nyelvi modell javítja ki a kimenetet.

Az eredmények szerint a MEG-felvételekből lényegesen pontosabb a fordítás: a betűszintű hibaarány átlagosan 29 százalék volt, szemben az EEG 65 százalékával. A legjobban teljesítő résztvevőknél a hibaarány 18 százalékra csökkent, és a rendszer hibátlanul megfejtett olyan mondatokat is, amelyek nem szerepeltek a tanítóanyagban. A szerzők szerint ezek az eredmények szűkítik a szakadékot a műtétet igénylő és a nem invazív megoldások között, és utat nyitnak a beszédképtelen betegek számára biztonságos agy-számítógép interfészek felé. Hosszabb távon a módszer nemcsak írott szöveg előállítására, hanem protézisek és más segédeszközök vezérlésére is alkalmassá válhat – egyelőre azonban egy egészséges önkéntesekkel végzett, korai eredményről van szó.

Kapcsolódó cikkek:

Forrás