Korábbi agyi implantátumokkal a paralízises, azaz bénult betegek vagy beszélni, vagy mozdulatokat tenni tudtak, egy új eszközzel most mindkettő egyszerre válik lehetővé, és ebben egy avatár segíti őket. Ezzel lehetővé válik számukra az árnyaltabb kommunikáció – ismerteti a New Scientist.

„A mindennapi életben a gesztusoknak fontos kommunikációs szerepük van” – mondja Samantha Brosler, a Kaliforniai Egyetem kutatója. „Ha azt mondjuk, hogy »talán«, és közben bólintunk, az egészen más jelent, mintha a fejünket rázva mondanánk ugyanezt.”

A kísérleti agyi implantátumok javították a bénult emberek beszéd- vagy mozgásképességét, de a kettő egyidejű végrehajtására irányuló kísérletek eddig nem jártak sikerrel. Ehhez az implantátumoknak a szenzomotoros kéreg nagy részét kell lefedniük, amely az agy beszédért és mozgásért felelős területe.

Most Brosler és kollégái két páciensen teszteltek egy iPhone-méretű implantátumot az agy ezen részén. Az első résztvevő sztrók következtében bénult meg, a második amiotrófiás laterálszklerózisban (ALS) szenvedett. Mindketten szinte teljesen elvesztették végtagjaik mozgásképességét, emellett nem tudtak beszélni, csupán hangadásra voltak képesek.

A kutatócsoport rögzítette a résztvevők agyi aktivitását, miközben azok többször megpróbáltak kimondani tíz kifejezést, vagy végrehajtani tíz gesztust, mint például integetés, tapsolás és fejrázás – hol külön, hol a beszéddel és a mozgással egyszerre kísérletezve. A kutatók ezt követően személyre szabott gépi tanulási modelleket tanítottak be, hogy azok előre jelezzék a résztvevők szándékolt mondatait és gesztusait.

A modellek tesztelése érdekében a résztvevők megpróbálták megismételni a képernyőn megjelenő különböző mondat- illetve gesztuspárokat. A modellek előrejelzéseit használták fel a résztvevőkre hasonlító avatár mozgásának vezérlésére, miközben a beszédre vonatkozó előrejelzések felvillannak a képernyőn.

Brosler szerint azért döntöttek avatárok használata mellett, ahelyett, hogy a résztvevők maguk beszéltek és gesztikuláltak volna, mert ez azt bizonyította, hogy mindkét cselekvés egyszerre dekódolható az agyi aktivitásból.

Az első alany tervezett gesztusait és beszédét 88, illetve 84 százalékos pontossággal jelezték előre, a második esetében ez az arány 66, illetve 70 százalék volt. Brosler szerint a csapat a pontosságon dolgozik tovább, képezve a modelleket és finomítva az algoritmusokat. Szerintük a jövőbeli modellek képesek lehetnek az ember testét is mozgatni – ha elég jó állapotban vannak az ízületei és izmai –, valamint szintetikus beszédhangot előállítani, és ebben az esetben nem lesz szükség avatárra.

Kapcsolódó cikkek a Qubiten:

Forrás