Teksaso universiteto Austino tyrėjų pora pademonstravo AI pagrįstą įrankį, kuris gali paversti asmens mintis į nuolatinį tekstą, nereikalaudamas, kad asmuo suprastų šnekamus žodžius.

O įrankio mokymo procesas dėl paties asmens unikalių smegenų veiklos modelių trunka tik apie valandą.

Tai remiasi ankstesniu komandos darbu, sukuriant smegenų dekoderį, kuriam prireikė daug valandų treniruočių apie žmogaus smegenų veiklą, kai jie klausėsi garso istorijų.

Šis naujausias avansas rodo, kad tai gali būti įmanoma, kad būtų galima toliau tobulinti smegenų kompiuterių sąsajas, siekiant pagerinti afazijos turinčių žmonių bendravimą.

Jerry Tangas yra Teksaso universiteto (UT) podoktorantūros tyrinėtojas Alexo Huth'o laboratorijoje ir pirmasis popieriaus autorius.

Jis sakė: „Galimybė naudotis semantinėmis reprezentacijomis tiek kalbomis, tiek vizija atveria naujas duris neurotechnologijoms, ypač žmonėms, kurie stengiasi kurti ir suprasti kalbą.

„Tai suteikia mums būdą sukurti kalbą pagrįstas smegenų kompiuterių sąsajas, nereikalaujant jokio kalbos supratimo.“

Ankstesniame darbe komanda mokė sistemą, įskaitant transformatoriaus modelį, panašų į tokį, kokį naudoja „ChatGPT“, norėdama paversti asmens smegenų veiklą į nuolatinį tekstą.

Gautas semantinis dekoderis gali sukurti tekstą, nesvarbu, ar asmuo klausosi garso istorijos, galvoja apie pasakojimą ar žiūrėdamas tylų vaizdo įrašą, kuriame pasakojama.

Tačiau yra apribojimų.

Norėdami išmokyti šį smegenų dekoderį, dalyviai turėjo nejudėti į fMRI skaitytuvą maždaug 16 valandų, klausydamiesi transliacijų, daugumos žmonių nepraktiško proceso ir galbūt neįmanomo tam, kuriam deficitas supranta šnekamąją kalbą.

O originalus smegenų dekoderis veikia tik žmonėms, kuriems jis buvo apmokytas.

Vykdydama šį paskutinį darbą, komanda sukūrė metodą, kaip pritaikyti esamą smegenų dekoderį, sunkiai treniravosi į naują žmogų, kuriam tik valanda treniruojasi fMRI skaitytuve, žiūrint trumpus, tylius vaizdo įrašus, tokius kaip „Pixar“ šortai.

Tyrėjai sukūrė keitiklio algoritmą, kuris sužino, kaip susieti naujojo asmens smegenų veiklą į smegenis to, kurio veikla anksčiau buvo naudojama treniruotis smegenų dekoderiui, todėl panašus dekodavimas per dalį laiko su nauju asmeniu.

Huth teigė, kad šis darbas atskleidžia ką nors gilio apie tai, kaip veikia mūsų smegenys: mūsų mintys peržengia kalbą.

Huthas, kuris yra informatikos ir neuromokslo bei vyresnysis autoriaus docentas, sakė: „Tai rodo gilią sutapimą tarp to, kas nutinka smegenyse, kai klausai kažkieno pasakojimą, ir kas nutinka smegenyse, kai jūs, kai tu Žiūrėkite vaizdo įrašą, kuriame pasakojama istorija.

„Mūsų smegenys abi istorijos rūšis traktuoja kaip vienodus. Tai taip pat sako mums, kad tai, ką mes dekoduojame, iš tikrųjų nėra kalba.

„Tai yra kažkas, kas viršija kalbos lygį, kuris nėra susietas su įvesties modalumu“.

Tyrėjai pažymėjo, kad patobulinta sistema, kaip ir jų pradinis smegenų dekoderis, veikia tik su kooperatyvo dalyviais, kurie noriai dalyvauja treniruotėse.

Jei dalyviai, kuriems dekoderis buvo apmokytas, vėliau sukels pasipriešinimą, pavyzdžiui, galvodami apie kitas mintis, nesėkmingi yra nenaudojami.

Tai sumažina netinkamo naudojimo potencialą.

Nors naujausi jų tiriamieji buvo neurologiškai sveiki, tyrėjai taip pat atliko analizę, norėdami imituoti smegenų pažeidimų modelius dalyviams, sergantiems afazija, ir parodė, kad dekoderis vis dar galėjo paversti nuolatinį tekstą, kurį jie suvokė.

Tai rodo, kad požiūris ilgainiui galėtų veikti žmonėms, sergantiems afazija.

Dabar jie dirba su Maya Henry, UT Dell medicinos mokyklos ir „Moody“ komunikacijos koledžo docentė, studijuojančia afaziją, norėdami patikrinti, ar jų patobulintas smegenų dekoderis veikia afazijai sergantiems žmonėms.

Tangas sakė: „Buvo smagu ir malonu galvoti apie tai, kaip sukurti naudingiausią sąsają ir padaryti modelio mokymo procedūrą kuo lengvesnę dalyviams.

„Aš tikrai džiaugiuosi toliau tyrinėdamas, kaip mūsų dekoderis gali būti naudojamas padėti žmonėms“.

Vaizdas: Jerry Tangas/Teksaso universitetas Austine