Dekodiranje ideja: Misli su se počele pretvarati u tekst

Nizu inovacija u medicini nedavno je pridodan i semantički dekoder – čitač misli. Utemeljen na umjetnoj inteligenciji (AI), može prevesti aktivnost mozga u tekst te je izum koji prvi put omogućuje neinvazivno čitanje misli neke osobe. S pomoću njega, upotrebljavajući samo podatke funkcijske magnetske rezonancije, tj. fMRI skeniranja, može se rekonstruirati govor s nevjerojatnom točnošću dok ljudi slušaju priču ili u tišini zamišljaju njezin sadržaj. Dosadašnji sustavi za dekodiranje jezika zahtijevali su kirurške implantate, ali taj dekoder povećava izglede za nove načine vraćanja govora pacijentima koji otežano komuniciraju jer im je moždani udar oštetio centar govora ili pate od bolesti motoričkih neurona.

Prebučno i presporo

Neuroznanstvenik dr. Alexander Huth, voditelj istraživanja na Sveučilištu Teksas u Austinu koje je nakon petnaest godina rezultiralo dekoderom, izjavio je da su svi vrlo iznenađeni time kako dekoder dobro funkcionira. To postignuće prevladava temeljno ograničenje fMRI-ja, a to je da, iako tehnika može mapirati aktivnost mozga na određeno mjesto s nevjerojatno visokom rezolucijom, postoji inherentan vremenski odmak koji onemogućuje praćenje aktivnosti u stvarnom vremenu. Kašnjenje postoji jer fMRI skeniranje mjeri odgovor protoka krvi na moždanu aktivnost koji doseže vrhunac i vraća se na početnu vrijednost tijekom otprilike deset sekundi, što znači da to čak ni najsnažniji skener ne može poboljšati. Dr. Huth je to nazvano ‘bučnom i sporom zamjenom za neuralnu aktivnost‘, što je ograničenje koje je ometalo sposobnost tumačenja aktivnosti mozga kao odgovora na prirodni govor jer daje ‘mješavinu informacija‘ raspoređenu u nekoliko sekundi. No pojava velikih jezičnih modela utemeljenih na umjetnoj inteligenciji (AI) koja podupire OpenAI-jev ChatGPT omogućila je novi pristup. Ti modeli mogu predstaviti semantičko značenje govora omogućujući znanstvenicima da vide koji obrazac neuronske aktivnosti odgovara nizovima riječi s određenim značenjem. Dekoder je osposobljen da uskladi moždanu aktivnost sa značenjem teksta s pomoću velikoga jezičnog modela GPT-1, prethodnika ChatGPT-ja. U istraživanju su sudjelovala tri dragovoljca koja su slušajući podcaste provela šesnaest sati u skeneru. Poslije su isti ljudi skenirani dok su slušali novu priču ili zamišljali kako pričaju priču, a dekoder je korišten za generiranje teksta samo iz njihova aktivnosti mozga. Otprilike pola vremena tekst je gotovo precizno odgovarao namjeravanom značenju izvornih riječi.

– Naš sustav funkcionira na razini ideja, semantike i značenja. To je razlog zbog kojega ono što izvlačimo nisu točne riječi, nego bit – izjavio je dr. Huth.

Kako se čita

Primjerice, kad su sudionici zamišljali rečenicu ‘Još nemam vozačku dozvolu.‘, dekoder je to protumačio kao ‘Još nije ni počeo učiti voziti.‘. U drugom je slučaju rečenice ‘Nisam znao bih li vrištao, plakao ili pobjegao. Umjesto toga rekao sam: ‘Ostavi me na miru!‘‘ preveo kao ‘Počeo je vrištati i plakati te rekao: ‘Ostavi me na miru!‘‘ Dragovoljcima su, dok su bili u skeneru, puštena i četiri kratka i tiha videa, a dekoder je čitajući njihovu moždanu aktivnost točno opisao dio sadržaja. Znanstveni tekst o semantičkom dekoderu objavljen je časopisu Nature Neuroscience i u njemu je dr. Huth napisao: ‘Za neinvazivnu metodu ovo je pravi korak naprijed u usporedbi s onim što je učinjeno prije.‘ Katkad dekoder griješi u čitanju misli zbog toga što ne razlikuje zamjenice i rodove, no znanstvenici još ne znaju kako riješiti taj problem. Još je jedan izazov pred njima – dekoder je bio personaliziran tijekom istraživanja i kad je model testiran na drugoj osobi, nije pokazao iste rezultate. Iako na njegovu usavršavanju do primjene u praksi ima još dosta posla, znanstvenici već sada razmišljaju kako spriječiti zloporabu. Koautor dekodera Jerry Tang, doktorand na Sveučilištu Teksas u Austinu, izjavio da vrlo ozbiljno shvaćaju zabrinutost da bi se mogao upotrebljavati u loše svrhe.

– Želimo biti sigurni da će se ljudi koristiti ovom tehnologijom samo kad im bude pomagala – izjavio je Tang.

Sučelje mozak-računalo

Zasad o semantičkom dekoderu nema podvojenih znanstvenih mišljenja. Primjerice, računalni neuroznanstvenik sa Sveučilišta u Oxfordu, profesor Tim Behrens, koji nije bio uključen u izum, opisao ga je kao ‘tehnički iznimno impresivnim‘ te poručio da otvara mnogo eksperimentalnih mogućnosti, uključujući čitanje misli nekoga tko sanja ili istraživanje kako nove ideje izviru iz pozadinske aktivnosti mozga.

– Ti generativni modeli omogućuju da vidite što je u mozgu na novoj razini. To znači da stvarno možete pročitati nešto duboko iz fMRI-ja – izjavio je Behrens.

Profesor Shinji Nishimoto sa Sveučilišta u Osaki, pionir u rekonstrukciji vizualne slike iz aktivnosti mozga, opisao je dekoder kao znatan napredak i temelj za nova otkrića.

– Pokazao je da mozak predstavlja kontinuiranu jezičnu informaciju tijekom percepcije i imaginacije na kompatibilan način. Ovo otkriće može biti temelj za razvoj sučelja mozak-računalo – izjavio je Nishimoto.

Prevencija udara

Istraživački tim sa Sveučilišta Teksas u Austinu namjerava nastaviti istraživanje i vidjeti može li se njegov dekoder primijeniti na druge sustave za oslikavanje mozga, primjerice funkcionalnu blisku infracrvenu spektroskopiju (fNIRS). Što se zapravo događa i kako moždani udar oštećuje govor te kako se liječe njegove posljedice, objašnjava prof. dr. sc. Branko Malojčić, FESO, FWSO, pročelnik Dnevne bolnice i TIA centra Klinike za neurologiju KBC-a Zagreb, predsjednik Europskog društva za neurosonologiju i cerebralnu hemodinamiku (ESNCH) i predsjedatelj Uredničkog odbora Edukacijskog portala (eSTEP) Europskog društva za moždani udar (ESO).

– Stanice mozga iznimno su osjetljive na smanjenje protoka krvi, odnosno dotoka hranjivih tvari. Već oko četiri minute potpunog prekida protoka krvi uzrokuje smrt (infarkt) onih koje iz zahvaćene arterije primaju krv, a okolne stanice ulaze u hipoenergetsko stanje zbog kojeg prestaju funkcionirati, no uz optimalnu terapiju mogu preživjeti. Posljedično području, odnosno arteriji, koje je moždani udar zahvatio bolesnici mogu razviti dvije vrste poremećaja govora: disartrija je poremećaj artikulacije govora koji nastaje zbog gubitka kontrole nad mišićima koji sudjeluju u produkciji govora, a disfazija je poremećaj razumijevanja ili stvaranja sadržajnih elemenata govora (jezika). Pojednostavnjeno, bolesnik s disartrijom frflja, zapleće mu se jezik ili zamuckuje, a bolesnik s disfazijom ne razumije što mu se govori ili proizvodi glasove koje drugi ne razumiju kao riječi – ističe prof. Malojčić i naglašava da je najbolje liječenje prevencija, a zatim akutno liječenje u specijaliziranim centrima (jedinicama za liječenje moždanog udara).

Moguć oporavak

Prema njegovim riječima, obje metode znatno snižavaju stupanj hendikepa u slučaju moždanog udara. Zaostanu li disartrija ili disfazija nakon moždanog udara, provodi se logopedska terapija čiji rezultati ovise o ranom početku i ustrajnosti.

– Danas mislimo da je uz intenzivnu rehabilitaciju dodatni oporavak moguć i godinu ili dvije nakon nastupa moždanog udara. Nažalost, zbog već spomenute osjetljivosti mozga na nedostatak hranjivih tvari nerijetko će unatoč rehabilitaciji zaostati bar neki stupanj deficita koji može značiti povećani rizik za aspiracijsku pneumoniju pri disartriji ili otežani socijalni kontakt pri disfaziji – kaže prof. Malojčić.

Nadalje navodi da, kad se radi o moždanom udaru, odnosno njegovim posljedicama, u liječenju sve veću ulogu igra i nova tehnologija. Sve su češće zanimljive nove metode koje uključuju robotiku i umjetnu inteligenciju. Robotika omogućava pokretanje ekstremiteta u bilo kojoj poziciji i iznimno precizno definiranim intenzitetom, što može pomoći standardnoj fizikalnoj terapiji.

– Umjetna inteligencija pomaže istraživačima usavršiti postojeće metode ili usmjeriti ih prema novima. Istraživanje dr. Hutha i suradnika koji su korištenjem funkcijske magnetske rezonancije (fMR-a) istraživali obrasce stvaranja govornih informacija u mozgu primjer je za to. Metoda koja postoji godinama, a kojom se može pratiti dinamika promjena aktivnosti pojedinih regija mozga, dosad nije mogla u stvarnom vremenu rekonstruirati kratkotrajne, brze promjene, no s pomoću umjetne inteligencije postignuta brzina detekcije omogućila je prepoznati na koji način određene regije mozga reagiraju na pojedine govorne pojmove, a zatim je računalo moglo iz popisa aktiviranih regija rekonstruirati značenje prije prezentiranih govornih pojmova –​ objašnjava prof. Malojčić i dodaje da se dosad slično postizalo samo invazivnim metodama (implantacija elektroda, u koju puno ulaže Elon Musk), pa je ovo svakako obećavajući alat. No do njegove pune primjene u svakodnevnoj praksi, odnosno rehabilitaciji bolesnika s poremećajima govora, eksperiment mora biti potvrđen na stvarnim bolesnicima i u različitim indikacijama.