NeuroRelay

Tehnologia permite acum “citirea” minţii, iar modelele computaţionale sunt capabile să reconstruiască experienţe vizuale din analiza activităţii cerebrale. Proiectele din cadrul laboratorului Prof. Jack Gallant’s laboratory (de la Universitatea din California, Berkeley) se concentrează pe modelarea computaţională a sistemului vizual. Scopul lor este de a formula modele care descriu modul în care creierul codifică informaţiile vizuale, şi care prezic cu exactitate modul în care creierul răspunde în timpul vizionării unor stimuli.

Ei studiază sistemul vizual şi se concentrează pe descoperirea modului în care diferite zone ale creierului reprezintă lumea vizuală, precum şi pe modul în care aceste reprezentări multiple sunt influenţate de atenţie, de învăţare şi memorie, în ceea ce priveşte codificarea neuronală. Pentru a “decodifica” creierul, aceştia utilizează imagistica prin rezonanţă magnetică funcţionala (RMN), o tehnică în dezvoltare pentru măsurători non-invazive ale activităţii creierului. Modelele lor computaţionale se bazează pe diferite instrumente statistice şi pe învătarea automată, inclusiv sisteme de identificare neliniare, teoria estimării bayesiene şi teoria informaţiei. După cum se menţionează în articolul publicat recent, modelarea cantitativă a activităţii creierului uman poate oferi perspective imense în ceea ce priveşte reprezentările corticale şi poate constitui baza pentru dispozitive de decodificare ale creierului.
Rezultatele lor în reconstruirea experienţe vizuale (evocate de filme) fac parte din primele 50 cele mai bune invenţii ale anului 2011 în clasamentul revistei Time Magazine. Puteţi viziona mai jos un material video care prezintă rezultatele lor:

Materialul video din stânga face parte din trailerul unui film de la Hollywood pe care subiectul l-a vizionat în timp ce se afla înRMN. Materialul din dreapta surprinde reconstrucţia acestui material din activitatea măsurată a creierului. Ceea ce este uimitor!
Autorii acestui studiu prezintă procedura, după cum urmează:
[1] înregistrarea activităţii creierului subiectului în timp ce acesta urmăreşte mai multe ore de materiale video ce conţin trailere de filme.
[2] construirea de dicţionare (de exemplu, modelele de regresie) care traduc formele, marginile şi mişcarea în activitatea măsurată a creierului; un dicţionar este construit separat pentru mii de momente în care activitatea creierului a fost măsurată. (Inovaţia acestui studiu constă în construirea unui model de codificare a materialului video în activitate cerebrală, care prezice cu exactitate activitatea creierului, evocat de filme aleator alese.)
[3] înregistrarea activităţii creierului pe un nou set de materiale video (trailere de filme), care vor fi folosite pentru a testa calitatea dicţionarelor şi reconstituirilor.
[4] construirea unei biblioteci de aproximativ 18.000.000 secunde (5000 ore) de materiale video descărcate în mod aleator de pe YouTube. (Aceste filme nu coincid cu filmele pe care subiecţii le-au vizionat în timp ce se aflau în RMN); trecerea fiecărui material video prin dicţionare pentru a genera previziuni de activitate cerebrală; Selectarea a 100 de clipuri a căror activitate prezisă este cea mai asemănătoare cu activitatea observată a creierului şi calcularea unei medii; astfel se realizează o reconstrucţie.
Articolul (Nishimoto et al., 2011, Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies, Current Biology 10.1016/j.cub.2011.08.031) este disponibil aici.
Urmăriţi mai jos un alt clip care prezintă reconstruirea unui material video din activitatea cerebrală a 3 subiecţi:

Acest video este organizat după cum urmează: filmul pe care fiecare subiect l-a vizualizat în timp se se aflau în RMN este prezentat în stânga-sus, iar reconstituirile pentru cei 3 subiectţi sunt prezentate în cele trei rânduri din partea inferioară. Toate aceste reconstituiri au fost obţinute utilizând doar activitatea cerebrală a fiecărui subiect şi o bibliotecă de 18 de milioane de secunde de materiale video aleator alese de pe YouTube, care nu au fost incluse filmele utilizate ca stimuli. (Pe scurt, algoritmul procesează fiecare din cele 18 de milioane de clipuri prin modelul autorilor şi identifică clipuri pe care ar fi produs activitatea creierului, ce sunt similare cu activitatea măsurată. Clipurile utilizate pentru a constui modelul, clipurile folosite pentru a testa modelul şi clipurile folosite ca stimul pentru a reconstrui materialul video au fost complet diferite.)  Reconstrucţia care apare cel mai în stânga este Average High Posterior (AHP). Reconstrucţia din coloana a doua este Maximum a Posteriori (MAP). Celelalte coloane reprezintă alte reconstrucţii mai puţin probabile. AHP este obţinut prin realiazarea mediei celor mai asemănătoare (din unct de vedere al activităţii cerebrale) a peste 100 de filme din bibliotecă. Aşa cum autorii susţin, aceste reconstrucţii arată că procesul este foarte consistent, deşi calitatea reconstrucţiei depinde oarecum de calitatea datelor înregistrate ce conţin activitatea creierului fiecărui subiect.