Deep Learning Based Data Fusion Approaches for the Assessment of Cognitive States on EEG Signals

Resum

Durant mil·lennis, l'estudi de la parella cervell-ment ha fascinat la humanitat per entendre la naturalesa complexa dels estats cognitius. Un estat cognitiu és l'estat de la ment en un moment concret i implica activitats cognitives per adquirir i processar informació per prendre una decisió, resoldre un problema o assolir un objectiu. _x000D_ _x000D_ Mentre que els estats cognitius normals ajuden a la realització exitosa de les tasques; per contra, els estats anormals de la ment poden conduir a fracassos de tasques a causa d'una capacitat cognitiva reduida. En aquesta tesi ens centrem en l'avaluació dels estats cognitius mitjançant l'anàlisi de senyals d'Electroencefalogrames (EEG) mitjançant mètodes d'aprenentatge profund. L'EEG registra l'activitat elèctrica del cervell mitjançant un conjunt d'elèctrodes col·locats al cuir cabellut que produeixen un conjunt de senyals espai-temporals que s'espera que estiguin correlacionats amb un procés mental específic._x000D_ _x000D_ Des del punt de vista de la intel·ligència artificial, qualsevol mètode per a l'avaluació d'estats cognitius utilitzant senyals EEG com a entrada hauria d'afrontar diversos desafiaments. D'una banda, cal determinar quin és l'enfocament més adequat per a la combinació òptima dels múltiples senyals enregistrats pels elèctrodes EEG. D'altra banda, s'hauria de disposar d'un protocol per a la recollida de dades anotades sense ambigüitats de bona qualitat, i d'un disseny experimental per a l'avaluació de la generalització i transferència de models. Per abordar-los, primer, proposem diverses arquitectures neuronals convolucionals per dur a terme la fusió de dades dels senyals enregistrats pels elèctrodes EEG, a nivells de senyal i característiques en brut. Es proposen i avaluen quatre mètodes de fusió de canals, fàcils d'incorporar a qualsevol arquitectura de xarxa neuronal. En segon lloc, presentem un mètode per crear un conjunt de dades inequívoc per a la predicció de la càrrega de treball mental cognitiva mitjançant jocs seriosos i un simulador de vol Airbus-320. En tercer lloc, presentem un protocol de validació que té en compte els nivells de generalització dels models basats en l'origen i la quantitat de dades de prova._x000D_ _x000D_ Finalment, els enfocaments per a l'avaluació dels estats cognitius s'apliquen a dos casos d'ús d'alt impacte social: l'avaluació de la càrrega de treball mental per a sistemes de suport personalitzats a la cabina i la detecció de convulsions epilèptiques. Els resultats obtinguts del primer cas d'ús mostren la viabilitat de la transferència de tasques de models entrenats per detectar càrrega de treball en jocs seriosos a escenaris de vol reals. Els resultats del segon cas d'ús mostren la capacitat de generalització dels nostres mètodes de fusió de canals EEG a nivells de validació creuada de k-fold, específics del pacient i de població.

Data del Ajut	d’abr. 2023
Idioma original	Anglès
Supervisor	Debora Gil Resina (Director/a) & Aura Hernandez Sabate (Director/a)