Understanding eye movements: psychophysics and a model of primary visual cortex.

Tesi d’estudis: Tesi doctoral

Resum

En aquesta tesi intentaré explicar (1) com movem els ulls, (2) com fer màquines que entenguin la informació visual i executar moviments oculars, i (3) com fer que aquestes màquines entenguin tasques per tal de decidir per aquets moviments oculars. (1) Hem analitzat del comportament dels moviments oculars provocat per les diferències de característiques de baix nivell amb una base de dades d’imatges composada per 230 patrons generats sintèticament. S’han generat un total de 15 tipus d’estímuls (p.e. orientació, brillantor, color, tamany, etc.), amb 7 contrastos per cada categoría de característica. Les dades de 34 participants s’han pogut col leccionar a partir d’un seguidor ocular durant la visualització de la base de dades, amb les tasques d’Observació Lliure i Cerca Visual. Els resultats han mostrat que la saliency és predominantment i distinctivament influenciada per: 1. el tipus de característica, 2. el contrast de característiques, 3. la temporalitat de les fixacions, 4. la dificultat de la tasca i 5. l’esbiaixament central. A partir d’aquesta base de dades (SID4VAM) hem computat una comparació dels models de saliency testejant el seu rendiment utilitzant patrons psicofísics. El nostre estudi revela que els models en l’estat de l’art en saliency basats Deep Learning no tenen bon rendiment amb patrons sintètics, contràriament, els models d’inspiració Espectral/Fourier en superen el rendiment i són més consistents amb la experimentació psicofísica. (2) Les computacions de l’escorça visual primària (area V1 o escorça estriada) s’han hipotetitzat com a responsables, entre altres mecanismes de processament visual, de l’atenció visual bottom-up (o també anomenada saliency). Per tal de validar aquesta hipòtesi, s’han processat diferents bades de dades d’imatges amb seguidor ocular a partir d’un model biològicament plausible de V1 (anomenat Neurodyamic Saliency Wavelet Model o NSWAM). Seguint el model neurodinàmic de Li, hem definit les connexions laterals de V1 amb una xarxa de neurones firing rate, sensitives a característiques visuals com la brillantor, el color, la orientació i la escala. Els processos subcorticals inferiors (i.e. retinals i talàmics) s’han modelitzat funcionalment. Els mapes de saliency resultats s’han generat a partir de la sortida del model, representant l’activitat neuronal de V1 cap a les arees del cervell involucrades en el control dels moviments oculars. Fa falta destacar que la nostra arquitectura unificada és capaç de reproduir diferents processos de la visió (i.e. inducció de brillantor, cromàtica i malestar visual) sense aplicar cap tipus d’entrenament ni optimització i seguint la mateixa parametrització. S’ha extès el model (NSWAM-CM) incluint una implementació de la magnificació cortical per tal de definir les projeccions retinotòpiques cap a V1 per cada visualització de la escena. També s’ha proposat la inhibició de retorn i mecanismes de selecció per tal de predir l’atenció tant en Observació Lliure com Cerca Visual. Els resultats han demostrat que el model supera en rendiment a altres models biològicament inspirats per a la predicció de saliency i sequències de saccades, en concret en imatges de sintètiques i de natura. (3) El priming de tasca és crucial per a la execució de moviments oculars, involucrant interaccions entre arees cerebrals relacionades amb la conducta orientada a la meta, memòria de treball i de llarg termini en combinació amb les zones neuronals responsables de processar els estímuls. En l’últim estudi, hem proposat d’extendre el Selective Tuning Reference Fixation Controller Model, basat en instruccions de tasca (STAR-FCT), describint noves definicions computacionals de la Memòria de Llarg Termini, l’Executiu de Tasques Visuals i la Memòria de Treball per a la Tasca. A partir d’aquests mòduls hem sigut capaços d’utilitzar instruccions textuals per tal de guiar el model a dirigir la atenció a categoríes específiques d’objecte i/o llocs concrets de la escena. Hem disenyat el nostre model de memòria a partir de una jerarquía de característiques tant d’alt com de baix nivell. La relació entre les instruccions executives de la tasca i les representacions de la memòria s’han especificat utilitzant un arbre de similaritats semàntiques entre les característiques apreses i les anotacions de categoría d’objecte. Els resultats en comparació amb la saliency han mostrat que utilitzant aquest model, tant els mapes de localització d’objecte com les prediccions de saccades tenen major probabilitat de caure en les regions salients depenent de les instruccions.
Data del Ajut26 de jul. 2019
Idioma originalAnglès
SupervisorXavier Otazu Porter (Director/a) & Xavier Otazu Porter (Tutor/a)

Keywords

  • Saliency; Saliencia; Saliency; Moviments oculars; Movimientos oculares; Eye movements; Escorça visual; Corteza visual; Visual cortex

Com citar-ho

'