Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations

Resum

L'aprenentatge de representacions no supervisat té com a objectiu trobar mètodes que aprenguin representacions a partir de dades sense senyals basats en anotacions. Abstindre's de les anotacions no només comporta beneficis econòmics, sinó que també pot, i en certa mesura ja ho fa, comportar avantatges en la estructura de la representació, la robustesa i la capacitat de generalització a diferents tasques. A llarg termini, s'espera que els mètodes no supervisats superin les seves contraparts supervisades a causa de la reducció de la intervenció humana i de l'enfocament inherentment més general que no biaixi l'optimització cap a un objectiu que prové de senyals específics basats en anotacions. Tot i que recentment s'han observat avantatges importants de l'aprenentatge de representacions no supervisat en el processament del llenguatge natural, els mètodes supervisats encara dominen en els dominis de la visió per a la majoria de les tasques. En aquesta tesi, contribuïm al camp de l'aprenentatge de representacions (visuals) no supervisades des de tres perspectives: (i) Aprenentatge de representacions: Dissenyem Xarxes Neuronals Autoorganitzades Convolucionals (CSNNs) no supervisades i lliures de retropropagació que utilitzen regles d'aprenentatge basades en autoorganització i en Hebb, per aprendre nuclis convolucionals i màscares amb l'objectiu d'assolir models més profunds sense retropropagació. Observem que els mètodes basats en retropropagació i lliures de retropropagació poden patir d'una manca de coincidència de la funció objectiu entre la tasca de pretext no supervisada i la tasca objectiu, la qual cosa pot portar a una disminució en el rendiment per a la tasca objectiu. (ii) Avaluació de la representació: Ens basem en el protocol d'avaluació (no) lineal àmpliament utilitzat per definir mètriques independents de la tasca de pretext i la tasca objectiu per a mesurar la manca de coincidència de la funció objectiu. Amb aquestes mètriques, avaluem diverses tasques de pretext i objectiu i revelem les dependències de la manca de coincidència de la funció objectiu en diferents parts de l'entrenament i la configuració del model. (iii) Transferència de representacions: Contribuïm amb CARLANE, el primer banc de proves d'adaptació de domini sim-to-real de 3 vies per a la detecció de carrils 2D. Adoptem diversos mètodes coneguts d'adaptació de domini no supervisat com a referència i proposem un mètode basat en l'aprenentatge auto-supervisat prototípic entre dominis. Finalment, ens centrem en l'adaptació de domini no supervisat basada en píxels i contribuïm amb un mètode de traducció d'imatge a imatge no aparellat consistent en contingut que utilitza màscares, discriminadors globals i locals, i mostreig de similitud per mitigar les inconsistències de contingut, així com la denormalització atenta a característiques per fusionar estadístiques basades en contingut en la seqüència del generador. A més, proposem la mètrica cKVD per incorporar inconsistències de contingut específiques de classes en mètriques perceptuals per a mesurar la qualitat de la traducció.

Data del Ajut	13 de nov. 2023
Idioma original	Anglès
Supervisor	Juergen Brauer (Director/a) & Jordi Gonzalez Sabate (Director/a)