Ir directamente a la navegación principal Ir directamente a la búsqueda Ir directamente al contenido principal

The Analysis and Continual Learning of Deep Feature Representations

Tesis doctoral

Resumen

La Inteligencia Artificial (IA) está teniendo un impacto enorme en diversos campos de aplicación, desde la conducción autónoma hasta el descubrimiento de fármacos. Este progreso está impulsado predominantemente por el aprendizaje profundo, una tecnología cuyo rendimiento escala con la disponibilidad de datos. A medida que crece la demanda de grandes conjuntos de datos, los investigadores han desarrollado el aprendizaje por transferencia como una estrategia alternativa para aprovechar los modelos preentrenados. Sin embargo, el aprendizaje por transferencia enfrenta varios desafíos, incluyendo la necesidad de datos anotados extensos, la dificultad para adaptarse a dominios altamente disyuntos y la falta de acumulación de conocimiento al adaptarse a nuevos dominios. El aprendizaje continuo surge como un enfoque prometedor para abordar estos problemas, permitiendo que los modelos aprendan de distribuciones de datos cambiantes sin olvidar el conocimiento adquirido previamente. El aprendizaje autosupervisado ha mostrado un éxito notable en la mitigación de problemas de escasez de datos al aprovechar datos no etiquetados para aprender representaciones significativas. Este paradigma ofrece interesantes desafíos y oportunidades para el aprendizaje continuo, potencialmente conduciendo a modelos más generalizables y adaptables. Por lo tanto, esta tesis explora la combinación del aprendizaje autosupervisado y continuo. Mientras que la teoría existente del aprendizaje continuo se ha centrado predominantemente en el aprendizaje supervisado, nosotros extendemos la teoría del aprendizaje continuo a escenarios no supervisados. Esto permite el aprendizaje de representaciones de alta calidad a partir de un flujo de datos no etiquetados. En la primera parte de la tesis, introducimos un método que aprovecha la destilación de características para combinar los paradigmas del aprendizaje continuo y autosupervisado para permitir el aprendizaje continuo de representaciones no supervisadas. Luego, profundizamos en el dilema de estabilidad-plasticidad, proponiendo estrategias para optimizar este equilibrio en el contexto del aprendizaje continuo no supervisado sin ejemplos, particularmente para escenarios que involucran numerosas tareas. En el ámbito del aprendizaje continuo basado en prototipos, encontramos que el desplazamiendo de características es una causa principal de la disminución del rendimiento. Por lo tanto, desarrollamos una técnica de corrección de prototipos basada en un proyector que mapea entre los espacios de características de tareas consecutivas. Demostramos que nuestro método puede aplicarse a cualquier método de aprendizaje continuo autosupervisado para crear el primer método de aprendizaje continuo semisupervisado sin ejemplos. Finalmente, exploramos el impacto de las transformaciones de color en el aprendizaje autosupervisado e introducimos un método de transformación de color basado en la física. Esta técnica demuestra ser efectiva para tareas donde el color intrínseco del objeto es crucial. Mejoramos el aprendizaje general de representaciones combinando información de color y forma a través de diferentes modalidades de autosupervisión.
Fecha de lectura14 oct 2024
Idioma originalInglés
SupervisorBartlomiej Twardowski (Director/a), Joost Van de Weijer (Director/a) & Andrew Bagdanov (Director/a)

Citar esto

'