Midiendo la Similitud Semántica en Humanos y Modelos de Lenguaje Bilingues

MESSI investiga la similitud en redes semánticas in vivo vs. in silico, evaluando a humanos y Modelos Grandes de Lenguaje (LLMs) respectivamente.
El objetivo es doble: primero, buscamos determinar si la similitud lingüística modera las adaptaciones cognitivas al bilingüismo. El segundo objetivo es
entender si los LLMs organizan los conceptos detrás de las palabras de una manera que converge con la de los humanos, actuando así como fuentes
confiables para medir la similitud semántica en los humanos. En ambos casos, hemos identificado la similitud semántica como una variable subyacente
compartida y potencialmente importante que necesita ser medida con precisión y luego examinada como: a. un moderador clave de las adaptaciones al
bilingüismo y b. una habilidad crítica que distingue a los humanos de los LLMs.
Las adaptaciones al bilingüismo pueden definirse como los efectos cognitivos que ocurren en poblaciones bilingües debido a su constante manejo de
dos o más sistemas lingüísticos. Si bien existe amplia evidencia de estas adaptaciones (por ejemplo, ventajas bilingües en tareas de función ejecutiva),
su origen no está claro. ¿Qué las impulsa? El "bilingüismo" es la respuesta general, pero esto genera más preguntas que respuestas. ¿Qué es
exactamente del bilingüismo lo que impulsa estas adaptaciones? ¿Se trata de manejar dos gramáticas? ¿Importan las similitudes en el espacio
semántico? Actualmente, no existe una métrica translingüística de la similitud de los contextos en los que ocurren las palabras y que dan lugar a sus
representaciones de significado en relación con otros conceptos. Dicho de otra manera, no existe una métrica translingüística de la similitud semántica.
Si no podemos medir la similitud semántica entre idiomas, no podemos probar la hipótesis de que las adaptaciones bilingües están moduladas por la
similitud general entre lenguas, ya que falta un componente esencial. Desarrollar una métrica de similitud semántica translingüística es la primera
contribución de MESSI.
¿Organizan los LLMs los conceptos de una manera que coincide con la de los humanos monolingües o bilingües? Este es el segundo objetivo de
MESSI. Si la organización de conceptos no es uniforme entre los hablantes de diferentes idiomas, es importante entender si diferentes fuentes
lingüísticas se correlacionan en términos de los resultados de la similitud semántica que producen. Por ejemplo, muchos estudios extraen la similitud
semántica a partir de datos obtenidos de la web (por ejemplo, Wikipedia), cuya autoría no siempre es clara. Estimaciones recientes sugieren que el 5%
de los textos de Wikipedia son escritos por LLMs. ¿Están los conceptos organizados de manera similar en las redes semánticas de agentes humanos
vs. artificiales, de modo que extraer similitudes de textos de Wikipedia pueda actuar como un proxy confiable sobre la organización de conceptos en la
cognición humana?
En general, MESSI responderá a estas preguntas a través de la elicitación de similitudes semánticas utilizando diferentes metodologías y recopilando
datos que abordan tanto la semántica como la interfaz sintáctico-semántica. Los resultados informarán a diferentes frentes de investigación,
combinando perspectivas experimentales y teóricas de varias disciplinas (por ejemplo, psicología, (psico)lingüística, inteligencia artificial) con el
propósito de desarrollar una forma novedosa de medir qué cuenta como "similar" en la organización de conceptos en el espacio semántico.