Investigadores de las universidades de Nueva York y Pompeu Fabra han creado una red neuronal artificial que comprende nuevos conceptos y realiza generalizaciones al igual que las personas, o incluso de forma superior
25 oct 2023 . Actualizado a las 18:27 h.Una inteligencia artificial que tenga la capacidad de aprender nuevos conceptos al igual que lo hacen los humanos. Es algo que los investigadores se llevan planteando desde hace casi cuatro décadas, pero que todavía se resiste. Ni sofisticados sistemas como ChatGPT cumplen con estos requisitos. Pero un paso crucial en este objetivo lo acaba de ofrecer un estudio conjunto de la Universidad Pompeu Fabra de Barcelona y de la Universidad de Nueva Yor en el que han demostrado que una red neuronal artificial puede tener capacidades de generalización sistemática similares a las humanas. Es decir, de aprender nuevos conceptos y combinarlos con los ya existentes.
Esta afirmación pone en entredicho la idea de hace 35 años de que las redes neuronales no son modelos viables de la mente humana. La investigación se ha publicado en la revista científica Nature.
Los humanos tenemos la capacidad de aprender un concepto nuevo y, una vez adquirido, comprender los diferentes contextos y expresiones en los que se usa. Por ejemplo, cuando un niño o niña aprende qué significa «saltar», también es capaz de comprender de inmediato qué quiere decir «saltar dos veces alrededor de la habitación» o «saltar con las manos en alto». Esta capacidad se denomina generalización composicional. Y la técnica pionera que tiene el potencial de desarrollarla en los sistemas computacionales al mismo nivel que los seres humanos o incluso superior es la que acaban de presentar los investigadores españoles y estadounidenses. El descubrimiento puede servir para mejorar las capacidades de herramientas de inteligencia artificial generativa como el ChatGPT.
La tecnología desarrollada por los investigadores de las universidades de Nueva York y Pompeu Fabra llega después de cerca de cuatro décadas de trabajo de la comunidad científica para desarrollar la capacidad de generalización composicional entre las máquinas. A finales de la década de 1980, Jerry Fodor y Zenon Pylyshyn, filósofos y científicos cognitivos, ya plantearon que las redes neuronales artificiales -los motores que impulsan la inteligencia artificial y el aprendizaje automático- no son capaces de hacer estas conexiones, conocidas como generalizaciones composicionales. Desde entonces, se han desarrollado distintas formas de incentivar esta capacidad en las redes neuronales y tecnologías afines, pero con resultados desiguales. Así pues, a día de hoy, aún se mantiene vivo el debate sobre cómo lograrlo.
En este sentido, el hallazgo publicado por la revista Nature es fundamental, tal como explica Brenden Lake, profesor adjunto del Centro de Ciencia de Datos y del Departamento de Psicología de la NYU y uno de los autores del artículo: «Durante 35 años, los investigadores de las ciencias cognitivas, la inteligencia artificial, la lingüística y la filosofía han debatido si las redes neuronales pueden lograr una generalización sistemática similar a la humana. Ahora hemos demostrado, por primera vez, que una red neuronal genérica puede imitar o superar la generalización sistemática humana en una comparación cara a cara»? añade Lake.
La nueva técnica, Meta-learning for Compositionality (MLC), parte de métodos de entrenamiento distintos a los de la mayoría de herramientas actuales de inteligencia artificial. Se centra en el entrenamiento de redes tecnológicas neuronales para mejorar la generalización composicional de los sistemas computacionales a través de la práctica. Los creadores de los sistemas existentes hasta hoy, incluidos los modelos lingüísticos usados por tecnologías de IA generativa, partían del supuesto que la generalización composicional de las tecnologías surgiría a partir de métodos de entrenamiento estándar, o bien habían desarrollado arquitecturas especiales para lograr que las máquinas adquirieran estas capacidades. En cambio, la MLC muestra que las máquinas pueden desarrollar las habilidades de generalización composicional a partir de la práctica explícita de ejercicios que la ayuden a adquirirla.
«Los grandes modelos lingüísticos como ChatGPT siguen teniendo problemas con la generalización composicional, aunque han mejorado en los últimos años. Pero creemos que MLC puede mejorar aún más las habilidades composicionales de los grandes modelos lingüísticos», asegura Marco Baroni, profesor e investigador ICREA del Departamento de Traducción y Ciencias del Lenguaje de la Universidad Pompeu Fabra, en el que forma parte del grupo Computational Linguistics and Linguistic Theory (COLT).
La nueva herramienta parte de un innovador procedimiento de aprendizaje en el que una red neuronal se actualiza continuamente para mejorar sus habilidades a lo largo de una serie de fases. En una fase, la tecnología recibe una palabra nueva y se le pide que la utilice en nuevas composiciones. Por ejemplo, se le pide que tome la palabra «saltar» y luego cree nuevas combinaciones, como «saltar dos veces» o «saltar dos veces a la derecha». A continuación, el sistema recibe, en una nueva fase, una palabra diferente, y así sucesivamente, mejorando cada vez las habilidades composicionales de la red.
Para probar la eficacia del MLC, Brenden Lake (NYU) y Marco Baroni (UPF) han realizado una serie de experimentos con participantes humanos donde les planteaban tareas idénticas a las realizadas por el sistema MLC. Además, en lugar de aprender el significado de palabras reales -términos que las personas ya conocerían-, tuvieron que aprender el significado de términos sin sentido (por ejemplo, «zup» y «dax»), definidos por los investigadores y aprender a aplicarlos de distintas maneras. El rendimiento del la nueva herramienta de IA fue igual de bueno, y en algunos casos mejor, que el de los participantes humanos. Tanto el MLC como las personas también superaron a ChatGPT y GPT-4, que, a pesar de mostrar capacidades sorprendes en términos generales, mostraron dificultades con esta tarea de aprendizaje vinculada a la generalización composicional.