Comprender un modelo de aprendizaje profundo puede implicar examinar una vasta red de nodos de procesamiento internos. Jacob Andreas, profesor asociado del MIT que recientemente obtuvo la titularidad, sigue otro enfoque: entrenar sistemas de IA para que describan lo que han aprendido en términos que las personas puedan entender.

Andreas trabaja en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación del MIT y es miembro de su Laboratorio de Ciencias de la Computación e Inteligencia Artificial. El objetivo más amplio de su grupo es ayudar a las personas a construir modelos más precisos y robustos, adecuados para los usos previstos. Sostiene que la complejidad de la computación neuronal exige herramientas que la traduzcan a una forma que los humanos puedan interpretar.

Describir lo que ha aprendido una red

Una línea de trabajo del grupo examina los algoritmos que utilizan los grandes modelos de lenguaje para aprender y procesar información. Los investigadores han desarrollado técnicas para entrenar modelos de lenguaje que expliquen el funcionamiento de otras redes neuronales, con el objetivo de ayudar a los investigadores a anticipar cómo podría comportarse un modelo entrenado fuera del laboratorio.

Estas técnicas pueden proporcionar una descripción en lenguaje natural de cada nodo de procesamiento de información de una red grande. En un sistema de procesamiento de imágenes, por ejemplo, una descripción podría identificar un nodo que detecta zonas de césped cerca de animales. Andreas afirma que esas descripciones ofrecen un punto de partida para plantear preguntas más amplias sobre cómo representan el significado los modelos.

Una segunda línea se centra en los algoritmos para entrenar modelos de aprendizaje automático y predecir cómo afectan a su comportamiento determinados conjuntos de datos o ejemplos. Andreas afirma que el campo aún carece de una buena teoría científica que permita predecir qué ocurrirá cuando se entrene un modelo con un conjunto de datos determinado.

Prevé que la interpretabilidad cobre más importancia a medida que los investigadores intenten que los sistemas avanzados, incluidos los agentes de IA, sean lo suficientemente seguros para su uso en contextos de alto riesgo. También señala los modelos destinados a ayudar en los descubrimientos científicos: pueden entrenarse con grandes cantidades de datos de laboratorio que los científicos aún no comprenden bien. Lograr que esos modelos expresen conocimientos que no se han plasmado explícitamente por escrito será tanto un desafío como una oportunidad, afirma.

De la investigación en traducción a la docencia

El camino de Andreas hacia la investigación del lenguaje comenzó en la Universidad de Columbia, donde estudió ciencias de la computación y se puso en contacto con profesores que trabajaban en IA. Los investigadores de procesamiento del lenguaje natural fueron los primeros en responder. En el laboratorio de Michael Collins, su tesis de grado adaptó enfoques estadísticos de representación del significado para su uso en sistemas de traducción basados en IA.

Después de obtener una maestría en la Universidad de Cambridge, realizó investigaciones de posgrado en la Universidad de California en Berkeley con Dan Klein, profesor de ciencias de la computación. Sus estudios coincidieron con una transición en el procesamiento del lenguaje, de los métodos estadísticos al aprendizaje profundo. En colaboración con investigadores de visión computacional, exploró sistemas capaces de generar lenguaje mediante el aprendizaje de la comprensión de información visual.

Su tesis en Berkeley examinó las redes neuronales modulares: pequeños componentes de un sistema de IA más amplio que realizan tareas como localizar objetos o razonar de forma lógica. Los trabajos exploratorios relacionados con la interpretabilidad y las descripciones de los estados internos de los modelos contribuyeron más tarde a definir el enfoque de su grupo en el MIT. Se incorporó al profesorado del MIT en 2019, tras pasar un año en la empresa emergente Semantic Machines.

Los rápidos cambios en la IA también afectan a los cursos de procesamiento del lenguaje natural de grado y posgrado que Andreas imparte junto con otros docentes. Afirma que los profesores los rediseñan cada año para mantenerse al día con los avances, mientras que los grandes modelos de lenguaje plantean un desafío porque podrían completar las tareas destinadas a los estudiantes. Anima a sus alumnos a desarrollar una comprensión profunda de los fundamentos de la tecnología.