Comprendre un modèle d’apprentissage profond peut nécessiter d’examiner un vaste réseau de nœuds internes qui traitent l’information. Jacob Andreas, professeur associé récemment titularisé au MIT, poursuit une autre approche : entraîner des systèmes d’IA à décrire ce qu’ils ont appris en des termes compréhensibles pour les humains.
Andreas travaille au département de génie électrique et d’informatique du MIT et est membre de son laboratoire d’informatique et d’intelligence artificielle. Son équipe cherche plus généralement à aider les chercheurs à concevoir des modèles plus précis et plus robustes, adaptés aux usages auxquels ils sont destinés. Selon lui, la complexité des calculs neuronaux exige des outils capables de les traduire sous une forme interprétable par les humains.
Décrire ce qu’un réseau a appris
Un volet des travaux de l’équipe porte sur les algorithmes que les grands modèles de langage utilisent pour apprendre et traiter l’information. Les chercheurs ont mis au point des techniques permettant d’entraîner des modèles de langage à expliquer le fonctionnement d’autres réseaux neuronaux, afin d’aider les chercheurs à anticiper le comportement possible d’un modèle entraîné en dehors du laboratoire.
Ces techniques permettent d’associer une description en langage naturel à chaque nœud de traitement de l’information d’un grand réseau. Dans un système de traitement d’images, par exemple, une description pourrait désigner un nœud qui détecte des parcelles d’herbe à proximité d’animaux. Selon Andreas, ces descriptions constituent un point de départ pour des questions plus générales sur la manière dont les modèles représentent le sens.
Un second volet porte sur les algorithmes d’entraînement des modèles d’apprentissage automatique et sur la prédiction des effets de jeux de données ou d’exemples particuliers sur leur comportement. Selon Andreas, le domaine ne dispose toujours pas d’une théorie scientifique satisfaisante permettant de prévoir ce qui se produira lorsqu’un modèle sera entraîné sur un jeu de données donné.
Il s’attend à ce que l’interprétabilité gagne en importance à mesure que les chercheurs s’efforcent de rendre les systèmes avancés, notamment les agents d’IA, suffisamment sûrs pour être déployés dans des contextes à enjeux élevés. Il évoque également les modèles destinés à faciliter la découverte scientifique : ils peuvent être entraînés sur de grandes quantités de données de laboratoire que les scientifiques ne comprennent pas encore bien. Amener ces modèles à exprimer des connaissances qui n’ont pas été explicitement consignées par écrit constituera à la fois un défi et une occasion à saisir, dit-il.
De la recherche sur la traduction à l’enseignement
Le parcours d’Andreas dans la recherche sur le langage a commencé à l’université Columbia, où il étudiait l’informatique et a contacté des enseignants-chercheurs travaillant sur l’IA. Les chercheurs en traitement automatique du langage naturel ont été les premiers à lui répondre. Dans le laboratoire de Michael Collins, son mémoire de premier cycle adaptait des approches statistiques de représentation du sens pour les utiliser dans des systèmes de traduction par IA.
Après avoir obtenu un master à l’université de Cambridge, il a poursuivi ses recherches aux cycles supérieurs à l’université de Californie à Berkeley, auprès de Dan Klein, professeur d’informatique. Ses études ont coïncidé avec une transition du traitement du langage, des méthodes statistiques vers l’apprentissage profond. Des collaborations avec des chercheurs en vision par ordinateur ont porté sur des systèmes capables de générer du langage en apprenant à comprendre des informations visuelles.
Sa thèse à Berkeley portait sur les réseaux de modules neuronaux : de petits composants intégrés à un système d’IA plus vaste, qui accomplissent des tâches telles que la localisation d’objets ou le raisonnement logique. Des travaux exploratoires connexes sur l’interprétabilité et la description des états internes des modèles ont par la suite contribué à orienter les recherches de son équipe au MIT. Il a rejoint le corps professoral du MIT en 2019, après avoir passé un an dans la jeune entreprise Semantic Machines.
Les changements rapides dans le domaine de l’IA ont également des répercussions sur les cours de traitement automatique du langage naturel qu’Andreas coenseigne au premier cycle et aux cycles supérieurs. Il explique que les enseignants les remanient chaque année pour suivre les avancées, tandis que les grands modèles de langage posent un défi parce qu’ils pourraient réaliser les travaux destinés aux étudiants. Il encourage ces derniers à acquérir une compréhension approfondie des fondements de cette technologie.




Discussion