Um ein Deep-Learning-Modell zu verstehen, muss man unter Umständen ein riesiges Netzwerk interner Verarbeitungsknoten untersuchen. Jacob Andreas, ein vor Kurzem entfristeter Associate Professor am MIT, verfolgt einen anderen Ansatz: Er trainiert KI-Systeme darauf, das von ihnen Gelernte in einer für Menschen verständlichen Form zu beschreiben.
Andreas arbeitet am Department of Electrical Engineering and Computer Science des MIT und ist Mitglied des dortigen Computer Science and Artificial Intelligence Laboratory. Das übergeordnete Ziel seiner Gruppe ist es, Menschen dabei zu helfen, genauere und robustere Modelle zu entwickeln, die für ihre jeweiligen Einsatzzwecke geeignet sind. Die Komplexität neuronaler Berechnungen erfordere Werkzeuge, die sie in eine für Menschen interpretierbare Form übersetzen, argumentiert er.
Beschreiben, was ein Netzwerk gelernt hat
Ein Teil der Arbeit der Gruppe untersucht die Algorithmen, mit denen große Sprachmodelle lernen und Informationen verarbeiten. Die Forschenden haben Verfahren entwickelt, mit denen Sprachmodelle darauf trainiert werden, die Funktionsweise anderer neuronaler Netze zu erklären. Damit sollen Forschende besser abschätzen können, wie sich ein trainiertes Modell außerhalb des Labors verhalten könnte.
Mit den Verfahren lässt sich für jeden informationsverarbeitenden Knoten in einem großen Netzwerk eine Beschreibung in natürlicher Sprache erstellen. In einem Bildverarbeitungssystem könnte eine solche Beschreibung beispielsweise einen Knoten identifizieren, der Grasflächen in der Nähe von Tieren erkennt. Andreas zufolge sind solche Beschreibungen ein Ausgangspunkt für weitergehende Fragen dazu, wie Modelle Bedeutung repräsentieren.
Ein zweiter Schwerpunkt liegt auf Algorithmen zum Training von Modellen des maschinellen Lernens und auf der Vorhersage, wie bestimmte Datensätze oder Beispiele deren Verhalten beeinflussen. Laut Andreas fehlt dem Fachgebiet noch immer eine fundierte wissenschaftliche Theorie, mit der sich vorhersagen lässt, was geschieht, wenn ein Modell mit einem bestimmten Datensatz trainiert wird.
Er erwartet, dass Interpretierbarkeit an Bedeutung gewinnen wird, während Forschende versuchen, fortschrittliche Systeme, darunter KI-Agenten, für den Einsatz in Bereichen mit weitreichenden Folgen ausreichend sicher zu machen. Er verweist auch auf Modelle, die wissenschaftliche Entdeckungen unterstützen sollen: Sie könnten mit großen Mengen an Labordaten trainiert werden, die Wissenschaftlerinnen und Wissenschaftler noch nicht gut verstehen. Solche Modelle dazu zu bringen, Wissen auszudrücken, das nicht ausdrücklich niedergeschrieben wurde, werde sowohl eine Herausforderung als auch eine Chance sein, sagt er.
Von der Übersetzungsforschung zur Lehre
Andreas’ Weg in die Sprachforschung begann an der Columbia University, wo er Informatik studierte und Kontakt zu Lehrenden aufnahm, die im Bereich KI arbeiteten. Forschende auf dem Gebiet der Verarbeitung natürlicher Sprache antworteten als Erste. In Michael Collins’ Labor passte er in seiner Abschlussarbeit statistische Ansätze zur Darstellung von Bedeutung für den Einsatz in KI-Übersetzungssystemen an.
Nach seinem Masterabschluss an der University of Cambridge forschte er an der University of California, Berkeley, bei dem Informatikprofessor Dan Klein. Seine Studien fielen in eine Zeit, in der sich die Sprachverarbeitung von statistischen Methoden hin zum Deep Learning verlagerte. In Zusammenarbeit mit Forschenden auf dem Gebiet des maschinellen Sehens untersuchte er Systeme, die Sprache erzeugen konnten, indem sie lernten, visuelle Informationen zu verstehen.
In seiner Dissertation in Berkeley untersuchte er neuronale Modulnetzwerke: kleine Komponenten innerhalb eines größeren KI-Systems, die Aufgaben wie das Lokalisieren von Objekten oder logisches Schlussfolgern übernehmen. Verwandte explorative Arbeiten zur Interpretierbarkeit und zur Beschreibung der internen Zustände von Modellen trugen später dazu bei, den Schwerpunkt seiner Gruppe am MIT zu prägen. Nach einem Jahr beim Startup Semantic Machines kam er 2019 als Hochschullehrer ans MIT.
Die rasanten Veränderungen in der KI wirken sich auch auf die Lehrveranstaltungen zur Verarbeitung natürlicher Sprache aus, die Andreas für Studierende im Grund- und Aufbaustudium mitbetreut. Die Lehrenden gestalten diese Kurse ihm zufolge jedes Jahr neu, um mit den Entwicklungen Schritt zu halten. Große Sprachmodelle stellen dabei eine Herausforderung dar, weil sie Aufgaben lösen könnten, die für Studierende gedacht sind. Er ermutigt die Studierenden, ein tiefes Verständnis für die Grundlagen der Technologie zu entwickeln.




Diskussion