Detektoren für KI-Texte können maschinell erzeugte Texte übersehen, die so verändert wurden, dass sie menschlich wirken. Auch wenn sich Schreibgewohnheiten und Sprachmodelle verändern, können sie an ihre Grenzen stoßen. Forschende des MIT und der Cornell University testeten eine Möglichkeit, einen Detektor nach seinem Einsatz an solche veränderten Bedingungen anzupassen.

Die als Test-Time Adaptation (TTA) bezeichnete Technik aktualisiert ein bereits eingesetztes Modell anhand neuer Beispiele, ohne dass es vollständig neu trainiert werden muss. Bei einem Textdetektor handelt es sich dabei um von Nutzenden eingereichte Textpassagen, deren menschliche oder KI-Herkunft dem Modell nicht mitgeteilt wird. Bei ausreichend vielen Beispielen kann der Detektor Muster lernen, die ihm helfen, zwischen beiden zu unterscheiden.

In einem Test mit Texten, die gezielt verändert worden waren, um der Erkennung zu entgehen, erkannte das adaptive Modell mehr als 93 Prozent der getarnten Texte. Bestehende Methoden kamen auf etwa 27 Prozent. In einem weiteren Experiment, das Veränderungen der menschlichen Sprache im Laufe der Zeit simulierte, erreichte der adaptive Detektor eine Genauigkeit von 85 Prozent; herkömmliche Methoden kamen auf 73 Prozent.

Veränderte Schreibweisen und gezielte Umgehung

Detektoren werden in der Regel mit Texten aus dem Internet trainiert, deren Herkunft bekannt ist. Ihre Leistung kann leiden, wenn spätere Eingaben erheblich von diesen Beispielen abweichen. Dieses Problem wird als Verteilungsverschiebung bezeichnet. Solche Unterschiede können entstehen, wenn Menschen anders schreiben oder KI anders nutzen, aber auch durch das Aufkommen neuer Sprachmodelle.

So könnte ein Detektor, der mit Texten aus dem Jahr 2010 trainiert wurde, in menschlichen Texten aus dem Jahr 2030 auf unbekannte Themen und Analogien stoßen und diese fälschlicherweise als KI-generiert einstufen. Eine weitere Herausforderung ist die gezielte Umgehung: Automatisierte Humanizer-Werkzeuge können KI-Ausgaben so verändern, dass ein Detektor sie für menschlich verfasst hält.

Erstautor Kevin Ren beschrieb einen wiederkehrenden Wettstreit: Entwickler nehmen vermenschlichte Texte in ihr Trainingsmaterial auf, woraufhin Nutzende nach Wegen suchen, den aktualisierten Detektor zu umgehen. TTA könne bereits eingesetzten Modellen helfen, proaktiv auf wiederholte Versuche zu reagieren, sie auszutricksen, sagte er.

Wie die Forschenden die Anpassung testeten

Das Team stellte Datensätze mit festgelegten Anteilen menschlich und KI-generierter Texte zusammen, enthielt dem Modell aber die entsprechenden Kennzeichnungen vor. Außerdem nutzten die Forschenden große Sprachmodelle, um Beispiele zu erzeugen, die einem Detektor entgehen sollten. Nach der Anpassung überprüften sie das Modell anhand von Daten bekannter Herkunft.

Ren zufolge sind Veränderungen menschlicher Schreibweisen für TTA schwieriger zu bewältigen, weil sie langsamer und unauffälliger erfolgen. Die Forschenden warnten zudem, dass die Methode möglicherweise nicht immer funktioniert, wenn künftige Sprachmodelle natürlicher klingende Texte erzeugen und nachweislich menschlich verfasste Texte für das Training schwerer zu beschaffen sind.

Mitautor Manish Raghavan sagte, die Arbeit zeige, dass TTA Detektoren trotz anhaltender gezielter Umgehungsversuche robuster machen könne. Zugleich bleibe unklar, ob sich das Problem der Unterscheidung zwischen menschlichen und KI-generierten Inhalten lösen lasse. Daraus ergäben sich offene Fragen für Wissenschaft, Schreiben und Kunst.

Raghavan ist Drew Houston (2005) Career Development Professor an der MIT Sloan School of Management, hat über das Schwarzman College of Computing eine gemeinsame Stelle im Department of Electrical Engineering and Computer Science des MIT inne und ist leitender Forscher am Laboratory for Information and Decision Systems. Ren ist Graduate-Student an der Cornell Tech; Letztautor Nikhil Garg ist dort Assistant Professor.

Die Forschung wird auf der Conference on Neural Information Processing Systems vorgestellt. Das Team plant, weitere strategische Einsatzszenarien für TTA zu untersuchen und bessere Benchmarks zu entwickeln, um Detektoren bei sich verändernden Bedingungen zu verbessern. Pangram stellte API-Guthaben für die Nutzung seiner KI-Textdetektoren im Rahmen des Projekts bereit.