Les détecteurs de textes générés par l’IA peuvent ne pas repérer des écrits produits par une machine qui ont été modifiés pour paraître humains. Ils peuvent aussi rencontrer des difficultés à mesure que les habitudes d’écriture et les modèles de langage évoluent. Des chercheurs du MIT et de l’université Cornell ont testé une méthode permettant à un détecteur de s’adapter à ces changements après son déploiement.

Cette technique, appelée adaptation au moment du test (TTA), met à jour un modèle déployé à partir de nouveaux exemples, sans nécessiter de réentraînement complet. Pour un détecteur de textes, ces exemples sont des passages soumis par les utilisateurs, dont l’origine humaine ou artificielle n’est pas communiquée au modèle. Avec suffisamment d’exemples, le détecteur peut apprendre à reconnaître des caractéristiques qui l’aident à distinguer les deux.

Lors d’un test portant sur des textes délibérément modifiés pour échapper à la détection, le modèle adaptatif a repéré plus de 93 % des textes déguisés, contre environ 27 % pour les méthodes existantes. Dans une autre expérience simulant l’évolution du langage humain au fil du temps, le détecteur adaptatif a atteint une exactitude de 85 % ; les méthodes traditionnelles ont atteint 73 %.

Évolution de l’écriture et contournement délibéré

Les détecteurs sont généralement entraînés sur des textes issus d’Internet dont l’origine est connue. Leurs performances peuvent se dégrader lorsque les textes qui leur sont ensuite soumis diffèrent considérablement de ces exemples, un problème appelé décalage de distribution. L’évolution des façons d’écrire ou d’utiliser l’IA, ainsi que l’arrivée de nouveaux modèles de langage, peuvent créer de tels écarts.

Par exemple, un détecteur entraîné sur des textes de 2010 pourrait rencontrer des sujets et des analogies qui lui sont inconnus dans des écrits humains de 2030 et les classer à tort comme générés par l’IA. Le contournement délibéré pose un autre défi : des outils automatisés d’humanisation peuvent modifier les textes produits par l’IA pour qu’un détecteur les considère comme rédigés par un humain.

Kevin Ren, premier auteur de l’étude, a décrit une course récurrente dans laquelle les développeurs ajoutent des textes humanisés à leurs données d’entraînement, puis les utilisateurs cherchent des moyens de contourner le détecteur mis à jour. Selon lui, la TTA pourrait aider les modèles déployés à réagir de manière proactive aux tentatives répétées visant à les tromper.

Comment les chercheurs ont testé l’adaptation

L’équipe a constitué des jeux de données contenant des proportions définies de textes humains et de textes générés par l’IA, sans communiquer ces étiquettes au modèle. Les chercheurs ont également utilisé de grands modèles de langage pour produire des exemples destinés à échapper à un détecteur. Après l’adaptation, ils ont évalué le modèle sur des données dont l’origine était connue.

Selon Ren, les évolutions de l’écriture humaine sont plus difficiles à prendre en compte par la TTA, car elles se produisent plus lentement et plus subtilement. Les chercheurs ont également averti que la méthode pourrait ne pas toujours fonctionner si les futurs modèles de langage produisent des textes à la sonorité plus naturelle et s’il devient plus difficile d’obtenir des écrits dont l’origine humaine est vérifiable pour l’entraînement.

Manish Raghavan, coauteur de l’étude, a déclaré que ces travaux montraient que la TTA pouvait rendre les détecteurs plus robustes malgré la persistance de tentatives de contournement. Il a également indiqué qu’on ignorait encore s’il serait possible de résoudre le problème de la distinction entre les contenus humains et ceux générés par l’IA, ce qui soulève des questions ouvertes pour la science, l’écriture et l’art.

Raghavan est titulaire de la chaire de développement de carrière Drew Houston (2005) à la MIT Sloan School of Management, occupe un poste conjoint au département de génie électrique et d’informatique du MIT par l’intermédiaire du Schwarzman College of Computing, et dirige des travaux de recherche au Laboratory for Information and Decision Systems. Ren est étudiant de cycle supérieur à Cornell Tech ; Nikhil Garg, auteur principal de l’étude, y est professeur adjoint.

La recherche sera présentée à la Conference on Neural Information Processing Systems. L’équipe prévoit d’étudier d’autres contextes stratégiques d’application de la TTA et de concevoir de meilleurs outils de référence pour améliorer les détecteurs à mesure que les conditions changent. Pangram a fourni des crédits d’API pour l’utilisation de ses détecteurs de textes générés par l’IA dans le cadre du projet.