Los detectores de textos de IA pueden no reconocer escritos generados por máquinas que han sido modificados para parecer humanos, y también pueden tener dificultades a medida que cambian los hábitos de escritura y los modelos de lenguaje. Investigadores del MIT y de la Universidad Cornell probaron una forma de hacer que un detector se adapte a esas condiciones cambiantes una vez puesto en uso.

La técnica, llamada adaptación en tiempo de prueba (TTA, por sus siglas en inglés), actualiza un modelo ya implementado mediante nuevos ejemplos sin necesidad de volver a entrenarlo por completo. En el caso de un detector de textos, esos ejemplos son pasajes enviados por los usuarios cuyo origen, humano o generado por IA, no se comunica al modelo. Con suficientes ejemplos, el detector puede aprender patrones que ayuden a distinguir entre ambos.

En una prueba con textos modificados deliberadamente para evadir la detección, el modelo adaptativo identificó más del 93 por ciento del texto camuflado, frente a cerca del 27 por ciento con los métodos existentes. En otro experimento que simulaba cambios en el lenguaje humano a lo largo del tiempo, el detector adaptativo alcanzó una precisión del 85 por ciento; los métodos tradicionales llegaron al 73 por ciento.

Cambios en la escritura y evasión deliberada

Los detectores suelen entrenarse con textos de internet cuyo origen se conoce. Su rendimiento puede verse afectado cuando los textos que reciben posteriormente difieren de forma considerable de esos ejemplos, un problema conocido como cambio de distribución. Los cambios en la forma en que las personas escriben o utilizan la IA, así como la aparición de nuevos modelos de lenguaje, pueden generar esas diferencias.

Por ejemplo, un detector entrenado con textos de 2010 podría encontrar temas y analogías desconocidos en escritos humanos de 2030 y clasificarlos erróneamente como generados por IA. La evasión deliberada plantea otro desafío: las herramientas automáticas de humanización pueden modificar los textos generados por IA para que un detector los considere escritos por una persona.

El autor principal, Kevin Ren, describió una pugna recurrente en la que los desarrolladores añaden textos humanizados a sus materiales de entrenamiento y los usuarios buscan después maneras de eludir el detector actualizado. Dijo que la TTA podría ayudar a los modelos en uso a responder de manera proactiva a los intentos repetidos de engañarlos.

Cómo probaron los investigadores la adaptación

El equipo reunió conjuntos de datos con cantidades determinadas de textos escritos por personas y generados por IA, pero no proporcionó esas etiquetas al modelo. Los investigadores también utilizaron grandes modelos de lenguaje para producir ejemplos destinados a evadir un detector. Tras la adaptación, evaluaron el modelo con datos de origen conocido.

Ren afirmó que los cambios en la escritura humana son más difíciles de abordar mediante la TTA porque ocurren de forma más lenta y sutil. Los investigadores también advirtieron que el método podría no funcionar siempre si los futuros modelos de lenguaje producen textos que suenen más naturales y resulta más difícil obtener escritos humanos verificables para el entrenamiento.

Manish Raghavan, coautor del estudio, afirmó que el trabajo demostraba que la TTA puede hacer que los detectores sean más resistentes pese a la persistencia de intentos de eludirlos. También señaló que sigue sin estar claro si será posible resolver el problema de distinguir el contenido humano del generado por IA, lo que plantea preguntas abiertas para la ciencia, la escritura y el arte.

Raghavan ocupa la cátedra de desarrollo profesional Drew Houston (2005) en la Escuela de Administración Sloan del MIT, tiene un nombramiento compartido en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación del MIT a través del Colegio de Computación Schwarzman y es investigador principal en el Laboratorio de Sistemas de Información y Decisión. Ren es estudiante de posgrado en Cornell Tech; el autor sénior, Nikhil Garg, es profesor adjunto en esa institución.

La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neuronal. El equipo tiene previsto investigar otros contextos estratégicos para la TTA y desarrollar mejores pruebas de referencia que permitan mejorar los detectores a medida que cambien las condiciones. Pangram proporcionó créditos de API para que el proyecto utilizara sus detectores de textos de IA.