Детекторы текстов ИИ могут пропускать машинные тексты, изменённые так, чтобы казаться написанными человеком, а также испытывать трудности из-за изменений в манере письма и языковых моделях. Исследователи из MIT и Корнеллского университета испытали способ, позволяющий детектору адаптироваться к таким изменениям уже после внедрения.

Метод, называемый адаптацией во время тестирования (TTA), обновляет работающую модель на новых примерах без необходимости полного переобучения. Для детектора текстов такими примерами служат представленные пользователями отрывки, происхождение которых — человек или ИИ — модели не сообщается. При достаточном количестве примеров детектор может усвоить закономерности, помогающие различать их.

В испытании на текстах, намеренно изменённых для обхода детектора, адаптивная модель выявила более 93 процентов замаскированных текстов по сравнению с примерно 27 процентами у существующих методов. В другом эксперименте, моделировавшем изменения человеческого языка с течением времени, точность адаптивного детектора составила 85 процентов; традиционные методы достигли 73 процентов.

Изменения в письме и намеренный обход детекторов

Детекторы обычно обучают на интернет-текстах, происхождение которых известно. Их работа может ухудшаться, когда поступающие позднее данные существенно отличаются от этих примеров; такая проблема называется сдвигом распределения. К подобным различиям могут приводить изменения в том, как люди пишут или используют ИИ, а также появление новых языковых моделей.

Например, детектор, обученный на текстах 2010 года, может столкнуться с незнакомыми темами и аналогиями в написанных людьми текстах 2030 года и ошибочно счесть их созданными ИИ. Ещё одна проблема — намеренный обход: автоматические инструменты «гуманизации» могут изменять тексты ИИ так, что детектор принимает их за написанные человеком.

Ведущий автор Кевин Рен описал повторяющееся противостояние: разработчики добавляют «гуманизированные» тексты в обучающие материалы, а пользователи затем ищут способы обойти обновлённый детектор. По его словам, TTA может помочь работающим моделям проактивно реагировать на неоднократные попытки их обмануть.

Как исследователи проверяли адаптацию

Команда собрала наборы данных с заданным количеством текстов, написанных людьми и созданных ИИ, но не сообщила модели об их происхождении. Исследователи также использовали большие языковые модели для создания примеров, предназначенных для обхода детектора. После адаптации они оценили работу модели на данных с известным происхождением.

По словам Рена, TTA сложнее справляться с изменениями в письме людей, поскольку они происходят медленнее и менее заметно. Исследователи также предупредили, что метод может работать не всегда, если будущие языковые модели будут создавать более естественно звучащие тексты, а тексты, достоверно написанные людьми, станет труднее получать для обучения.

Соавтор исследования Маниш Рагхаван заявил, что работа показала: TTA может повысить устойчивость детекторов, несмотря на продолжающиеся попытки их обойти. Он также отметил, что пока неясно, окажется ли задача различения контента, созданного человеком и ИИ, разрешимой. Это оставляет открытыми вопросы для науки, литературы и искусства.

Рагхаван занимает должность профессора программы развития карьеры имени Дрю Хьюстона (2005) в Школе менеджмента Слоуна MIT, имеет совместное назначение на кафедре электротехники и компьютерных наук MIT через Колледж вычислительных технологий Шварцмана и является главным исследователем в Лаборатории информационных и управляющих систем. Рен — аспирант Cornell Tech; старший автор исследования Никхил Гарг — доцент этого учебного заведения.

Исследование будет представлено на конференции по системам обработки нейронной информации. Команда планирует изучить другие области применения TTA в ситуациях стратегического взаимодействия и разработать более эффективные наборы тестов для совершенствования детекторов по мере изменения условий. Компания Pangram предоставила кредиты API для использования своих детекторов текстов ИИ в рамках проекта.