Нельзя наверняка определить, написан ли текст искусственным интеллектом, просто прочитав его или пропустив через детектор. Стилистические признаки и оценки детекторов — это сигналы того, что текст похож на машинный, а не доказательство авторства. Честный вывод сочетает эти сигналы со свидетельствами о процессе письма: черновиками, историей версий и разговором с автором.
- Текст ИИ обычно гладкий, шаблонный, ровный по темпу и небогатый конкретными, проверяемыми деталями.
- Детекторы либо используют обученный классификатор, либо измеряют, насколько предсказуем текст для языковой модели; и то и другое даёт вероятности, а не вердикты.
- Ложные срабатывания вероятнее всего на коротких текстах, шаблонном письме и текстах людей, для которых язык не родной.
- Лёгкая правка или перефразирование могут опустить текст ИИ ниже порога детектора, поэтому низкая оценка тоже не доказывает человеческое авторство.
- Прежде чем действовать по оценке, посмотрите черновики и историю версий и поговорите с автором.
Стилистические признаки текста, написанного ИИ
Большие языковые модели создают текст, раз за разом выбирая вероятные следующие слова. Затем дообучение подталкивает их к ответам вежливым, взвешенным и полным. В результате получается узнаваемый «фирменный стиль», особенно когда пользователь принимает первый ответ без правки.
Лексика и обороты
- Любимые слова. Некоторые слова встречаются в ответах чат-ботов гораздо чаще, чем в обычных текстах: «delve», «tapestry», «testament to», «pivotal», «seamless», «robust», «landscape», «navigate the complexities».
- Вводные обороты. «It's important to note that», «In today's digital age», «When it comes to», «In conclusion» и «Overall» в роли автоматических переходов.
- Осторожная уравновешенность. Каждое утверждение смягчено, а за каждым доводом следует «однако стоит учесть и другое». Текст редко занимает определённую позицию.
- Конструкции из трёх элементов. Перечисления из трёх прилагательных или трёх параллельных оборотов, повторяющиеся из абзаца в абзац.
Структура
- Однообразный ритм. Предложения и абзацы одинаковой длины, каждый абзац начинается с тематического предложения и заканчивается мини-резюме.
- Заголовки и маркированные списки везде, даже там, где естественнее был бы связный текст, например в личном заявлении или письме.
- Итоговая концовка, которая пересказывает вступление, ничего не добавляя.
Содержание
- Недостаток конкретики. Нет имён, дат, мест, чисел или личного опыта, которые можно проверить, либо детали звучат правдоподобно, но расплывчато («недавнее исследование показало»).
- Уверенные ошибки. Выдуманные ссылки, неверные даты или цитаты, которых не существует. Об этом рассказывает наша статья о галлюцинациях ИИ.
- Несоответствие автору. Отполированный шаблонный текст от человека, чьи другие работы сильно отличаются по тону, привычкам в правописании или уровню детализации.
Ни один из этих признаков не является решающим. Многие люди пишут формально и используют маркированные списки; корпоративные, юридические и академические тексты шаблонны по замыслу. А внимательный пользователь может задать модели запрос, чтобы избежать всех этих привычек. Воспринимайте стилистические признаки как повод присмотреться, а не как доказательство.
Как работают ИИ-детекторы
Автоматические детекторы делятся на три большие группы.
Детекторы на основе классификатора
Классификатор — это нейронная сеть (часто дообученный трансформер вроде RoBERTa), обученная на множестве размеченных примеров человеческих и машинных текстов. Она усваивает любые статистические различия между двумя группами в своих обучающих данных и выдаёт вероятность того, что новый текст относится к классу «ИИ». Такие детекторы точны на текстах, похожих на обучающие данные, и слабее на новых моделях, необычных жанрах или других языках.
Наш ИИ-детектор относится к этой группе. Он использует открытую модель RoBERTa, обученную на бенчмарке RAID — большом исследовательском наборе человеческих и машинных текстов от множества генераторов и из разных областей, — и обращается ко второй модели, обученной на наборе HC3, когда первая оценка пограничная. Он работает в вашем браузере, поэтому текст не загружается.
Детекторы на основе перплексии (zero-shot)
Этим детекторам не нужны обучающие примеры. Вместо этого они спрашивают у языковой модели, насколько предсказуемо каждое слово в тексте. Перплексия (perplexity) — мера этой неожиданности: низкая перплексия означает, что модели было легко предсказать текст. Поскольку чат-боты выбирают вероятные слова, их текст обычно имеет более низкую перплексию, чем человеческий. Некоторые инструменты также измеряют «всплесковость» (burstiness) — разброс предсказуемости между предложениями, так как в человеческом тексте обычно сочетаются простые и неожиданные предложения.
Исследовательские методы развивают эту идею. DetectGPT сравнивает вероятность текста с вероятностью слегка переписанных его вариантов, а Binoculars сопоставляет, насколько текст неожидан для одной модели, с тем, какую степень неожиданности для него предсказывает другая модель. Слабое место всей группы одно и то же: простой, предсказуемый человеческий текст тоже имеет низкую перплексию.
Обнаружение водяных знаков
Поставщик модели может встроить статистический водяной знак, незаметно смещая выбор слов моделью, а затем обнаружить это смещение. Google опубликовал для этого SynthID Text. Водяные знаки работают только для текста, созданного участвующим поставщиком, проверяются только детектором этого поставщика и ослабевают при перефразировании или переводе текста.
| Подход | Что измеряется | Сильные стороны | Основные слабости |
|---|---|---|---|
| Обученный классификатор | Сходство с размеченными примерами ИИ | Точен на знакомых моделях и жанрах | Может пропустить новые модели; зависит от смены жанра и языка |
| Перплексия / zero-shot | Насколько текст предсказуем для языковой модели | Не нужны обучающие данные; подстраивается под новые модели | Помечает простой, шаблонный или упрощённый человеческий текст |
| Водяной знак | Скрытый статистический узор, добавленный при генерации | Очень мало ложных срабатываний, когда он есть | Только для участвующих поставщиков; удаляется перефразированием |
| Чтение человеком | Стиль, конкретика, соответствие автору | Учитывает контекст, которого не видит инструмент | Субъективно; люди переоценивают свою точность |
Почему детекторы дают ложные срабатывания
Ложное срабатывание — это человеческий текст, оценённый как ИИ. Это самая важная ошибка, потому что она может привести к обвинению человека, который ничего не нарушал. Частые причины:
- Авторы, для которых язык не родной. Люди, пишущие на втором языке, часто используют более скромный словарь и более безопасные конструкции предложений, из-за чего их текст становится предсказуемее. Исследование 2023 года Лианга и коллег из Стэнфорда, опубликованное в журнале Patterns, показало, что несколько популярных детекторов пометили как созданные ИИ большинство эссе, написанных для экзамена TOEFL людьми, для которых английский не родной, тогда как эссе носителей языка оценивались гораздо точнее.
- Шаблонный текст. Лабораторные отчёты, юридические пункты, описания товаров, сопроводительные письма и эссе из пяти абзацев следуют шаблонам. Текст, близко следующий шаблону, выглядит предсказуемым, кто бы его ни написал.
- Короткий текст. Несколько предложений дают детектору очень мало данных, поэтому оценки сильно колеблются. Результаты по одному абзацу следует считать почти бессмысленными.
- Инструменты проверки грамматики и правки. Помощники по орфографии и стилю, некоторые из которых теперь сами используют языковые модели, сглаживают человеческие особенности и могут повысить оценку.
Бывают и ложноотрицательные результаты. Инструменты перефразирования, ручная правка, смешивание предложений ИИ и человека или запрос к модели писать в необычном стиле — всё это снижает оценку. OpenAI отозвала собственный классификатор текста ИИ в 2023 году, сославшись на его низкую точность, что показывает, насколько трудна эта задача даже для разработчика модели.
Что на самом деле означает оценка детектора
Результат вроде «87% ИИ» — это, как правило, уверенность модели в том, что текст относится к классу ИИ. Он не означает, что 87% текста написано ИИ, и это не вероятность того, что человек сжульничал. Некоторые инструменты также подсвечивают отдельные предложения, но оценки на уровне предложений основаны на ещё меньшем объёме текста и менее надёжны, чем общая оценка.
Важна базовая частота (base rate). Допустим, детектор ошибочно помечает 1 из 100 настоящих человеческих текстов. Тогда преподаватель, проверяющий за семестр 300 честных эссе, должен ожидать около трёх ложных пометок, каждая из которых будет относиться к реальному студенту. Чем реже реальное использование ИИ в группе, тем больше доля ложных тревог среди помеченных текстов.
Для ориентира: в нашем небольшом собственном тесте наш детектор пометил 8 из 8 текстов, созданных ИИ, а 23 из 24 настоящих человеческих текстов получили оценку ниже 50%. Это небольшая выборка, и она означает, что один честный автор из этого набора был бы помечен. У каждого детектора есть доля ошибок; по-настоящему важно, что вы делаете с высокой оценкой.
Честный порядок действий для преподавателей, рекрутеров и редакторов
- Заранее установите правила. Чётко укажите, какое использование ИИ разрешено: мозговой штурм, проверка грамматики, перевод, написание черновика целиком. Многие споры возникают из-за неясных ожиданий, а не из-за нечестности.
- Используйте оценку лишь как повод копнуть глубже. Никогда не основывайте наказание только на результате детектора и не представляйте оценку автору как доказательство.
- Проверьте содержание. Сверьте ссылки, цитаты и конкретные факты. Выдуманные источники — гораздо более сильное доказательство, чем стилевая оценка.
- Попросите показать процесс. Черновики, заметки, планы и история версий файла (она есть и в Google Docs, и в Microsoft 365) показывают, как развивался документ. Текст, появившийся одной вставкой без истории, заслуживает вопроса; документ, набранный и переработанный в течение нескольких дней, — сильное свидетельство человеческой работы.
- Сравните с прежними работами. Оцените, соответствуют ли стиль, лексика и уровень детализации тому, что человек писал раньше, включая работы, выполненные под наблюдением.
- Поговорите. Попросите автора объяснить свою аргументацию, почему он выбрал источник или что означает абзац. Тот, кто написал текст, как правило, легко его обсуждает.
- Зафиксируйте свои рассуждения. Запишите, на какие доказательства вы опирались, и дайте человеку возможность ответить до любого решения.
Рекрутерам стоит помнить, что многие кандидаты используют ИИ, чтобы отполировать резюме, и многие работодатели с этим мирятся. Наш ИИ-детектор резюме также показывает плотность модных слов и конкретность содержания, что часто полезнее самой оценки ИИ: шаблонное резюме слабо, кто бы его ни написал. Именно на собеседовании проверяется заявленный опыт.
Обнаружение ИИ и проверка на плагиат
Обнаружение ИИ и проверка на плагиат отвечают на разные вопросы. Проверка на плагиат ищет совпадения с существующими источниками; ИИ-детектор ищет статистические признаки сгенерированного текста. Текст, созданный ИИ, как правило, состоит из новых формулировок, поэтому редко совпадает с источником дословно, а скопированный человеческий текст часто проходит ИИ-детектор. Если вы подозреваете копирование или близкое перефразирование конкретного источника, сравните их напрямую с помощью нашего инструмента Проверка на плагиат, который находит точные совпадения из пяти слов и перефразированные предложения между вашим текстом и предоставленными вами источниками.
Если пометили ваш собственный текст
Когда помечают работу, которую вы написали сами, это неприятно, но это известное ограничение таких инструментов. Сохраняйте черновики и работайте в редакторе с историей версий, чтобы при необходимости у вас было подтверждение. Узнайте, какой инструмент использовали и как интерпретируют результат, и предложите рассказать о своей работе.
Часто задаваемые вопросы
Могут ли ИИ-детекторы доказать, что человек использовал ChatGPT?
Нет. Детекторы оценивают, насколько текст похож на примеры, созданные машиной. У них есть измеримая доля ошибок в обе стороны, поэтому оценка должна начинать проверку, а не завершать её.
Насколько точны ИИ-детекторы?
Точность зависит от длины текста, жанра, языка, модели, создавшей текст, и от того, правили ли его. Лучше всего детекторы работают на длинных неотредактированных текстах известных моделей, хуже всего — на коротких, шаблонных или сильно отредактированных текстах и на текстах людей, для которых язык не родной.
Почему моё эссе, написанное человеком, пометили как ИИ?
Частые причины — короткий текст, шаблонная структура, простые и предсказуемые формулировки (обычное дело при письме на втором языке) или активное использование инструментов исправления грамматики. Ваши черновики и история версий — лучший способ показать, как вы его писали.
Означают ли слова вроде «delve», что текст создан ИИ?
Сами по себе нет. Некоторые слова статистически чаще встречаются в ответах чат-ботов, но каждое из них используют и люди. Скопление таких слов вместе с шаблонным содержанием и отсутствием конкретных деталей — более сильный сигнал, чем любое отдельное слово.
Можно ли сделать текст ИИ необнаружимым?
Часто да. Перефразирование, ручная правка и смешивание предложений человека и ИИ снижают оценки детекторов. Это одна из причин, почему низкая оценка не доказывает, что текст написан человеком.