Как проверить, написан ли текст ИИ
- Вставьте текст в поле Текст для проверки или нажмите Загрузить файл, чтобы открыть документ .txt, .pdf или .docx. Счётчик слов показывает объём текста; самый надёжный результат дают тексты от 80 слов.
- Нажмите Проверить на ИИ. В первый раз браузер скачает модель распознавания (около 126 МБ). Она кэшируется, поэтому следующие проверки начинаются быстро.
- Посмотрите общую оценку и вывод вверху, затем прокрутите блок Фрагменты по вероятности ИИ, чтобы увидеть, какие части на них повлияли.
- Таблицу Признаки стиля письма используйте как справочную информацию. Эти показатели не входят в оценку.
Модель работает внутри вашего браузера. Ваш текст и файлы не отправляются ни на наш сервер, ни куда-либо ещё.
Как работает детектор
Основная модель — TMR, классификатор RoBERTa с открытым исходным кодом, обученный на бенчмарке RAID. RAID содержит тексты 11 разных языковых моделей, включая тексты, которые намеренно перефразировали или изменили, чтобы обойти детекторы.
Длинные тексты делятся на фрагменты примерно по 160 слов, и каждый фрагмент получает собственную вероятность ИИ. Общая оценка — это среднее значение по фрагментам, взвешенное по их длине. Фрагменты подсвечиваются по оценке: 80% и выше, 50–80% и 30–50%; всё, что ниже 30%, не выделяется.
Если основная оценка попадает в пограничную зону, от 50% до 97,5%, своё мнение высказывает вторая модель. Это классификатор RoBERTa, обученный на наборе данных HC3 с ответами людей и ChatGPT (ещё одна загрузка около 126 МБ, только при необходимости). Второй модели отдаётся основной вес в итоговой оценке, потому что она редко помечает неформальные тексты людей, где основная модель слабее всего. В этом случае в результате показаны обе оценки.
Насколько точен детектор?
Мы проверили детектор на 32 текстах. 24 текста, написанных людьми, — это комментарии с Hacker News 2012–2017 годов, написанные ещё до появления ChatGPT, и отрывки из классических романов. 8 текстов ИИ охватывали разные стили: эссе, неформальный отзыв, техническую инструкцию, короткий рассказ, рабочее сообщение команде в стиле Slack и обзор товара.
- Все 8 текстов ИИ получили оценку от 95% до 99%.
- 23 из 24 текстов людей получили оценку ниже 50%.
- Один неформальный комментарий человека был ошибочно помечен как ИИ.
Это небольшая проверка, а не бенчмарк. Текст ИИ в распространённых стилях, скорее всего, будет обнаружен, но время от времени детектор будет ошибочно помечать и тексты реальных людей.
Как читать результат
Вывод зависит от общей оценки: 85% и выше — «Почти наверняка создан ИИ», 60–85% — «Вероятно, создан ИИ или сильно отредактирован ИИ», 35–60% — «Смешанный или неопределенный», 15–35% — «Вероятно, написан человеком», ниже 15% — «Почти наверняка написан человеком». Под оценкой также показана примерная доля фрагментов, похожих на ИИ; это полезно для документов, где смешаны разделы человека и ИИ.
Признаки стиля письма описывают текст, не оценивая его:
- Вариативность длины предложений (burstiness) показывает, насколько меняется длина предложений. Люди обычно чередуют короткие и длинные предложения; чат-боты часто пишут в ровном ритме.
- Разнообразие словаря — это скользящее среднее отношение уникальных слов к общему числу слов (MATTR), которое остаётся сопоставимым для коротких и длинных текстов.
- Типичные ИИ-фразы — список шаблонных формулировок, которыми злоупотребляют чат-боты, например «delve», «tapestry», «it is important to note» или «in today's fast-paced…».
- Длинные тире подсчитываются, потому что их частое использование — известная привычка ИИ, хотя ими пользуются и многие вдумчивые авторы.
Когда детектор ошибается
Считайте оценку вероятностью, а не доказательством. Результаты менее надёжны для:
- коротких текстов (если в тексте меньше примерно 80 слов, результат помечается как имеющий низкую достоверность);
- списков, маркированных пунктов, форм и другого текста, где мало связной прозы;
- шаблонных, юридических или технических текстов, которые предсказуемы по своей природе;
- английского текста, написанного не носителями языка, — в нём обычно более простые и однообразные предложения;
- черновиков ИИ, которые человек сильно переписал;
- текстов не на английском языке.
Детекторы также можно обмануть намеренно, например прогнав текст ИИ через инструмент перефразирования или попросив чат-бот писать «как человек». Низкая оценка не доказывает, что текст написал человек.
Советы
- Проверяете не эссе, а отклик на вакансию? ИИ-детектор резюме добавляет признаки, рассчитанные именно на резюме: модные словечки (buzzwords) и конкретность формулировок.
- Если в тексте есть источники, прогоните его также через проверку ИИ-галлюцинаций. Выдуманные ссылки — более сильное доказательство, чем любая оценка.
- Подозреваете не ИИ, а копирование? Проверка на плагиат сравнивает текст с источником, который вы укажете.
Часто задаваемые вопросы
Может ли детектор распознать ChatGPT, Gemini и Claude?
Основная модель обучена на текстах 11 языковых моделей, а вторая — на ответах ChatGPT, поэтому детектор рассчитан на тексты распространённых чат-ботов. Ни один детектор не ловит всё, особенно тексты новых моделей.
Загружается ли мой текст куда-нибудь?
Нет. Модели скачиваются в ваш браузер и работают там. Ваш текст никогда не покидает ваше устройство.
Почему первая проверка такая медленная?
При первом запуске скачивается около 126 МБ данных модели и ещё 126 МБ, если нужно второе мнение. Модели кэшируются для следующих проверок.
Можно ли по оценке доказать, что кто-то списал?
Нет. Оценка — это приблизительная величина, и ложные срабатывания случаются, особенно с неформальными, шаблонными текстами или текстами не носителей языка. Используйте её как повод присмотреться внимательнее, но никогда как единственное доказательство.
Обновлено