Как проверить ответ ИИ на галлюцинации
- Вставьте ответ ChatGPT, Gemini, Claude, Copilot или любого другого ассистента вместе со ссылками и списком источников. Можно также нажать Загрузить файл и открыть документ .txt, .pdf или .docx.
- Нажмите Проверить на галлюцинации. Инструмент находит в тексте все источники и проверяет их по три одновременно; каждый становится зелёным, красным или жёлтым по мере поступления результата.
- Прочитайте сводку вверху: сколько источников подтверждено, сколько не найдено и сколько не удалось проверить.
- Пройдите по списку Утверждения для проверки фактов — это предложения, в которых вероятнее всего есть выдуманные факты.
Что и куда отправляется
Ваш текст остаётся в браузере. Проверяются только найденные инструментом элементы: ссылки и идентификаторы arXiv — через нашу проверку ссылок, DOI и строки списка литературы — в Crossref (общедоступной базе научных публикаций), а ISBN — в Open Library. Предложения вокруг них и остальной текст никуда не отправляются.
Что проверяется
| Найдено в тексте | Как проверяется |
|---|---|
DOI, например 10.1038/nature14539 | Ищется в Crossref, который возвращает настоящие название, журнал и год. Если в Crossref его нет, инструмент проверяет, может ли doi.org его открыть; DOI, нигде не зарегистрированный, помечается как «не найдено». |
| Ссылки (URL) | Наш сервер запрашивает страницу. HTTP 404 или 410 означает, что страницы нет. HTTP 401, 403, 429 или ошибка 5xx означает, что сайт отказал или не ответил, поэтому ссылка помечается как «не удалось проверить». |
Идентификаторы arXiv, например arXiv:1706.03762 | Запрашивается соответствующая страница arXiv, чтобы узнать, существует ли статья. |
| ISBN | Сначала проверяется контрольная цифра: ISBN с неверной контрольной цифрой не может принадлежать никакой книге. Затем допустимые номера ищутся в Open Library. |
Строки списка литературы, например Author, A. (2019). Title. Journal | Ищутся в Crossref. Совпадением считается случай, когда примерно 70% слов найденного названия встречаются в вашей строке. |
Как читать результаты
Каждый источник получает один из трёх результатов:
- Подтверждено: источник существует. Для DOI и ссылок на литературу показывается настоящее название, чтобы вы могли сравнить его со ссылкой в ответе.
- Не найдено: страница вернула 404 или 410, DOI не зарегистрирован, идентификатора arXiv не существует или ISBN недопустим. Выдуманные DOI и ссылки на страницы, которых никогда не было, — классические галлюцинации, и любой красный пункт заслуживает подозрения.
- Не удалось проверить: сайт заблокировал наш запрос, источник не найден в Crossref или допустимого ISBN нет в Open Library. Это не свидетельство галлюцинации. Поищите источник самостоятельно.
Утверждения для проверки фактов
Языковые модели чаще всего галлюцинируют в конкретных деталях, поэтому инструмент выводит предложения, которые их содержат: статистику и проценты, денежные суммы, даты, обороты вроде «согласно», превосходные степени и слова вроде «первый», «крупнейший», «всегда» и «никогда», а также цитаты, приписанные человеку. Он не может определить, правда ли это; он показывает, куда смотреть. Инструмент также отмечает оговорки о дате среза знаний, например «по состоянию на момент моего последнего обновления», как напоминание, что ответ может быть устаревшим.
Главное ограничение
Этот инструмент подтверждает, что источник существует, а не что он подтверждает утверждение. Типичная галлюцинация — ссылка на реальную статью ради числа, которого в ней нет. Зелёная галочка означает «эта статья настоящая», и не более. Прежде чем полагаться на утверждение, откройте источник и найдите отрывок, который его подтверждает.
Crossref охватывает большинство журнальных статей, но пропускает многие книги, отчёты, диссертации и доклады конференций. Источник с пометкой «не удалось проверить» вполне может быть настоящим. Если вы не находите его ни в библиотечном каталоге, ни в Google Scholar, ни на сайте издателя, считайте его выдуманным.
Советы
- Попросите чат-бот указать DOI или ссылку для каждого утверждения. Конкретные идентификаторы можно проверить; расплывчатые упоминания «исследования 2023 года» — нельзя.
- Ссылку с пометкой «не удалось проверить» откройте в браузере. Проверка редиректов покажет, куда ссылка действительно ведёт.
- Чтобы проверить источники в PDF-статье или отчёте, преобразуйте файл с помощью инструмента PDF в текст и вставьте список литературы.
Часто задаваемые вопросы
Что такое галлюцинация ИИ?
Галлюцинация — это утверждение, которое языковая модель подаёт как факт, но которое ложно или ничем не подтверждено: выдуманное исследование, поддельная цитата, неверная дата или ссылка на страницу, которой никогда не было.
Проверяет ли инструмент, правдивы ли факты?
Нет. Он проверяет, существуют ли указанные источники, и выводит предложения, которые стоит проверить. Судить, правдиво ли утверждение, по-прежнему должен человек, читающий источник.
Отправляется ли мой текст на сервер?
Проверяются только найденные ссылки, DOI, идентификаторы arXiv, ISBN и строки списка литературы — через нашу проверку ссылок, Crossref и Open Library. Остальной текст остаётся в вашем браузере.
Почему настоящий сайт показывает «не удалось проверить»?
Многие сайты блокируют автоматические запросы или ограничивают частоту ответов, из-за чего возвращаются коды вроде 403 или 429. Это ничего не говорит о том, существует ли страница, поэтому откройте её самостоятельно.
Обновлено