Галлюцинации ИИ: как проверить ответы ChatGPT на достоверность

Галлюцинация ИИ — это уверенный, гладко написанный ответ чат-бота, например ChatGPT, Gemini или Claude, который оказывается ложным или ничем не подтверждённым: выдуманный источник, нерабочая ссылка, неверная дата. Так происходит потому, что языковые модели генерируют текст, предсказывая вероятные слова, а не ищут факты. Чтобы проверить ответ ИИ, сверьте каждый источник, ссылку, число и цитату с независимым первоисточником, прежде чем на них полагаться.

Главное

Языковые модели предсказывают правдоподобный текст; у них нет встроенной проверки того, что написанное — правда.
Самые опасные галлюцинации — фальшивые ссылки на источники: правдоподобные авторы, журналы, DOI и URL, которых не существует.
Конкретные детали — числа, даты, имена и цитаты — чаще всего оказываются неверными, и их проще всего проверить.
Если попросить модель признавать неуверенность и дать ей исходные документы, галлюцинаций станет меньше, но полностью они не исчезнут.
Инструменты с поиском помогают с недавними фактами, но всё равно нужно открыть указанную страницу и убедиться, что она говорит то, что утверждает ответ.

Чат-боты полезны для набросков, пересказов и объяснений, и большая часть того, что они говорят на распространённые темы, верна. Проблема в том, что их неверные ответы выглядят точно так же, как верные. В этом руководстве объясняется, откуда берутся галлюцинации, какие формы они обычно принимают и как на практике проверять ответ.

Почему большие языковые модели галлюцинируют

Они предсказывают следующий токен

Большая языковая модель (LLM) обучается на огромном массиве текстов предсказывать следующий небольшой фрагмент текста, называемый токеном, по всему, что было перед ним. Получив вопрос, она выдаёт продолжение, которое лучше всего соответствует усвоенным закономерностям. Если в обучающих данных ответ встречался много раз, наиболее вероятное продолжение обычно верно. Если нет, модель всё равно выдаёт самое правдоподобное на вид продолжение, потому что в основном механизме нет ничего, что говорило бы «стоп, я не знаю».

Поэтому выдумки так убедительны. У вымышленной ссылки правильная форма: реалистичные имена авторов, журнал, который публикуется в этой области, разумный год и DOI в верном формате. Модель гораздо лучше выучила, как выглядят библиографические ссылки, чем запомнила, какие из них существуют.

Обучение поощряет ответ

После предварительного обучения модели настраивают так, чтобы они были полезными, и при этом и оценщики-люди, и автоматические тесты, как правило, поощряли полный ответ, а не «я не уверен». Исследователи OpenAI в статье 2025 года Why Language Models Hallucinate утверждали, что оценивание, не дающее баллов за отказ отвечать, подталкивает модели угадывать. Новые модели лучше выражают неуверенность, но эта склонность не исчезла.

Дата среза знаний

Знания модели ограничены датой среза обучающих данных. Если спросить её о более поздних событиях, новых законах, текущих ценах или последней версии программы, модель без доступа к поиску может описать устаревшую ситуацию как актуальную или заполнить пробел догадкой.

По умолчанию нет поиска информации

Если чат-бот не подключён к веб-поиску или к предоставленным вами документам, он отвечает только по памяти. Он не может открыть статью, на которую ссылается, и проверить, работает ли URL. Даже имея поиск, он может неверно прочитать страницу, перепутать два источника или приписать корректную ссылку утверждению, которого в источнике нет.

Распространённые виды галлюцинаций

Вид	Как выглядит	Как проверить
Фальшивые ссылки на источники	Статья, книга или судебное дело с правдоподобными авторами, названием и журналом, которых не существует, либо реальная статья, которой приписаны выводы, которых в ней нет	Найдите точное название в библиотечном каталоге или Google Scholar; прочитайте аннотацию или нужный раздел
Выдуманные DOI и идентификаторы	DOI, ISBN или идентификатор arXiv, который не открывается или ведёт на постороннюю работу	Откройте `https://doi.org/` и добавьте DOI; найдите ISBN в библиотечном каталоге; откройте идентификатор arXiv
Выдуманные URL	Ссылка на реальный домен с правдоподобным путём, которая возвращает «404 Not Found»	Откройте ссылку; если она не работает, поищите материал на самом сайте
Неверные числа и даты	Статистика, цены, численность населения, даты выхода или номера версий, которые немного или совсем неверны	Найдите цифру в официальном или первичном источнике и проверьте её дату
Приписанные не тем цитаты	Правдоподобная цитата, приписанная известному человеку, который этого не говорил	Найдите точную формулировку в кавычках и проследите её до подлинной речи, книги или интервью
Уверенные ошибки в рассуждениях	Арифметические ошибки, неверная логика или код, вызывающий несуществующие функции, поданные шаг за шагом	Пересчитайте, запустите код, проверьте названия функций в официальной документации

У фальшивых ссылок были реальные последствия. В американском деле 2023 года Mata v. Avianca к юристам применили санкции за подачу процессуального документа с судебными решениями, которые выдумал ChatGPT. С тех пор о похожих случаях сообщалось и в других судах, и в опубликованных научных работах.

Как шаг за шагом проверить ответ ИИ

Проверять каждое предложение каждого ответа не нужно. Соизмеряйте усилия со ставками: совет по рецепту требует меньше внимания, чем медицинское, юридическое или финансовое утверждение либо всё, что вы опубликуете под своим именем.

Выделите проверяемые утверждения. Составьте список всех ссылок на источники, URL, чисел, дат, имён и прямых цитат. Именно здесь прячется большинство галлюцинаций, и проверять это быстрее всего.
Откройте каждый идентификатор. Откройте каждый URL, проверьте каждый DOI на doi.org, найдите каждый ISBN и идентификатор arXiv. Идентификатор, который не работает или ведёт на другую работу, — тревожный сигнал для всей ссылки.
Убедитесь, что источник говорит то, что заявлено. Настоящая статья всё равно может не подтверждать предложение, к которому она приложена. Прочитайте аннотацию, нужный раздел или цитируемый отрывок.
Сверьте числа с первичными источниками. Обращайтесь к данным статистического ведомства, регулятора, к отчётности компании или к исходному исследованию, а не к блогу, который повторяет цифру. Обратите внимание, к какой дате относится число.
Проследите цитаты до их происхождения. Найдите точные слова в кавычках. Если единственные источники — сборники цитат без ссылки на оригинал, считайте цитату непроверенной.
Проверьте рассуждения заново. Пересчитайте вычисления, протестируйте код в реальной среде и убедитесь, что каждый шаг следует из предыдущего.
Применяйте латеральное чтение. Для важных утверждений ищите два независимых надёжных источника, которые согласуются между собой, а не полагайтесь на один.
Уберите или пометьте то, что не удалось проверить. Если утверждение подтвердить нельзя, удалите его или чётко отметьте как неподтверждённое.

Наша Проверка ИИ-галлюцинаций автоматизирует первые шаги. Вставьте ответ ИИ, и она сверит DOI с базой Crossref, проверит, работают ли ссылки, а также идентификаторы arXiv и ISBN, разберёт строки списка литературы и выведет статистику и фактические утверждения, которые ещё должен проверить человек. Она показывает, какие идентификаторы настоящие; прочитать источник и убедиться, что он подтверждает утверждение, по-прежнему остаётся вашей задачей.

Запросы, уменьшающие число галлюцинаций

То, как вы спрашиваете, влияет на то, как часто модель что-то выдумывает. Эти приёмы помогают, хотя ни один из них сам по себе не делает ответ надёжным.

Разрешите не знать. Модели охотнее признают неуверенность, если сказать, что это допустимо.
Дайте исходный материал. Вставьте документ, отчёт или данные и попросите отвечать только по ним. Это самое эффективное изменение.
Просите цитаты. Если требовать для каждого утверждения короткую дословную цитату из предоставленного текста, необоснованные утверждения легче заметить.
Разделяйте факты и вывод. Попросите модель пометить, что сказано в источниках, а что — её собственные рассуждения.
Избегайте наводящих вопросов. «Какое исследование доказало X?» подталкивает модель предъявить какое-нибудь исследование. «Есть ли доказательства X?» оставляет место для ответа «нет».
Просите меньше источников, но лучше. Просьбы о длинных списках литературы приводят к большему числу выдуманных позиций.

Пример запроса, сочетающего несколько таких приёмов:

Отвечай, используя только отчёт, вставленный ниже.
Для каждого утверждения приводи короткую дословную цитату из отчёта, которая его подтверждает.
Если в отчёте нет ответа, напиши «В отчёте не указано».
Не добавляй источники и цифры, которых нет в отчёте.

[вставьте отчёт сюда]

Просьба к модели проверить собственный предыдущий ответ может выявить некоторые ошибки, но с таким же успехом она может подтвердить выдумку. Самопроверка не заменяет обращения к источнику.

Когда помогают инструменты с поиском и извлечением данных

Многие ассистенты теперь умеют искать в интернете или читать загруженные вами файлы, прежде чем ответить. Этот подход, часто называемый генерацией с дополнением за счёт поиска (RAG, retrieval-augmented generation), даёт модели релевантный текст для работы вместо опоры на память. Больше всего он помогает с:

недавними событиями, ценами и версиями, вышедшими после даты среза знаний;
вопросами о конкретном документе, договоре, правилах или наборе данных, который вы предоставили;
узкими темами, которые редко встречались в обучающих данных.

Привязка к источникам сокращает число выдуманных ссылок, потому что цитаты указывают на реально найденные страницы. Но она не гарантирует точности. Поиск может вернуть плохую или устаревшую страницу, модель может неверно её пересказать или сослаться на настоящую страницу рядом с утверждением, которого на ней нет. Относитесь к ссылкам в ответе с поиском как к списку для проверки, а не как к доказательству.

Когда нужна особая осторожность

Здоровье, право и деньги. Ошибки стоят дорого, а правила различаются по странам и со временем меняются. Используйте ИИ, чтобы разобраться в вопросах, а затем сверяйтесь с официальными разъяснениями или квалифицированным специалистом.
Всё, что вы опубликуете или сдадите. Под этим стоит ваше имя, а не имя модели. Редакторы, преподаватели и суды возлагают ответственность за выдуманные ссылки на автора.
Узкие и местные темы. Чем меньше о предмете написано в интернете, тем меньше у модели материала.
Очень конкретные запросы. Точные номера страниц, ссылки на судебные дела, номера статей закона и точная статистика особенно часто оказываются выдуманными.

Если вы проверяете текст, который создал кто-то другой, и подозреваете, что он сгенерирован, наше руководство о том, как понять, что текст написан ИИ, рассказывает об обнаружении и его пределах, а ИИ-детектор даст ещё один сигнал. Непроверяемые ссылки на источники нередко служат более веским доказательством, чем любая оценка детектора.

Часто задаваемые вопросы

Почему ChatGPT выдумывает источники?

Потому что он генерирует текст, похожий на вероятный ответ. Формат ссылок на источники он выучил очень хорошо, поэтому, когда настоящей ссылки нет, он может создать её с правдоподобными авторами, названиями и идентификаторами, не соответствующими никакой реальной публикации.

Как проверить, настоящий ли источник, который назвал ИИ?

Найдите точное название в Google Scholar или библиотечном каталоге, откройте DOI на doi.org и убедитесь, что авторы, журнал и год совпадают. Затем прочитайте источник настолько, чтобы убедиться, что он подтверждает утверждение. Такой инструмент, как наша проверка галлюцинаций, может массово проверять DOI, ISBN, идентификаторы arXiv и ссылки.

Галлюцинируют ли новые модели ИИ?

Да. Новые модели в целом реже галлюцинируют в распространённых вопросах и лучше говорят, когда не уверены, но любая современная модель всё равно может выдавать ложные утверждения, особенно по узким темам, недавним событиям и запросам точных деталей.

Останавливает ли веб-поиск галлюцинации ИИ?

Он их уменьшает, особенно выдуманные источники и устаревшие факты, но не останавливает. Модель по-прежнему может неверно прочитать или исказить найденные страницы, поэтому откройте указанные страницы и проверьте.

Галлюцинация — это то же самое, что ложь?

Нет. Ложь подразумевает умысел обмануть. У модели нет умысла; она выдаёт гладкий текст без надёжной внутренней проверки, правда ли он. Для читателя эффект может быть тем же, поэтому проверка так важна.

Все инструменты