Языковые моделиРазбор

Что такое галлюцинации нейросети и почему их не видно

Галлюцинацией называют уверенный ответ, который неверен. Я считал такие ответы на 1 534 вопросах. Когда я заставил модели исправлять сбои, незаметных ошибок стало больше.

Автор: Владимир Бескоровайный

Обновлено 4 мин чтения

Иллюстрация: BESK TECH

Галлюцинацией нейросети называют ответ, который звучит уверенно и правдоподобно, но не соответствует фактам. Модель не ищет ответ в базе знаний, а продолжает текст наиболее вероятными словами. Когда знаний не хватает, она не останавливается, а достраивает ответ. Отличить такой ответ по виду нельзя, его можно только проверить.

Галлюцинацией нейросети называют ответ, который звучит уверенно, выглядит правдоподобно и при этом неверен. Модель называет несуществующую книгу, путает дату или ссылается на статью закона, которой нет. Тон у неё при этом такой же, как в верном ответе.

13 ноября 2026 года Канцлерский суд штата Делавэр в деле Leiske v. Kidd наложил санкцию в 2 500 долларов на юриста, который не проверил подписанный им документ, поданный в суд.1 В документе были выдуманные цитаты и неверно описанные судебные дела. В решении записано, что противоположная сторона нашла в нём выдуманные правовые тезисы, в оригинале hallucinated. По тексту решения, генеративный инструмент помогал писать и сокращать доводы, а юрист подал документ, не проверив источники лично. Сами дела были настоящие. Цитаты, приписанные им, нет. Такая цитата выглядит как обычная ссылка на практику. Проверить её можно только по источнику.

Почему модель так делает

Языковая модель не достаёт ответ из справочника. Она продолжает текст теми словами, которые вероятнее всего идут дальше. Когда знаний хватает, продолжение совпадает с фактом. Когда не хватает, она всё равно продолжает.

В сентябре 2025 года исследователи OpenAI назвали причину прямо. Принятые способы обучения и оценки поощряют угадывание и не поощряют признание неуверенности.2 За ответ «не знаю» модель получает ноль баллов. За догадку иногда получает балл. Модель, которую отбирают по таким оценкам, учится угадывать.

Там же есть пример на одном тесте. Одна модель OpenAI отказалась отвечать на 52% вопросов и ошиблась в 26%. Другая отказалась в 1% случаев и ошиблась в 75%. Точность у них близкая, 22% и 24%. Знают они примерно одно и то же. Вторая почти не отказывается, поэтому ошибается почти втрое чаще.

Что показали 1 534 вопроса

Я измерял это на задаче, где ответ можно проверить точно. Модель получает вопрос обычными словами, например «сколько клиентов открыли счёт в 1996 году». Она переводит его в запрос к базе данных, то есть в команду, по которой база сама находит и считает нужные строки. Результат сравнивается с правильным. Вопросов 1 534. Запусков восемь, моделей в них семь. Все модели можно скачать и запустить у себя. Код и ответы по каждому вопросу опубликованы.3

У неверного запроса два исхода. Он может не выполниться, и тогда база вернёт сообщение об ошибке. Такую ошибку видно сразу. Или он выполнится и вернёт не те данные. Сообщения об ошибке нет, результат есть.

Вот случай из моих замеров. Вопрос был такой: сколько записей о владельцах и распорядителях у счетов с первого по десятый. Правильный ответ это два числа, отдельно по владельцам и по распорядителям. Модель написала запрос, который вернул одно, сумму обоих. Запрос выполнился, сообщения об ошибке не было. Это тот же случай, что и выдуманная цитата в суде. Ответ есть, выглядит нормально и неверен.

Потом я добавил проверку. Если запрос не выполнился, модель получает текст ошибки и пробует ещё раз, до двух попыток. В таблице четыре запуска из восьми. Громкая ошибка это запрос, который не выполнился. Тихая это запрос, который выполнился и вернул неверный результат.

МодельГромких былоГромких сталоТихих былоТихих сталоТочность была, %Точность стала, %
Qwen2.5-Coder-32B116245716405556
Llama-3.3-70B79176116585556
Llama-3.1-8B3932015676983741
CodeLlama-13B6193745076842631

Пять вопросов, у которых не выполняется сам правильный запрос, в подсчёт громких и тихих не входят.

Точность выросла во всех восьми запусках, в одном из них в пределах погрешности. Громких ошибок стало меньше во всех восьми. Тихих стало больше, тоже во всех восьми.

Проверка требовала от модели одного, чтобы запрос выполнился. Модель этого добивалась. Часть исправленных запросов стала верной, и точность выросла. Остальные стали выполняться и возвращать не то. Ошибка осталась, но сообщения о ней больше нет.

У лучшей модели, Qwen2.5-Coder-32B, после проверки осталось 672 неверных ответа. 640 из них дали запросы, которые в итоге выполнились без ошибки.

Проверка убрала не ошибки. Она убрала сообщения об ошибках.

Как проверять ответы нейросети

То, что ответ получен, ещё не значит, что он верен. Первое проверить дёшево, и это обычно делают. Второе приходится проверять отдельно, и это дороже.

Три приёма годятся любому.

  1. Откройте источник. Ссылку, цитату, номер дела, название закона. Если источник не открывается, утверждения нет.
  2. Если вы дали модели длинный документ, попросите сначала выписать из него дословные цитаты и отвечать только по ним. Этот приём описывает Anthropic в своей документации и там же пишет, что совсем ошибки он не убирает.4
  3. Разрешите модели отвечать «не знаю». Без такого разрешения угадывать ей выгоднее.

Если вы строите систему на модели, добавьте четвёртый. Держите набор вопросов, на которые вы знаете ответ, и прогоняйте его после каждой доработки. Так видно, как часто модель ошибается на ваших задачах, а не на чужих тестах.

По виду ответа я не сужу. У лучшей модели в моих замерах 95 из 100 оставшихся неверных ответов дали запросы, которые в итоге выполнились без ошибки.

Сноски

  1. Leiske v. Kidd, Court of Chancery of the State of Delaware, решение от 13 ноября 2026 года. ↩

  2. Why language models hallucinate, OpenAI, 5 сентября 2025 года. ↩

  3. Репозиторий nl2sql-onprem-bench, выпуск 0.3.0, DOI 10.5281/zenodo.23445116. Описание метода: arXiv:2606.29733. ↩

  4. Reduce hallucinations, документация Anthropic. ↩

Источники

  1. Why language models hallucinate, OpenAI
  2. Leiske v. Kidd, Court of Chancery of the State of Delaware, решение от 13.11.2026
  3. How far do on-premises open LLMs get on Text-to-SQL? arXiv:2606.29733
  4. nl2sql-onprem-bench, код и результаты по каждому вопросу
  5. Reduce hallucinations, документация Anthropic

Владимир Бескоровайный

Vladimir Beskorovainyi, Enterprise AI Architect & CTO, author of the Amazon bestseller "Enterprise AI: The KATA Way", founder of Besk Tech (besk.tech)

Ещё в этом разделе

Новые статьи на почту

Одно письмо, когда выходит новое. Больше ничего, отписаться можно в любой момент.

Адрес используется только для этой рассылки. Конфиденциальность

← Все статьи