Чем галлюцинация отличается от обычной ошибки?

Обычная ошибка — например, неверная классификация — обычно проявляется как «не уверен» или «выбрал не ту метку». Галлюцинация особенна тем, что модель уверена в правильности, и неподготовленный пользователь может ей поверить. Это делает её опаснее обычной ошибки в продуктовых сценариях.

Искусственный интеллектLLMБезопасность ИИ

Галлюцинации модели

Уверенно сформулированный ответ языковой модели, который при этом фактически неверен или выдуман.

КРАТКО

Галлюцинация — это когда модель уверенно выдумывает то, чего нет: несуществующий закон, выдуманную книгу, неправильную цифру. Это не сбой конкретной модели, а следствие того, как устроены LLM: они выбирают наиболее вероятное продолжение текста, а не «знают» факты. Галлюцинации лечатся не «полной победой», а архитектурой: RAG, проверкой фактов внешними источниками, аккуратными промптами и обучением модели говорить «не знаю».

СИНОНИМЫ:галлюцинации моделигаллюцинации нейросетивыдуманные ответы LLMhallucination

Галлюцинации — главная проблема LLM в продуктах, где важна фактическая точность. Модель не отличает «знаю» от «не знаю»: для неё всё это просто разные распределения вероятностей следующего токена.

Виды галлюцинаций

Фактические — выдуманные даты, имена, цифры, ссылки.
Логические — неверные выводы из правильных предпосылок.
Контекстные — модель «забыла» или исказила то, что было сказано выше в диалоге или в переданном документе.
Источники — модель ссылается на несуществующие книги, статьи, законы.

Как уменьшить

Подключить RAG: дать модели возможность опираться на проверенные документы.
Просить модель явно отмечать, чего она не знает.
Использовать цепочку рассуждений и проверки: «приведи источник», «перепроверь ответ».
На уровне продукта добавлять проверку ответов через внешние API или через человека.

КОГДА ПРИМЕНЯТЬ

В любом продукте, где есть LLM и важна точность, нужно отдельно работать с галлюцинациями
Особенно — в медицине, праве, финансах, поддержке клиентов

КОГДА НЕ СТОИТ

В чисто творческих задачах (генерация идей, текстов) «галлюцинация» часто перестаёт быть проблемой и становится частью задачи

ПРИМЕР

Юрист просит модель «дай ссылки на 3 решения суда по теме X». Модель уверенно приводит три решения с номерами и датами. Все три не существуют. Это не редкий случай, а типичное поведение LLM без RAG и без проверки. В продукте, где такие галлюцинации недопустимы, обязательно делается отдельный шаг: модель сначала получает реальные решения из юридической базы, и только потом строит ответ на них.

КАК ИСПОЛЬЗОВАТЬ В SHTAB

Не пытайтесь «победить» галлюцинации только промптом. Самые надёжные подходы — структурные: RAG, вызов функций к проверенным источникам, явная проверка ответов. Формулировки вида «отвечай, только если уверена» помогают, но дают лишь частичное улучшение.

Попробовать бесплатно

Вопросы про «Галлюцинации модели»

На уровне «никогда не ошибается» — нет. Но можно сильно снизить их число и сделать ошибки безопасными для продукта: подключить надёжные источники через RAG и вызов функций, добавить проверки и человеческий контроль для критичных решений. Цель — не «победа», а удержание ошибок в допустимом для бизнеса коридоре.

Ещё из «Искусственный интеллект»

Вся категория →

MCP (Model Context Protocol, протокол контекста модели)

Открытый протокол, по которому языковые модели и агенты единообразно подключаются к внешним инструментам, данным и сервисам.

MLOps (эксплуатация ML-моделей)

Практики и инструменты для разработки, выкатки и эксплуатации моделей машинного обучения и ИИ в боевой среде — аналог DevOps для машинного обучения.

RAG (поиск с дополнением генерации)

Подход, при котором перед ответом языковая модель ищет подходящие документы в базе знаний и использует их как контекст.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.

Попробовать бесплатно Все термины