Галлюцинации модели
Галлюцинации — главная проблема LLM в продуктах, где важна фактическая точность. Модель не отличает «знаю» от «не знаю»: для неё всё это просто разные распределения вероятностей следующего токена.
Виды галлюцинаций
- Фактические — выдуманные даты, имена, цифры, ссылки.
- Логические — неверные выводы из правильных предпосылок.
- Контекстные — модель «забыла» или исказила то, что было сказано выше в диалоге или в переданном документе.
- Источники — модель ссылается на несуществующие книги, статьи, законы.
Как уменьшить
- Подключить RAG: дать модели возможность опираться на проверенные документы.
- Просить модель явно отмечать, чего она не знает.
- Использовать chain-of-thought и проверки: «приведи источник», «перепроверь ответ».
- На уровне продукта добавлять проверку ответов через внешние API или человека.
Когда применять и когда нет
Применять
- В любом продукте, где есть LLM и важна точность, нужно отдельно работать с галлюцинациями
- Особенно — в медицине, праве, финансах, поддержке клиентов
Не применять
- В чисто творческих задачах (генерация идей, текстов) «галлюцинация» часто перестаёт быть проблемой и становится частью задачи
Примеры применения
Юрист просит модель «дай ссылки на 3 решения суда по теме X». Модель уверенно приводит три решения с номерами и датами. Все три не существуют. Это не редкий случай, а типичное поведение LLM без RAG и без проверки. В продукте, где такие галлюцинации недопустимы, обязательно делается отдельный шаг: модель сначала получает реальные решения из юридической базы, и только потом строит ответ на них.
Часто задаваемые вопросы
На уровне «никогда не ошибается» — нет. Но можно сильно снизить их число и сделать ошибки безопасными для продукта: подключить надёжные источники через RAG и function calling, добавить проверки и человеческий контроль для критичных решений. Цель — не «победа», а удержание ошибок в допустимом для бизнеса коридоре.
Обычная ошибка — например, неверная классификация — обычно проявляется как «не уверен» или «выбрал не ту метку». Галлюцинация особенна тем, что модель уверена в правильности, и неподготовленный пользователь может ей поверить. Это делает её опаснее обычной ошибки в продуктовых сценариях.