Температура (параметр генерации)
Температура — один из главных параметров генерации в LLM. Технически она масштабирует «решительность» модели в выборе следующего токена.
Как выбирать температуру
- 0,0–0,3 — точные задачи: классификация, извлечение данных, JSON-форматы, генерация кода.
- 0,3–0,7 — содержательные ответы на вопросы, поддержка клиентов, аналитика.
- 0,7–1,2 — креативные задачи: тексты для маркетинга, идеи, генерация вариантов.
- выше 1,2 — для экспериментов и нестандартных задач; обычные приложения здесь редко работают.
Что важно
- Низкая температура не делает ответ «верным», только более стабильным. Если модель часто ошибается на этом запросе, при температуре 0 она будет ошибаться одинаково.
- Температура взаимодействует с top-p и top-k — другими параметрами генерации; обычно меняют что-то одно.
Когда применять и когда нет
Применять
- Когда настраиваете LLM-сервис под продакшн
- Когда замечаете нестабильность ответов в одинаковых сценариях
- Когда задача требует разнообразных вариантов (например, генерация заголовков)
Не применять
- Не нужно для каждого запроса вручную крутить температуру в коде — обычно её задают на уровне продукта или роли модели
Примеры применения
В одном и том же приложении могут жить два режима: для классификации заявок поддержки — температура 0,1, чтобы один и тот же тикет всегда попадал в одну категорию; для «помоги придумать варианты ответа клиенту» — температура 0,7, чтобы каждый раз получать несколько разных формулировок.
Часто задаваемые вопросы
Зависит от задачи. Для точных и повторяемых ответов — низкая, для творческих и разнообразных — высокая. Единого «правильного» значения нет: его подбирают экспериментально для каждой задачи в продукте.
В теории — да, в практике почти всегда одинаковыми, но идеальной повторяемости современные API не гарантируют. Некоторые провайдеры добавляют скрытый jitter, поэтому даже при температуре 0 ответы могут немного отличаться от запуска к запуску.