Тонкая настройка модели

Тонкая настройка — это компромисс между «дёшево и быстро» (промптинг) и «дорого и долго» (предобучение). Берётся готовая модель и продолжается её обучение на небольшом, но качественном наборе примеров.

Виды тонкой настройки

• Полная тонкая настройка — обновляются все веса модели. Дорого, но даёт максимальный контроль.
• LoRA и подобные методы — обновляется только маленький «адаптер», основная модель остаётся неизменной. В 10–100 раз дешевле полной настройки.
• Тонкая настройка под инструкции — учит модель следовать форматам и инструкциям, а не просто продолжать тексты.
• Тонкая настройка по предпочтениям — учит модель выбирать ответы, которые люди оценивают выше.

Когда оправдано

• Нужен стабильный специфический стиль или формат ответа, который трудно описать промптом.
• Объём запросов велик и хочется уменьшить промпт, чтобы экономить токены.
• Качество в узком домене у общей модели не дотягивает, а данных для дообучения хватает.