Почему модели берут деньги за токены, а не за запросы?

Стоимость работы LLM в первую очередь определяется числом обработанных токенов: чем длиннее вход и выход, тем больше вычислений. Цена за запрос была бы несправедливой — короткий вопрос и большой документ стоят провайдеру очень по-разному.

Искусственный интеллектОсновы ИИLLM

Токен

Минимальный кусочек текста, с которым работает языковая модель: целое слово, его часть или знак препинания.

КРАТКО

Токен — это «строительный блок» текста с точки зрения языковой модели. Обычно это не слово целиком, а его часть: например, «обучение» может состоять из двух токенов, а «GPT» — из одного. Модель видит текст не как буквы и не как слова, а именно как последовательность токенов. От токенов зависит и стоимость работы (платите за токены на входе и выходе), и длина контекстного окна.

СИНОНИМЫ:Tokenтокентокены

Токенизация — это процесс разбиения текста на токены перед подачей в модель. Каждой возможной комбинации символов соответствует свой числовой идентификатор, и именно эти числа подаются в нейросеть.

Что важно знать про токены

В английском один токен примерно соответствует 0,75 слова. В русском обычно 1 слово — 2–3 токена, потому что русский морфологически сложнее.
Длинные имена, URL, эмодзи и редкие термины могут разбиваться на много токенов.
Контекстное окно модели измеряется именно в токенах, а не в словах.
Стоимость работы с моделью считается за тысячу или миллион токенов отдельно на вход и на выход.

КОГДА ПРИМЕНЯТЬ

Когда оцениваете стоимость работы с LLM
Когда упираетесь в контекстное окно — длинный документ может не влезть
Когда замеряете производительность: скорость измеряется в токенах в секунду

КОГДА НЕ СТОИТ

В коммуникации с не-техническим заказчиком: вместо «20 тысяч токенов» проще сказать «примерно 30 страниц текста»

ПРИМЕР

Для сравнения стоимости: запрос «привет, как дела?» по-русски в популярных моделях занимает 5–8 токенов на вход. Длинная инструкция с 5 страницами правил поддержки клиентов — примерно 3000–5000 токенов. Это значит, что при бесконечной переписке такого бота вы будете каждый раз платить за все эти токены инструкции, если её не оптимизировать.

КАК ИСПОЛЬЗОВАТЬ В SHTAB

Если работаете с API LLM, заведите привычку считать токены, а не символы или слова. У всех крупных провайдеров есть бесплатные токенайзеры для оценки. Это помогает заранее понимать стоимость продукта и не упираться в лимиты контекстного окна на проде.

Попробовать бесплатно

Вопросы про «Токен»

В среднем 2–3 токена, но цифра зависит от модели и от самого слова. Простые частотные слова вроде «и», «в», «не» — обычно 1 токен. Длинные специальные термины, имена собственные, формулы могут разбиваться на 4–6 токенов и больше.

Ещё из «Искусственный интеллект»

Вся категория →

MCP (Model Context Protocol, протокол контекста модели)

Открытый протокол, по которому языковые модели и агенты единообразно подключаются к внешним инструментам, данным и сервисам.

MLOps (эксплуатация ML-моделей)

Практики и инструменты для разработки, выкатки и эксплуатации моделей машинного обучения и ИИ в боевой среде — аналог DevOps для машинного обучения.

RAG (поиск с дополнением генерации)

Подход, при котором перед ответом языковая модель ищет подходящие документы в базе знаний и использует их как контекст.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.

Попробовать бесплатно Все термины