[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"general-list":3,"footer-feature-tags":4,"slate-glossary-term-token":66},true,[5,14,20,29,34,40,46,52,56,62],{"id":6,"name":7,"hex":8,"translations":9,"count_pages":13},8,"Компания","#f40925",{"ru":10,"en":11},{"name":7},{"name":12},"Company",9,{"id":15,"name":16,"hex":17,"translations":18,"count_pages":6},26,"Главная страница",null,{"ru":19},{"name":16},{"id":21,"name":22,"hex":23,"translations":24,"count_pages":28},2,"Проекты","#3027ff",{"ru":25,"en":26},{"name":22},{"name":27},"Project",15,{"id":30,"name":31,"hex":17,"translations":32,"count_pages":21},33,"ИИ",{"ru":33},{"name":31},{"id":35,"name":36,"hex":17,"translations":37,"count_pages":39},34,"Комментарии",{"ru":38},{"name":36},4,{"id":41,"name":42,"hex":17,"translations":43,"count_pages":45},25,"Задачи",{"ru":44},{"name":42},24,{"id":47,"name":48,"hex":17,"translations":49,"count_pages":51},27,"Рабочие пространства",{"ru":50},{"name":48},3,{"id":45,"name":53,"hex":17,"translations":54,"count_pages":6},"Kanban-доска",{"ru":55},{"name":53},{"id":57,"name":58,"hex":17,"translations":59,"count_pages":61},23,"Диаграмма Ганта",{"ru":60},{"name":58},1,{"id":28,"name":63,"hex":17,"translations":64,"count_pages":61},"Календарь",{"ru":65},{"name":63},{"detail":67,"more":147},{"id":68,"slug":69,"translations":70,"category":84,"tags":92,"letter":110,"og_image":17,"cover":17,"author_name":17,"author_position":17,"author_avatar":17,"faqs":111,"related":125,"views_count":144,"helpful_yes_count":61,"helpful_no_count":114,"created_at":145,"updated_at":146,"published_at":17},266,"token",{"ru":71},{"title":72,"short_definition":73,"tldr":74,"full_explanation":75,"when_to_apply":76,"when_not_to_apply":77,"examples":78,"tips":79,"synonyms":80,"translation_en":81,"seo_title":82,"seo_description":83},"Токен","Минимальный кусочек текста, с которым работает языковая модель: целое слово, его часть или знак препинания.","Токен — это «строительный блок» текста с точки зрения языковой модели. Обычно это не слово целиком, а его часть: например, «обучение» может состоять из двух токенов, а «GPT» — из одного. Модель видит текст не как буквы и не как слова, а именно как последовательность токенов. От токенов зависит и стоимость работы (платите за токены на входе и выходе), и длина контекстного окна.","\u003Cp>Токенизация — это процесс разбиения текста на токены перед подачей в модель. Каждой возможной комбинации символов соответствует свой числовой идентификатор, и именно эти числа подаются в нейросеть.\u003C\u002Fp>\u003Ch3>Что важно знать про токены\u003C\u002Fh3>\u003Cul>\u003Cli>В английском один токен примерно соответствует 0,75 слова. В русском обычно 1 слово — 2–3 токена, потому что русский морфологически сложнее.\u003C\u002Fli>\u003Cli>Длинные имена, URL, эмодзи и редкие термины могут разбиваться на много токенов.\u003C\u002Fli>\u003Cli>Контекстное окно модели измеряется именно в токенах, а не в словах.\u003C\u002Fli>\u003Cli>Стоимость работы с моделью считается за тысячу или миллион токенов отдельно на вход и на выход.\u003C\u002Fli>\u003C\u002Ful>","\u003Cul>\u003Cli>Когда оцениваете стоимость работы с LLM\u003C\u002Fli>\u003Cli>Когда упираетесь в контекстное окно — длинный документ может не влезть\u003C\u002Fli>\u003Cli>Когда замеряете производительность: скорость измеряется в токенах в секунду\u003C\u002Fli>\u003C\u002Ful>","\u003Cul>\u003Cli>В коммуникации с не-техническим заказчиком: вместо «20 тысяч токенов» проще сказать «примерно 30 страниц текста»\u003C\u002Fli>\u003C\u002Ful>","\u003Cp>Для сравнения стоимости: запрос «привет, как дела?» по-русски в популярных моделях занимает 5–8 токенов на вход. Длинная инструкция с 5 страницами правил поддержки клиентов — примерно 3000–5000 токенов. Это значит, что при бесконечной переписке такого бота вы будете каждый раз платить за все эти токены инструкции, если её не оптимизировать.\u003C\u002Fp>","\u003Cp>Если работаете с API LLM, заведите привычку считать токены, а не символы или слова. У всех крупных провайдеров есть бесплатные токенайзеры для оценки. Это помогает заранее понимать стоимость продукта и не упираться в лимиты контекстного окна на проде.\u003C\u002Fp>","Token, токен, токены","Token","Токен в LLM: что это и как считается | Глоссарий Shtab","Токен — минимальный кусочек текста для языковой модели. Сколько токенов в слове, как считается стоимость LLM по токенам, почему важен для контекстного окна.",{"id":85,"slug":86,"hex":87,"icon":17,"order":85,"translations":88},10,"ai","#a855f7",{"ru":89},{"title":90,"description":91},"Искусственный интеллект","Терминология ИИ и больших языковых моделей: машинное обучение, нейросети, LLM, эмбеддинги, промптинг, RAG, агенты, MLOps, безопасность и этика моделей.",[93,101],{"id":94,"slug":95,"kind":96,"hex":87,"order":97,"translations":98},36,"ai-foundation","other",90,{"ru":99},{"title":100},"Основы ИИ",{"id":102,"slug":103,"kind":104,"hex":105,"order":106,"translations":107},37,"llm","framework","#7c5ce6",91,{"ru":108},{"title":109},"LLM","Т",[112,119],{"id":113,"order":114,"translations":115},786,0,{"ru":116},{"question":117,"answer":118},"Сколько токенов в одном русском слове?","\u003Cp>В среднем 2–3 токена, но цифра зависит от модели и от самого слова. Простые частотные слова вроде «и», «в», «не» — обычно 1 токен. Длинные специальные термины, имена собственные, формулы могут разбиваться на 4–6 токенов и больше.\u003C\u002Fp>",{"id":120,"order":61,"translations":121},787,{"ru":122},{"question":123,"answer":124},"Почему модели берут деньги за токены, а не за запросы?","\u003Cp>Стоимость работы LLM в первую очередь определяется числом обработанных токенов: чем длиннее вход и выход, тем больше вычислений. Цена за запрос была бы несправедливой — короткий вопрос и большой документ стоят провайдеру очень по-разному.\u003C\u002Fp>",{"parent":126,"related":133},[127],{"id":128,"slug":103,"translations":129},264,{"ru":130},{"title":131,"short_definition":132},"Большая языковая модель","Нейросеть с миллиардами параметров, обученная предсказывать следующий токен в тексте и способная отвечать на вопросы, писать код и рассуждать.",[134,141],{"id":135,"slug":136,"translations":137},267,"context-window",{"ru":138},{"title":139,"short_definition":140},"Контекстное окно","Максимальное количество токенов, которые языковая модель может видеть одновременно — её рабочая «оперативная память».",{"id":128,"slug":103,"translations":142},{"ru":143},{"title":131,"short_definition":132},127,"2026-05-11T19:55:47.936210+03:00","2026-05-11T19:55:47.936225+03:00",[148,174,195],{"id":149,"slug":150,"translations":151,"category":156,"tags":159,"letter":172,"cover":17,"updated_at":173,"published_at":17},282,"mcp",{"ru":152},{"title":153,"short_definition":154,"translation_en":155},"MCP (Model Context Protocol, протокол контекста модели)","Открытый протокол, по которому языковые модели и агенты единообразно подключаются к внешним инструментам, данным и сервисам.","Model Context Protocol (MCP)",{"id":85,"slug":86,"hex":87,"icon":17,"order":85,"translations":157},{"ru":158},{"title":90,"description":91},[160,163],{"id":102,"slug":103,"kind":104,"hex":105,"order":106,"translations":161},{"ru":162},{"title":109},{"id":164,"slug":165,"kind":166,"hex":167,"order":168,"translations":169},40,"ai-tool","tool","#5e79ec",94,{"ru":170},{"title":171},"Инструмент ИИ","M","2026-05-11T19:55:53.687297+03:00",{"id":175,"slug":176,"translations":177,"category":182,"tags":185,"letter":172,"cover":17,"updated_at":194,"published_at":17},287,"mlops",{"ru":178},{"title":179,"short_definition":180,"translation_en":181},"MLOps (эксплуатация ML-моделей)","Практики и инструменты для разработки, выкатки и эксплуатации моделей машинного обучения и ИИ в боевой среде — аналог DevOps для машинного обучения.","MLOps",{"id":85,"slug":86,"hex":87,"icon":17,"order":85,"translations":183},{"ru":184},{"title":90,"description":91},[186,191],{"id":61,"slug":187,"kind":187,"hex":167,"order":61,"translations":188},"methodology",{"ru":189},{"title":190},"Методология",{"id":164,"slug":165,"kind":166,"hex":167,"order":168,"translations":192},{"ru":193},{"title":171},"2026-05-11T19:55:55.482827+03:00",{"id":196,"slug":197,"translations":198,"category":203,"tags":206,"letter":213,"cover":17,"updated_at":214,"published_at":17},278,"rag",{"ru":199},{"title":200,"short_definition":201,"translation_en":202},"RAG (поиск с дополнением генерации)","Подход, при котором перед ответом языковая модель ищет подходящие документы в базе знаний и использует их как контекст.","Retrieval-Augmented Generation (RAG)",{"id":85,"slug":86,"hex":87,"icon":17,"order":85,"translations":204},{"ru":205},{"title":90,"description":91},[207,210],{"id":102,"slug":103,"kind":104,"hex":105,"order":106,"translations":208},{"ru":209},{"title":109},{"id":164,"slug":165,"kind":166,"hex":167,"order":168,"translations":211},{"ru":212},{"title":171},"R","2026-05-11T19:55:52.147205+03:00"]