Кажется, что модель читает слова
Мы привыкли, что текст состоит из слов. Логично предположить, что и модель считает словами: вот запрос, вот ответ, вот цена за слово.
Но модель работает не с буквами и не со словами, а с токенами — кусочками текста. Иногда это целое слово, иногда его часть, иногда знак препинания.
Как выглядит токенизация
Модель режет текст на куски по 3–4 символа в среднем. Частое короткое слово может оказаться одним токеном, редкое длинное — тремя или четырьмя. Пробел обычно прилипает к следующему слову.
Отсюда первый практический вывод: цена запроса зависит не от смысла, а от того, как текст нарезался. Два запроса одинаковой длины могут стоить по-разному.
Почему русский дороже английского
Модели учились в основном на английских текстах, поэтому английские слова встречались часто и закрепились в словаре токенов целиком. Русские слова встречались реже, и их чаще режут на части.
Итог: на одно и то же предложение по-русски обычно уходит больше токенов, чем по-английски. Не в разы, но заметно — и на длинных текстах это превращается в деньги. Полностью переходить на английский ради экономии не надо: качество русского ответа важнее пары процентов счёта.
Где токены встречаются в жизни
- Цена. Провайдеры считают отдельно вход (ваш запрос) и выход (ответ модели), и выход почти всегда дороже.
- Лимит. У модели есть контекстное окно — сколько токенов она видит за раз. Длинный документ может не влезть.
- Скорость. Чем больше текста на входе, тем дольше ответ.
- Обрезка. Когда окно переполняется, старое выпадает, и модель «забывает» начало разговора.
Пять способов платить меньше
- Не копируйте весь документ. Отправьте нужный раздел или попросите сначала найти фрагмент, а потом работайте с ним.
- Сокращайте историю. Новый чат под новую задачу дешевле, чем бесконечная переписка, где модель тащит весь мусор.
- Формулируйте короче. «Сделай таблицу: колонки А, Б, В, 10 строк» дешевле и точнее, чем три абзаца объяснений.
- Просите формат. Список или таблица вместо эссе — короче ответ, меньше выходных токенов, а они дороже.
- Считайте на своих числах. Прежде чем запускать большое дело, проверьте на десяти примерах, сколько это стоит.
Как проверить на своём тексте
Возьмите свой типичный запрос — тот, который отправляете каждый день — и посмотрите, сколько он «весит» в интерфейсе провайдера или в счётчике API. Потом сравните с тем же текстом на английском. Разница обычно удивляет сильнее, чем ожидаешь.
Коротко
- Токен — кусочек текста, а не слово и не буква.
- Цена считается по токенам, вход и выход отдельно.
- Русский текст обычно дороже: слова режутся чаще.
- Короткая история и точный формат экономят больше всего.
Дальше по теме: почему ИИ врёт — про галлюцинации и проверку фактов, и калькулятор, где видно, как попытки превращаются в рубли.