Токенайзер

Как считаются токены

Модели работают не с символами, а с токенами — кусочками текста из словаря токенизатора. Латинское слово — обычно 1–2 токена, русское дробится на 2–4: кириллица «дороже» в токенах при том же смысле. Биллинг идёт по токенам запроса и ответа суммарно; точное число всегда возвращается в поле usage каждого ответа API.

Планируете месячный объём? Посчитайте бюджет в калькуляторе тарифов — он учитывает квоты и веса моделей.