Токен

Модель не видит буквы или слова напрямую — она разбивает текст на токены. В среднем для русского языка один токен это примерно 2–3 символа, для английского около 4. То есть слово может занимать один или несколько токенов, а пробелы и знаки препинания тоже считаются.

В API токены важны по двум причинам: они ограничены контекстным окном (сколько модель способна прочитать за раз) и по ним считается расход. В ответе на запрос поле usage показывает prompt_tokens (что вы отправили) и completion_tokens (что модель сгенерировала).

• Длинный системный промпт и история диалога тратят токены в каждом запросе — их стоит держать компактными.
• Параметр max_tokens ограничивает длину ответа, но не длину запроса. В свежих версиях OpenAI-API его заменил max_completion_tokens, а у рассуждающих моделей в этот лимит попадают ещё и скрытые токены рассуждений.
• Прикинуть, во сколько токенов превратится ваш текст, можно токенайзером; точную цену моделей — в каталоге.