Глоссарий

Стриминг (потоковый ответ)

Режим, при котором модель отдаёт ответ по частям, по мере генерации, а не целиком в конце. Пользователь видит текст, появляющийся слово за словом — как в чат-интерфейсах. Включается параметром stream: true.

Обычный запрос ждёт, пока модель сгенерирует ответ полностью, и только потом возвращает его. При стриминге сервер начинает отдавать токены сразу же, потоком событий — это заметно улучшает воспринимаемую скорость в интерфейсах.

Включается флагом stream: true в теле запроса к API.
Ответ приходит серией фрагментов, которые нужно склеивать на стороне клиента.
Полный текст вы получаете, склеив фрагменты, а вот usage в поток сам не попадёт: его присылают только при stream_options: {"include_usage": true}, последним чанком — у которого choices пустой.

на заметку

Стриминг не делает генерацию быстрее по времени и не меняет расход — он лишь показывает результат раньше. Подробности в документации.