Стриминг ответов моделей через AI Gateway (SSE, stream: true)

Стриминг отдаёт ответ модели частями, по мере генерации, а не одним блоком после завершения. Для интерфейсов чата это ключевой приём: пользователь видит первые слова через доли секунды, а не ждёт весь ответ целиком. В AI Gateway стриминг включается стандартным параметром stream: true и работает через Server-Sent Events — точно так же, как в оригинальном API OpenAI.

Как это работает

С stream: true сервер держит соединение открытым и присылает поток событий data:, каждое из которых несёт очередной фрагмент ответа в поле delta. Клиент склеивает фрагменты по мере поступления; поток закрывается служебным data: [DONE]. SDK OpenAI разбирает эти события за вас — достаточно итерироваться по объекту потока.

from openai import OpenAI​client = OpenAI(base_url="https://ai-gatewey.ru/v1",api_key="sk-aigate-ваш_ключ",)​stream = client.chat.completions.create(model="deepseek/deepseek-v4-flash",messages=[{"role": "user", "content": "Расскажи о токенах"}],stream=True,)for chunk in stream:delta = chunk.choices[0].delta.contentif delta:print(delta, end="", flush=True)

import OpenAI from "openai";​const client = new OpenAI({baseURL: "https://ai-gatewey.ru/v1",apiKey: "sk-aigate-ваш_ключ",});​const stream = await client.chat.completions.create({model: "deepseek/deepseek-v4-flash",messages: [{ role: "user", content: "Расскажи о токенах" }],stream: true,});for await (const chunk of stream) {const delta = chunk.choices[0]?.delta?.content;if (delta) process.stdout.write(delta);}

Сценарии

• Чат-интерфейсы — вывод ответа «печатной машинкой» снижает воспринимаемую задержку и удерживает внимание пользователя.
• Длинные генерации — статьи, отчёты, код: пользователь начинает читать первый абзац, пока модель дописывает остальное.
• Ранняя остановка — можно прервать поток, как только получен нужный фрагмент, и не платить за лишние токены.
• Голосовые ассистенты — фрагменты текста сразу уходят в синтез речи, без ожидания полного ответа.

Подводные камни

• Таймауты прокси и балансировщиков. nginx, CDN и облачные шлюзы часто рвут «тихие» соединения. Увеличьте proxy_read_timeout и отключите буферизацию ответа для стриминг-маршрута.
• Буферизация на стороне сервера. Если ваш backend копит ответ в буфер и отдаёт целиком, эффект стриминга теряется — отдавайте чанки сразу (flush после каждого фрагмента).
• Обрыв соединения. Сеть может оборваться посреди потока: оберните чтение в обработку ошибок и предусмотрите повтор запроса.
• Сборка ответа. Итоговый текст — это конкатенация всех delta.content; не забудьте, что tool_calls при стриминге тоже приходят по частям и требуют склейки по индексу.

Частые вопросы