API для AI-агентов — function calling и длинные сессии

AI-агент — это модель, которая вызывает инструменты, читает результаты и решает следующий шаг сама, порой десятки раз за сессию. Такие сценарии требуют моделей с надёжным function calling и жёсткого контроля расхода — один зациклившийся агент способен сжечь бюджет. AI Gateway даёт агентам качественные модели с tools и лимиты на ключ, всё по одному OpenAI-совместимому API.

Решение

Вы описываете инструменты в стандартном формате tools, модель возвращает вызовы функций, ваш код исполняет их и возвращает результат — цикл повторяется до готового ответа. Всё идёт через https://ai-gatewey.ru/v1 и ключ sk-aigate-….

• Function calling — модель сама выбирает инструмент и аргументы под задачу.
• Длинные сессии — большой контекст держит всю историю вызовов без ручной нарезки.
• Контроль расхода ключами — отдельный ключ на агента с RPM-лимитом, квотой и стоп-лимитом против зацикливания.
• Смена модели одним параметром — сравнивайте агентные модели на своём сценарии без переписывания.

Подключение

from openai import OpenAI

client = OpenAI(
    base_url="https://ai-gatewey.ru/v1",
    api_key="sk-aigate-ваш_ключ",
)

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Погода в городе",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

resp = client.chat.completions.create(
    model="anthropic/claude-sonnet-5",
    messages=[{"role": "user", "content": "Какая погода в Москве?"}],
    tools=tools,
)
print(resp.choices[0].message.tool_calls)

Модели и цены

Для агентов важны надёжный function calling и удержание длинного контекста, поэтому берут качественные модели. Их список по возможности tools — на странице function calling. Актуальные цены:

Частые вопросы