Сравнение моделей

Meta: Llama 3.1 70B InstructMeta: Llama 3.2 3B Instruct

Живое сравнение из каталога AI Gateway: цены в рублях, контекст и возможности. Обе модели доступны через один OpenAI-совместимый API — переключение одним параметром model.

ПараметрMeta: Llama 3.1 70B InstructMeta: Llama 3.2 3B Instruct
Цена, ₽/1М токенов6353
Ввод, ₽/1М638
Вывод, ₽/1М6353
Контекст131K80K
КатегорияЧатЧат
МодальностьТекстТекст
ВозможностиИнструменты, JSON-режим
ДоступОт тарифа GoОт тарифа Go

Зелёным — лучшее значение. Цены каталога обновляются автоматически.

Когда какую выбирать

Meta: Llama 3.2 3B Instruct дешевле за 1 млн токенов — выгоднее на массовых задачах.

Meta: Llama 3.1 70B Instruct длиннее контекст — большие документы и кодовые базы целиком.

Meta: Llama 3.1 70B Instruct поддерживает «Инструменты» — агентные и структурированные сценарии.

Meta: Llama 3.1 70B Instruct поддерживает «JSON-режим» — агентные и структурированные сценарии.

Подключение

Один и тот же код — меняется только параметр модели:

from openai import OpenAI

client = OpenAI(
    base_url="https://ai-gatewey.ru/v1",
    api_key="sk-aigate-ваш_ключ",
)

resp = client.chat.completions.create(
    model="meta-llama/llama-3.1-70b-instruct",
    messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)

Попробуйте обе в деле

Один ключ и один OpenAI-совместимый API: Meta: Llama 3.1 70B Instruct и Meta: Llama 3.2 3B Instruct — переключение одним параметром model.