LlamaIndex через AI Gateway — RAG по своим данным

LlamaIndex — фреймворк для RAG: он индексирует ваши документы и отвечает на вопросы по ним, подставляя релевантные фрагменты в запрос к модели. LLM-классы принимают кастомный адрес API, поэтому LlamaIndex работает через AI Gateway — задаёте api_base и ключ, а модель берёте из каталога.

Подключение

1. 1
   Получите API-ключ

   Зарегистрируйтесь и создайте ключ в кабинете — он начинается с sk-aigate-. Для RAG-сервиса удобно завести отдельный ключ с собственным потолком расхода.

2. 2
   Установите пакеты

   Нужны ядро LlamaIndex и интеграция с OpenAI-совместимым API:

   bashbashКопировать

   pip install llama-index llama-index-llms-openai-like

3. 3
   Настройте LLM на AI Gateway

   Класс OpenAILike рассчитан на сторонние OpenAI-совместимые эндпоинты: передайте api_base со шлюзом, ключ и код модели из каталога:

   pythonpythonКопировать

   from llama_index.llms.openai_like import OpenAILike​llm = OpenAILike(api_base="https://ai-gatewey.ru/v1",api_key="sk-aigate-...",model="anthropic/claude-sonnet-5.5",is_chat_model=True,# без явного значения класс считает окно равным 3900 токенам# и режет контекст задолго до реального лимита моделиcontext_window=200000,is_function_calling_model=True,)

4. 4
   Соберите RAG-пайплайн

   Загрузите документы, постройте индекс и задайте вопрос — LlamaIndex сам найдёт релевантные фрагменты и передаст их модели через AI Gateway:

   pythonpythonКопировать

   from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings​Settings.llm = llm​docs = SimpleDirectoryReader("./data").load_data()index = VectorStoreIndex.from_documents(docs)​engine = index.as_query_engine()print(engine.query("О чём эти документы?"))

5. 5
   Проверьте расход

   После первого запроса расход по токенам появится в кабинете AI Gateway в реальном времени — по каждому ключу отдельно.

Какие модели выбрать

В RAG модель работает с уже найденным контекстом, поэтому часто хватает быстрой модели среднего класса; для сложных выводов по документам берите флагман:

Частые вопросы