LlamaIndex через AI Gateway — RAG по своим данным

LlamaIndex — фреймворк для RAG: он индексирует ваши документы и отвечает на вопросы по ним, подставляя релевантные фрагменты в запрос к модели. LLM-классы принимают кастомный адрес API, поэтому LlamaIndex работает через AI Gateway — задаёте api_base и ключ, а модель берёте из каталога.

Подключение

1. 1
   Получите API-ключ

   Зарегистрируйтесь и создайте ключ в кабинете — он начинается с sk-aigate-. Для RAG-сервиса удобно завести отдельный ключ с собственной квотой.

2. 2
   Установите пакеты

   Нужны ядро LlamaIndex и интеграция с OpenAI-совместимым API:

   bash Копировать

   pip install llama-index llama-index-llms-openai-like

3. 3
   Настройте LLM на AI Gateway

   Класс OpenAILike рассчитан на сторонние OpenAI-совместимые эндпоинты: передайте api_base со шлюзом, ключ и код модели из каталога:

   python Копировать

   from llama_index.llms.openai_like import OpenAILike
   
   llm = OpenAILike(
       api_base="https://ai-gatewey.ru/v1",
       api_key="sk-aigate-...",
       model="anthropic/claude-sonnet-5",
       is_chat_model=True,
   )

4. 4
   Соберите RAG-пайплайн

   Загрузите документы, постройте индекс и задайте вопрос — LlamaIndex сам найдёт релевантные фрагменты и передаст их модели через AI Gateway:

   python Копировать

   from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
   
   Settings.llm = llm
   
   docs = SimpleDirectoryReader("./data").load_data()
   index = VectorStoreIndex.from_documents(docs)
   
   engine = index.as_query_engine()
   print(engine.query("О чём эти документы?"))

5. 5
   Проверьте расход

   После первого запроса расход по токенам появится в кабинете AI Gateway в реальном времени — по каждому ключу отдельно.

Какие модели выбрать

В RAG модель работает с уже найденным контекстом, поэтому часто хватает быстрой модели среднего класса; для сложных выводов по документам берите флагман:

Частые вопросы