RAG (поиск с генерацией)
Retrieval-Augmented Generation — подход, при котором перед ответом система находит нужные фрагменты в вашей базе знаний и добавляет их в промпт. Так модель отвечает по вашим данным, не будучи на них обученной.
RAG решает две проблемы разом: модель не знает ваших внутренних документов, а весь их объём не помещается в контекстное окно. Вместо того чтобы грузить всё, система по запросу пользователя ищет релевантные куски и подставляет только их.
- Документы заранее разбиваются на фрагменты и превращаются в эмбеддинги — числовые векторы для поиска по смыслу.
- На запрос пользователя ищутся ближайшие по смыслу фрагменты и добавляются в промпт как контекст.
- Модель формулирует ответ, опираясь на подставленные фрагменты, что снижает риск галлюцинаций.
RAG обычно проще и дешевле в поддержке, чем дообучение: базу знаний можно обновлять без переобучения модели.