RAG (поиск с генерацией)

Связку извлечения сведений и генерации описали Lewis и соавторы; современное применение к собственным документам организации раскрывает документация Microsoft. ^{[1, 3]}

Кратко

В RAG проверяют два результата: что нашёл поиск и какой ответ составила модель. ^{[1, 2]}
Способ поиска может быть лексическим, векторным или гибридным. ^[3]
Слишком короткий фрагмент способен потерять смысл без окружающего текста. ^[5]
В стандарте Yandex Cloud доступ к документу проверяют до передачи его модели. ^[4]

Происхождение и история термина

В работе 2020 года Patrick Lewis и соавторы назвали retrieval-augmented generation подход, соединяющий обученную модель генерации с извлекаемой внешней памятью. В их реализации поиск обращался к индексу Википедии. Авторы рассматривали свою работу на фоне более ранних систем с внешней памятью, поэтому эту дату нельзя считать рождением всякого поиска перед ответом. ^[1]

Поисковым компонентом этой реализации стал DPR — Dense Passage Retriever. Отдельная работа Karpukhin и соавторов 2020 года посвящена поиску отрывков, содержащих ответ, с помощью числовых представлений вопроса и текста. DPR сам по себе не обозначает всю систему генерации. ^{[1, 2]}

Сегодня термин используют и для прикладной схемы работы с документами организации: например, Microsoft описывает классический RAG и агентное извлечение в Azure AI Search. Так развитие понятия выходит за конкретную исследовательскую реализацию 2020 года. ^[3]

Суть и механизм

Набор документов называют корпусом. Для поиска его подготавливают: делят большие тексты на фрагменты и строят индекс — структуру, позволяющую находить подходящие части. Когда поступает вопрос, поиск выбирает фрагменты, которые передаются модели вместе с вопросом. Эти дополнительные сведения становятся контекстом для составления ответа. Такую последовательность подготовки и извлечения показывает руководство Anthropic. ^[5]

Вектор — числовое представление текста. В DPR вопрос и отрывок преобразуют в векторы двумя отдельными кодировщиками; кодировщик здесь означает модель такого преобразования. Затем поиск сравнивает полученные представления. Это позволяет сопоставлять формулировки, в которых используются разные слова с близким смыслом. ^[2]

Лексический поиск сопоставляет слова, а векторный — числовые представления. Гибридный поиск объединяет их результаты. Например, точный код ошибки полезно искать как сочетание символов, а вопрос, заданный другими словами, может выиграть от поиска по смыслу. Это объяснение разных поисковых сигналов дано у Anthropic; преимущества конкретной комбинации требуют проверки на своих вопросах. ^[5]

Виды и классификации

В документации Microsoft различаются два варианта организации поиска. В классическом RAG приложение отправляет один запрос и отдельно передаёт найденное генератору. При агентном извлечении модель планирует несколько уточняющих запросов, после чего система собирает результаты. Это разграничение Azure AI Search, а не обязательная классификация всех реализаций. Планирование запросов моделью на странице обозначено как предварительная возможность — preview. ^[3]

Выбор между лексическим, векторным и гибридным поиском отвечает на другой вопрос: как сопоставлять запрос с документами. Поэтому его не следует смешивать с количеством поисковых шагов. ^[3]

Как применяется на практике

Рассмотрим учебный пример редакционного помощника. В вымышленном архиве есть два правила: старое велит писать название проекта «Город Онлайн», новое — «Город онлайн». Редактор спрашивает, какой вариант действует сейчас. Для примера заранее установим, что новое правило заменило старое и дата его вступления уже наступила.

Помощнику нужно найти именно новое правило и передать модели фрагмент с написанием, датой действия и указанием заменённого документа. Ожидаемый ответ: «Действующий вариант — “Город онлайн”», со ссылкой на новое правило. Если поиск нашёл только старый документ, красивый ответ по нему всё равно не решает поставленную задачу. Если документов недостаточно, в этом сценарии зададим системе требование сообщить о недостатке сведений.

В мировой практике подготовки поиска Anthropic описывает Contextual Retrieval: перед индексированием к фрагменту добавляют пояснение его места в документе. Это конкретный способ уменьшить потерю контекста, а не правило, что любое дополнение обязательно улучшит поиск. ^[5]

Российский пример требований к эксплуатации — стандарт Yandex Cloud версии 1.0.0. Его пункт AI-RAG-ACL2 предусматривает проверку прав пользователя до включения документа в контекст модели. Наличие фильтра по метаданным ещё не означает, что документная авторизация реализована. Речь о требованиях документа поставщика к архитектуре, а не о заключении, что система соблюдает законодательство. ^[4]

Как измерить или проверить

У Karpukhin и соавторов поисковая метрика top-k retrieval accuracy — доля вопросов, для которых среди первых k найденных фрагментов есть ответ. Буква k означает заданное число результатов. Эта метрика оценивает извлечение отдельно от последующей обработки. ^[2]

Для нашего учебного протокола возьмём 20 вопросов. По каждому заранее выберем один достаточный фрагмент из действующего правила; все эти фрагменты есть в корпусе. Ограничим выдачу первыми тремя результатами. Предположим, нужный фрагмент найден для 16 вопросов. Доля успешного поиска составит:

text 16 / 20 × 100% = 80%.

Знаменатель — все вопросы теста, а не число найденных документов. Теперь отдельно проверим ответы: содержание должно правильно отвечать на вопрос и подтверждаться переданным фрагментом. Пусть этот критерий выполнен в 12 случаях, все они входят в 16 случаев успешного поиска:

text 12 / 20 × 100% = 60% всех вопросов; 12 / 16 × 100% = 75% вопросов с успешным поиском.

Последние две доли отвечают на разные вопросы. Первая описывает итог всей цепочки на тесте; вторая помогает рассмотреть этап после удачного поиска. Ни одну нельзя называть общей точностью RAG без описания проверяемых задач и критерия ответа. Числа здесь вымышлены, модель не запускалась; это пример расчёта, а не результат продукта или отраслевой норматив.

Для воспроизведения сохраните таблицу: вопрос, эталонный фрагмент, три найденных фрагмента, ответ, результат проверки. В нашем протоколе отдельно отмечаются четыре пропуска при поиске и четыре случая, где нужный фрагмент нашёлся, но итоговый ответ не прошёл проверку. Вопросы, для которых ответа в корпусе нет, добавьте отдельной группой: они нужны для проверки реакции на недостаток данных и не входят в приведённый знаменатель.

При сравнении двух настроек используйте те же вопросы, версии документов, права пользователя и критерии разметки. Меняйте один исследуемый компонент, например способ поиска. Это условие нашего сравнительного протокола: иначе изменение результата нельзя уверенно связать именно с выбранной настройкой.

Доступ проверяют отдельно от качества ответа. Yandex Cloud предлагает испытать разрешённый и чужой документ от субъектов с разными правами и осмотреть фактический контекст модельного запроса. ^[4] Для учебной проверки подойдут вымышленные документы двух отделов. Отсутствие закрытой фразы только в видимом ответе ещё не показывает, что её не передали модели.

Ошибки, ограничения и спорные вопросы

Обновление корпуса не тождественно дообучению. Извлекаемые документы и параметры генератора — разные части архитектуры Lewis и соавторов. Замена внешних сведений меняет доступный материал, но сама по себе не переписывает параметры модели. ^[1]

В редакционном примере ссылка на старое правило подтверждает старое написание, но не его действие сегодня. Поэтому проверка должна учитывать вопрос, содержание и версию источника вместе. Само наличие ссылки не делает ответ верным.

Результаты исследования Contextual Retrieval относятся к описанным Anthropic данным и настройкам. Переносить их в обещание такого же улучшения чужой системы нельзя. ^[5] Тем более из качества учебного помощника нельзя вывести, что сайт начнут чаще цитировать внешние поисковые сервисы: приведённый тест вообще не измеряет такую видимость.

Частые вопросы

Обязательна ли векторная база?

Нет: Microsoft рассматривает лексический, векторный и гибридный поиск. Выбор поиска и хранилища — часть реализации. ^[3]

RAG и DPR — одно и то же?

Нет. DPR решает задачу извлечения отрывков; в работе Lewis он служит компонентом RAG. ^{[1, 2]}

Достаточно ли убрать закрытые сведения из готового ответа?

По AI-RAG-ACL2 — нет: запрещённый документ должен отсутствовать и в фактическом контексте запроса неуполномоченного пользователя. ^[4]

Можно ли оценить систему одним хорошим ответом?

В нашем примере один удачный ответ ничего не сообщает об остальных 19 вопросах. Нужны весь тестовый набор и заранее определённые правила оценки.

Связанные термины

Источники

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33, 9459–9474. Текст конференционной публикации. Дата обращения: 24.10.2026. ↑ а б в г д е
Karpukhin, V., Oguz, B., Min, S., Lewis, P., Wu, L., Edunov, S., Chen, D., & Yih, W. (2020). Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 6769–6781). Association for Computational Linguistics. doi:10.18653/v1/2020.emnlp-main.550. Полный текст. Дата обращения: 24.10.2026. ↑ а б в г д
Microsoft. (n.d.). Retrieval-augmented generation (RAG) in Azure AI Search. Microsoft Learn. Документация. Дата обращения: 24.10.2026. ↑ а б в г д е
Yandex Cloud. Среда исполнения, RAG-хранилища и вывод из эксплуатации // Стандарт безопасности для внедрения и эксплуатации ИИ-систем в Yandex Cloud. Версия 1.0.0. Раздел «Авторизация RAG», AI-RAG-ACL2. URL: https://yandex.cloud/ru/docs/security/standard-ai/runtime-rag-decom (дата обращения: 24.10.2026). ↑ а б в г
Anthropic. (2024, September 19). Introducing Contextual Retrieval. Технический отчёт. Дата обращения: 24.10.2026. ↑ а б в г д