Если RAG Quality отвечает на вопрос «что проверять», то RAG Quality Report отвечает на вопрос «что сломалось, кто это чинит и как мы поймём, что стало лучше».

Простое определение

RAG Quality Report — это рабочий отчёт после проверки RAG-сценария. Он показывает, где Knowledge Pack не покрывает вопрос, какой источник это доказывает, насколько риск серьёзен, кто исправляет и какой статус у исправления.

Обычная статья про RAG Quality объясняет, что проверять: retrieval, grounded answer, gaps, conflicts и forbidden claims. RAG Quality Report фиксирует результат проверки как backlog: issue found → decision → fix → retest → reviewed.

Чем отчёт отличается от RAG Quality

RAG Quality — методическая страница. Она помогает понять, какие вопросы задать к knowledge system.

RAG Quality Report — операционный артефакт. Он нужен, когда проверка уже прошла и появились findings. В нём нет длинного рассуждения; там короткие строки с evidence, severity, owner и status.

Как связан контур

Prepare Knowledge Base
→ Knowledge Pack
→ RAG Quality
→ RAG Quality Report
→ Harness

Prepare Knowledge Base собирает Source Inventory. Knowledge Pack фиксирует approved knowledge и answer policy. RAG Quality задаёт eval scenarios. RAG Quality Report записывает findings. Harness хранит Decision Log и improvement loop.

Минимальные поля отчёта

Каждая строка отчёта должна содержать:

  • checked area / проверяемая зона;
  • issue / проблема;
  • evidence / источник или eval finding;
  • severity / важность;
  • recommended fix / рекомендуемое исправление;
  • owner / ответственный;
  • status / статус.

Если хотя бы одного поля нет, issue пока нельзя считать рабочим backlog item.

Sample eval scenarios

Первый набор сценариев нужен не для идеальной метрики, а для честного старта:

  • missing source — вопрос не покрыт approved sources;
  • conflicting documents — источники дают разные ответы;
  • outdated answer — ответ опирается на старый документ;
  • risky overclaim — агент обещает больше, чем разрешено;
  • handoff required — нужен человек или внешний context;
  • pricing boundary — пользователь просит цену, срок, скидку или коммерческое обещание.

Эти сценарии должны быть связаны с Source Inventory: какой source ожидался, какой найден и почему результат безопасен или небезопасен.

Improvement loop

Отчёт запускает цикл улучшения только тогда, когда finding дошёл до решения:

issue found
→ decision
→ fix
→ retest
→ reviewed

Например, если агент ответил по устаревшему pricing note, решение может быть таким: перевести источник в outdated, назначить commercial owner, добавить temporary pricing boundary и повторить pricing boundary scenario после обновления.

Связь с Decision Log

RAG Quality Report находит issue. Decision Log фиксирует, что команда решила с этим issue делать: обновить source, добавить forbidden claim, изменить handoff trigger, оставить действие за Approval Gate или отправить case на owner review.

Без Decision Log report остаётся списком проблем. С Decision Log он становится управляемым маршрутом: issue → decision → approval → fix → retest → reviewed.

Связь с Pilot Review Packet

Pilot Review Packet использует RAG Quality Report как вход для readiness status. Если report содержит high severity issue, открытый owner gap или pending retest, packet не должен получать go.

Для статуса needs-fix report должен показать, какие fixes обязательны до следующего review. Для no-go report должен показать stop-line: missing source, неразрешённый conflict, outdated answer без owner или risky overclaim без handoff/approval.

Связь с Harness

Harness хранит то, что нельзя потерять между итерациями: почему команда решила изменить источник, кто подтвердил правку, какие сценарии повторили и когда issue получил reviewed.

Без Harness отчёт быстро превращается в список замечаний. С Harness он становится частью управляемого процесса: команда видит, что улучшилось, что ещё открыто и какие риски нельзя отправлять в pilot.

Когда использовать

Используйте RAG Quality Report после первого eval run, перед pilot и после каждого существенного изменения Knowledge Pack: новый источник, новый pricing rule, новый handoff trigger, изменение chunking или answer policy.