Harness нужен в тот момент, когда AI перестаёт быть демо и начинает касаться клиентов, документов, заявок или решений команды. Он делает систему проверяемой: откуда ответ, кто утвердил знание, что нельзя делать автоматически и куда передать сложный случай.

Central formula

AI-агент отвечает.
Harness показывает, на чём он основан, как он проверен, где его границы и что делать дальше.

Без harness AI-проект легко остаётся красивым prototype: он отвечает на знакомые вопросы, но не показывает источник, не умеет корректно молчать и не фиксирует, почему система изменилась.

What Harness controls

Harness связывает три слоя: знание, действие и проверку.

Знание отвечает на вопрос: из каких approved sources агент может отвечать. Действие отвечает на вопрос: что агент может делать сам, а где нужен approval. Проверка отвечает на вопрос: как мы понимаем, что система не деградировала после изменения prompt, базы знаний или workflow.

Core elements

  1. Knowledge Pack — утверждённый набор знаний под сценарий.
  2. Agent Workflow — маршрут обработки запроса.
  3. Eval Scenarios — тестовые ситуации: happy path, edge cases, missing information, conflicting sources, forbidden claims.
  4. Source Map — карта источников, статусов и владельцев.
  5. Approval Gates — точки, где действие подтверждает человек.
  6. Operator Handoff — передача сложных случаев человеку с summary.
  7. RAG Quality Report — проверка retrieval и grounded answer.
  8. Decision Log — журнал решений: что изменили и почему.
  9. Client Progress Metric — показатель, по которому видно, стал ли процесс понятнее и управляемее.
  10. Project Brief — краткое описание задачи, границ и expected behavior.

Decision Log

Decision Log — журнал решений по найденным quality issues. Он отвечает на пять вопросов:

  • какое issue найдено;
  • какое evidence это подтверждает;
  • какое решение принято;
  • кто владеет исправлением;
  • какой retest подтвердит, что issue закрыт.

Для RAG-сценариев Decision Log получает вход из RAG Quality Report. Если report говорит «pricing answer устарел», Decision Log фиксирует решение: обновить source, поставить temporary pricing boundary, назначить owner и повторить pricing scenario.

В Goal 7 Decision Log вынесен в отдельную wiki-страницу: /wiki/decision-log. Harness использует её как shared rule для RAG findings, handoff decisions и Approval Gates.

Improvement Loop

Improvement loop в Harness короткий:

issue found
→ decision
→ fix
→ retest
→ reviewed

issue found приходит из eval scenario. decision фиксируется в Decision Log. fix меняет source, answer policy, handoff trigger или forbidden claim. retest повторяет тот же сценарий. reviewed ставится только после повторной проверки.

How it connects wiki, agents and tools

Wiki хранит reusable knowledge: определения, схемы, риски, tool roles и source policy. Агент использует эти материалы как рабочий контекст. Инструменты подключаются как delivery layers, eval layers или provider layers.

Harness удерживает всё вместе: если меняется tool, workflow или Knowledge Pack, команда всё равно понимает, что именно проверять.

Route slices

В текущей версии сайта Harness связывает основные маршруты Wave 1.

Goal 9 добавляет AI Radar route:

AI Radar
→ Source Evidence Policy
→ Tool Radar
→ RAG Quality
→ Harness

Этот route нужен, чтобы market или tool signal не оставался заметкой. В Harness он получает действие: watch, review, update-page или backlog.

Первый маршрут показывает voice-сценарий целиком:

AI Voice Agent
→ Voice Lead Intake
→ Knowledge Pack
→ Operator Handoff
→ Approval Gates
→ Harness

Второй route slice показывает tools как вход в практику и wiki, а не как отдельный каталог:

Dify → Prepare Knowledge Base → Knowledge Pack → Operator Handoff → Approval Gates
Ragas → RAG Quality → Knowledge Pack → Harness
Vapi → AI Voice Agent → Operator Handoff → Approval Gates → Harness
AnythingLLM → Prepare Knowledge Base → Knowledge Pack → RAG Quality Report → Harness

Goal 6 добавляет knowledge quality route:

Prepare Knowledge Base
→ Knowledge Pack
→ RAG Quality
→ RAG Quality Report
→ Harness

Так Harness остаётся общей рамкой: source map, eval, approval, handoff и decision log можно переносить между разными tools.

Goal 7 добавляет pilot readiness route:

Knowledge Pack
→ RAG Quality Report
→ Decision Log
→ Approval Gates
→ Harness
→ Pilot Readiness Checklist

Этот route нужен перед первым ограниченным pilot review: он проверяет, что findings имеют решения, external actions остаются за approvals, а открытые risks попали в next step.

Goal 8 добавляет pilot review route:

Knowledge Pack
→ RAG Quality Report
→ Decision Log
→ Pilot Review Packet
→ Harness

Pilot Review Packet делает snapshot перед решением о pilot scope: checklist summary, RAG findings, Decision Log, eval scenarios, open risks, required fixes и status go, no-go или needs-fix. Harness затем возвращает этот status в improvement loop: fix → retest → reviewed → следующий review packet.

Source and evidence policy

Для knowledge / RAG / support agents действует простое правило: ответ должен опираться на approved sources. Если источника нет, агент говорит, что информации недостаточно. Если источники конфликтуют, агент не выбирает самую удобную версию, а передаёт случай человеку.

Forbidden claims фиксируются заранее: fixed ROI, гарантированная окупаемость, полная автономия, замена людей, безошибочность и high-risk advice без review.

Quality loop

Harness живёт не один раз. После каждого изменения сценария команда обновляет source map, eval scenarios, decision log и quality report. Это даёт понятный improvement loop: не «кажется, стало лучше», а «в этих сценариях стало стабильнее, в этих ещё нужен review».

Минимальная запись loop:

issue: outdated answer по pricing boundary
decision: перевести source в outdated и запросить owner review
fix: обновить pricing note и forbidden claim
retest: повторить pricing boundary scenario
reviewed: закрыть issue после успешного retest

Not a dashboard

В этом public wiki-site Harness не строится как dashboard, operator cockpit или app-layer. Сейчас это профессиональный узел знания и методическая рамка. Реальный интерфейс управления может появиться позже отдельным проектом.

DIY path

Начните с одного AI-сценария и заполните короткий Project Brief: задача, источник знаний, forbidden actions, handoff rule, пять eval cases и критерий успеха. Если хотя бы один из этих пунктов неясен, production рано.

Перед pilot добавьте ещё один проход: откройте Pilot Readiness Checklist и проверьте Knowledge Pack, source_map, forbidden_claims, eval_scenarios, handoff, approvals, RAG Quality Report и Decision Log.

When to ask AI-Ready

AI-Ready стоит подключать, когда prototype уже показал интерес, но появилась следующая задача: превратить его в управляемый процесс с источниками, eval, approval gates, handoff и decision log.