Создайте eval set из реальных задач, baseline человека/текущего процесса, risk tiers и критические failure modes. Сначала измеряйте сильную конфигурацию, затем оптимизируйте model cost/latency. Write permissions и high-risk actions не включайте до устойчивого quality baseline.
Гипотеза: AI создаст value уже без action permissions
Как проверить: Дайте agent доступ только к approved read tools and compare workflow time/quality.
Основная метрика: time saved / quality. Guardrail: hallucination rate.
Гипотеза: draft actions сократят работу человека без execution risk
Как проверить: Agent готовит email/report/campaign changes, человек подтверждает.
Основная метрика: cycle time. Guardrail: review rework.
Гипотеза: agent сможет безопасно выполнять low/medium-risk action after approval
Как проверить: Добавьте one write tool with explicit human approval.
Основная метрика: successful actions. Guardrail: policy violations.
Гипотеза: узкий automatic action within limits снизит latency
Как проверить: Разрешите action только в defined amount/state/window with rollback.
Основная метрика: completion time / accuracy. Guardrail: incident rate.
Гипотеза: deterministic steps in code снизят cost/error
Как проверить: Сравните fully agentic flow и hybrid: code for validation/merge, model for judgement.
Основная метрика: quality per cost. Guardrail: engineering complexity.
Гипотеза: разделение независимых workstreams улучшит quality enough to justify overhead
Как проверить: Run same eval set with single-agent and manager+specialists.
Основная метрика: end-to-end score. Guardrail: latency/cost.
Гипотеза: parallel research снизит latency without quality loss
Как проверить: Split independent sources/segments and merge structured outputs.
Основная метрика: time-to-result. Guardrail: duplicate/conflicting work.
Гипотеза: второй reviewer снизит high-severity errors
Как проверить: Add separate critique stage with different instructions/evidence access.
Основная метрика: critical error rate. Guardrail: cost/false rejection.
Гипотеза: AI review может снять часть нагрузки, сохранив escalation
Как проверить: Compare human-only and AI-precheck + human exceptions.
Основная метрика: review hours / error rate. Guardrail: automation bias.
Гипотеза: least privilege снизит action risk без сильной потери completion
Как проверить: Remove unnecessary tools/scopes in treatment.
Основная метрика: policy incidents. Guardrail: completion rate.
Гипотеза: меньше ambiguous tool parameters улучшит correct tool use
Как проверить: Simplify one complex action API into narrow functions.
Основная метрика: tool-call success. Guardrail: coverage.
Гипотеза: JSON/schema снизит downstream parsing errors
Как проверить: Compare free text handoff and schema-constrained output.
Основная метрика: valid outputs. Guardrail: loss of nuance.
Гипотеза: grounded context снизит unsupported claims
Как проверить: Require knowledge retrieval for specific task class.
Основная метрика: factual accuracy. Guardrail: latency.
Гипотеза: agent будет реже использовать stale knowledge
Как проверить: Add date/source policy and stale threshold.
Основная метрика: fresh-source compliance. Guardrail: task completion.
Гипотеза: low-confidence cases лучше передавать человеку
Как проверить: Define confidence/evidence threshold and route exceptions.
Основная метрика: high-severity error rate. Guardrail: escalation volume.
Гипотеза: bounded retries снизят cost and repeated failures
Как проверить: Set max retries/backoff vs unrestricted retry.
Основная метрика: cost per successful task. Guardrail: completion rate.
Гипотеза: повтор tool call не создаст duplicate action
Как проверить: Add idempotency to one transactional workflow and simulate timeout.
Основная метрика: duplicate action rate. Guardrail: implementation cost.
Гипотеза: reversible actions снизят incident impact
Как проверить: Store previous state and test automated/manual rollback.
Основная метрика: mean time to recover. Guardrail: rollback errors.
Гипотеза: простые cases можно отдавать cheaper model without losing quality
Как проверить: Classify task difficulty and route models; compare same eval suite.
Основная метрика: quality-adjusted cost. Guardrail: routing mistakes.
Гипотеза: автоматические evals поймают degradation до production
Как проверить: Run fixed golden cases on every prompt/model/tool change.
Основная метрика: regressions caught. Guardrail: test maintenance.
Гипотеза: sampling traces выявит новые failure modes
Как проверить: Review random + high-risk runs weekly and convert failures into eval cases.
Основная метрика: new failure detection. Guardrail: review workload.
Гипотеза: explicit confirmation снизит harmful actions
Как проверить: Require confirmation with summary of amount/object/impact.
Основная метрика: critical incident rate. Guardrail: extra friction.
Гипотеза: scoped task memory улучшит continuity without cross-task leakage
Как проверить: Compare stateless vs workflow-scoped memory on repeated tasks.
Основная метрика: completion/consistency. Guardrail: privacy leakage.
Гипотеза: не все agent use cases окупаются одинаково
Как проверить: Run 4-week pilots across 2–3 workflows with full cost/review accounting.
Основная метрика: net value per workflow. Guardrail: measurement burden.
Гипотеза: shadow recommendations predict value and reveal errors safely
Как проверить: Run agent alongside human without acting, compare decisions and outcomes.
Основная метрика: decision agreement/quality. Guardrail: delay to value.
Переход на следующий уровень должен зависеть от evals, production incident history и reversibility, а не от возможности модели технически вызвать tool.
Сочетайте offline evals и production metrics. Offline: task success, policy, tool correctness, factuality. Production: human correction, escalation, latency, cost, incidents, adoption и business result. Редкая high-severity ошибка должна иметь отдельный threshold и не растворяться в среднем score.
Сначала single-agent baseline. Добавляйте subagents только если есть независимые parallel tasks, permission separation, domain specialization или context limits. Сравнивайте end-to-end quality/cost; больше agents не равно лучше.
Каждый production failure классифицируйте: instruction, retrieval, tool, data, policy, model, orchestration. Добавляйте representative case в regression suite. Так eval set развивается вместе с реальным workflow.