Шаг 1. Определите outcomes
Не ставьте KPI «внедрить AI». Выберите cycle time research, content throughput, campaign QA, reporting effort, sales research, response speed. Зафиксируйте baseline.
Шаг 2. Создайте process inventory
Research, planning, content, creative, media, CRM, analytics, enablement, service, operations. Для каждого: frequency, hours, error cost, data, systems, approvals.
Шаг 3. Оцените use cases
Шаг 4. Различайте copilot, automation и agent
Copilot помогает внутри шага; automation выполняет deterministic sequence; agent выбирает actions/tools. Чем больше автономность, тем строже permissions и observability.
Шаг 5. Создайте AI inventory
Use case, model/provider/version, owner, data class, tools, status, evals, incidents, review, fallback, decommissioning.
Шаг 6. Определите data boundaries
Public/internal/confidential/personal/sensitive. Настройте approved providers, connectors, retention, region, access control и PII restrictions.
Шаг 7. Соберите eval set
20–100 реальных tasks. Для каждого reference/rubric: accuracy, completeness, source quality, brand fit, action correctness.
Шаг 8. Установите quality baseline
Сначала более сильная model для ceiling, затем optimize cost/latency, заменяя stages только при сохранении eval performance.
Шаг 9. Спроектируйте tools
Документированные, тестируемые, минимальные permissions. Read-only отделяйте от write. Publishing, sending, deletion, pricing требуют повышенного контроля.
Шаг 10. Добавьте guardrails
- Scope checks.
- Prompt-injection protection.
- PII filters.
- Tool permissions.
- Output validation.
- Action limits.
- Required sources.
- Escalation.
Шаг 11. Определите human-in-the-loop
High-impact и irreversible actions требуют approval. В pilot review шире; снижайте контроль только по evidence.
Шаг 12. Пилотируйте end-to-end
Оценивайте полный workflow и rework. Хорошая генерация может не давать savings при дорогой проверке.
Шаг 13. Добавьте logging
Task, model/version, tools, outcome, human decision, errors, latency — в рамках privacy/security.
Шаг 14. Создайте fallback
Retry, reduced scope, alternative model, manual queue или stop. Critical workflow не должен зависеть от одного model endpoint.
Шаг 15. Посчитайте economics
Шаг 16. Создавайте reusable capabilities
Approved retrieval, brand rules, source verification, CRM/analytics tools, logging и eval harness должны быть общими.
Шаг 17. Не усложняйте orchestration
Начинайте с single-agent/explicit workflow. Multi-agent нужен при действительно разных roles, contexts и permissions.
Шаг 18. Введите change management
Обучайте workflow, а не prompts: что делегировать, как проверять, где approval, как сообщать failure. Назначьте owner.
Шаг 19. Создайте governance
Approved models, security/legal review, owner, change triggers, incident process, retention, decommissioning, vendor exit.
Шаг 20. Проводите portfolio review
Quarterly сравнивайте realised value, adoption, reliability, risk, cost. Закрывайте pilots без эффекта.
Как выбрать первые пилоты
- Research synthesis с source review.
- Content brief/draft с approval.
- Campaign QA.
- Dashboard commentary.
- Sales account research.
- CRM classification без sending.
Что не брать первым
- Autonomous pricing.
- Mass outbound без approval.
- Удаление CRM data.
- Legal claims без human review.
- High-stakes customer decisions.
- Workflows без success criteria.
Maturity-модель AI-трансформации
Decision rules для автономности
Повышайте autonomy только если eval quality стабилен, failure modes известны, permissions минимальны, actions reversible или protected approval, а monitoring работает. При incident снижайте autonomy и обновляйте guardrails.
Как считать ROI AI-use-case
Сравните incremental value и total cost: model/API, infrastructure, integration, maintenance, review, exception handling. Time saved считается только если высвобождённая capacity реально используется.
90-дневный план
- Дни 1–30: process inventory, scoring, AI inventory, baseline evals.
- Дни 31–60: 2–3 pilots, tool boundaries, review, logging.
- Дни 61–90: economics, guardrails, reusable components, scale/stop.
Типичные ошибки
- Model-first.
- Автоматизация плохого process.
- Нет evals.
- Лишние permissions.
- Demo = production.
- Не считают review cost.
- Нет fallback.
- Нет version history.
- Adoption = impact.
Пример
Команда хочет AI для контента. Inventory показывает, что bottleneck — research. Agent получает approved search/repository tools, собирает evidence и outline; человек подтверждает sources. Evals измеряют coverage и factual accuracy. Cycle time сокращается, corrections не растут; затем automation расширяется.
Как построить evaluation harness
Для каждого use case заведите фиксированный набор representative tasks, rubric и pass/fail thresholds. При смене model, prompt, retrieval source или tool прогоняйте regression eval. Это превращает «кажется, стало лучше» в управляемый quality process.
Какие evals нужны маркетингу
Как проектировать permission tiers
Полезно разделить tools на четыре уровня: read public, read internal, write reversible, write high-impact. Agent получает минимальный набор. Для high-impact actions добавляйте explicit confirmation, limits или human approval.
Как управлять model changes
Model/provider update может изменить behavior без изменения вашего workflow. Поэтому inventory должен хранить version/release channel, а change trigger — запускать regression eval. Для critical use cases не полагайтесь на незафиксированное поведение.
Как оценивать vendor
Проверяйте data handling, retention, region, security, availability, rate limits, model lifecycle, pricing, contractual terms и export/exit. Технологическая capability без acceptable governance может сделать vendor непригодным.
Как считать организационный эффект
AI может не сокращать headcount, но увеличивать throughput, уменьшать cycle time и переносить время специалистов с production на judgment. Фиксируйте, куда реально переиспользована capacity; иначе «сэкономленные часы» останутся виртуальными.
Когда переходить к agentic automation
- Workflow стабилен и понятен.
- Evals имеют приемлемый baseline.
- Tools стандартизированы.
- Permissions минимальны.
- Failures наблюдаемы.
- Fallback протестирован.
- Human approval определён.
- Экономика пилота положительна.
Как вести incident review
Для каждого серьёзного failure фиксируйте context, model/version, tool calls, impact, detection, containment, root cause и remediation. Затем обновляйте eval set и guardrail, чтобы incident превращался в системное learning.
Как выбрать метрику качества для AI-процесса
Не используйте одну универсальную accuracy. Для research важны source coverage и factuality; для content — usefulness и rework; для agents — правильность action, tool и parameters; для customer-facing systems — safety и escalation. Business metric и model-quality metric должны существовать одновременно.
Как не потерять знания при масштабировании
Храните prompts/instructions, eval cases, tool contracts, incident learnings и architecture decisions как versioned artifacts. Если knowledge существует только в голове одного AI-champion, трансформация создаёт новый key-person risk.
Как завершать неудачные AI-проекты
Stop criteria задавайте до pilot: минимальный quality threshold, maximum review effort, expected cycle-time gain и acceptable incident rate. Если use case не проходит их после согласованного числа iterations, закрывайте или сужайте scope, а не поддерживайте бесконечный demo.
Связанные руководства
- Годовая стратегия
- Полный аудит маркетинга
- B2B Demand Engine
- Как внедрить ИИ-агента для маркетинговых исследований (AI Research Agent)
- Как внедрить оркестрацию ИИ-агентов (AI Workflow Orchestration)
- 25 экспериментов с ИИ-агентами в маркетинге (AI Agent Experiments)
- Как отслеживать протоколы агентной коммерции (Agentic Commerce Protocols)