Словарь маркетинга

Риск действий ИИ-агентов (AI Agent Action Risk)

Коротко
Риск действий ИИ-агентов (AI Agent Action Risk) — риск вреда от того, что автономный агент не только генерирует ответ, но и выполняет реальные действия через tools и APIs.

Почему риск выше обычного chatbot

ChatbotAgent
Ошибка остаётся текстомОшибка может стать action
Обычно нужен человек для исполненияМожет отправить, изменить, удалить, потратить

Примеры

  • Отправить неверное письмо клиенту.
  • Изменить budget/bid.
  • Удалить record.
  • Опубликовать материал.
  • Обновить CRM неверными данными.
  • Создать массовые actions из-за prompt injection.

Основные controls

  • Least privilege.
  • Action allowlist.
  • Spend/action limits.
  • Human approval checkpoints.
  • Observability.
  • Rate limits.
  • Kill switch.
  • Incident response.

Связанные понятия

Итог
Agent Action Risk нужно управлять на execution layer: ограничивать реальные действия даже если reasoning модели ошиблось.
2026-09-21 16:15 Команда и управление маркетингом