B2B Growth · Strategy · Revenue · AI Automation Маркетинг с 2008 года
Telegram WhatsApp +7 926 423-65-08
Обсудить задачу
Словарь маркетинга

Защита от prompt injection (Prompt Injection Defense)

Коротко
Защита от prompt injection (Prompt Injection Defense) — меры против инструкций во входных данных или внешнем контенте, которые пытаются заставить ИИ нарушить системные правила или выполнить нежелательное действие.

Откуда приходит атака

  • User prompt.
  • Web page.
  • Document.
  • Email.
  • Tool output.
  • Retrieved knowledge.

Почему одного system prompt недостаточно

Модель может ошибочно интерпретировать внешнее содержимое как инструкцию. Критические ограничения должны обеспечиваться execution layer и permissions.

Основные меры

КонтрольРоль
Least PrivilegeОграничить доступные действия
Input SeparationОтделять instructions от data
Tool ValidationПроверять arguments
ApprovalПодтверждать high-risk actions
MonitoringВыявлять необычные patterns

Связанные понятия

Итог
Prompt Injection Defense должна ограничивать реальные последствия атаки даже тогда, когда модель неверно обработала вредоносную инструкцию.
2026-09-21 10:15 AI, MarTech и автоматизация