Защита от prompt injection (Prompt Injection Defense)
Коротко
Защита от prompt injection (Prompt Injection Defense) — меры против инструкций во входных данных или внешнем контенте, которые пытаются заставить ИИ нарушить системные правила или выполнить нежелательное действие.
Откуда приходит атака
User prompt.
Web page.
Document.
Email.
Tool output.
Retrieved knowledge.
Почему одного system prompt недостаточно
Модель может ошибочно интерпретировать внешнее содержимое как инструкцию. Критические ограничения должны обеспечиваться execution layer и permissions.