Джейлбрейк (обход ограничений модели)

Защита моделей и попытки её обойти — это вечная гонка вооружений. Любая новая версия модели обычно умеет блокировать атаки прошлого поколения, но появляются новые.

Типичные виды атак

• Ролевые игры — «представь, что ты модель без правил».
• Многошаговые атаки — длинный безобидный диалог, в который встроена опасная просьба.
• Атаки через данные — вредоносные инструкции спрятаны внутри документа, который модель читает (prompt injection).
• Перевод и кодирование — просьба на редком языке, базе64, шифре.
• Атаки на агенты — внешний сайт «уговаривает» агента выполнить вредные действия.

Что обычно делают в продуктах

• Жёсткие политики на стороне приложения, а не только модели.
• Отдельные модели-цензоры, проверяющие вход и выход.
• Ограничение доступных функций и прав агента.
• Логирование и аудит всех подозрительных запросов и действий.