ИИ-ассистента взломали скрытым вводом: урок безопасности для всех, кто внедряет ИИ

Специалисты по безопасности раскрыли детали взлома Copilot — ИИ-ассистента в офисном пакете Microsoft: атакующие управляли им через скрытый ввод, то есть инструкции, спрятанные в контенте, который ассистент читает, но пользователь не видит. Модель исполняла чужие команды, считая их частью задачи.

Это хрестоматийная prompt-инъекция — фундаментальная уязвимость всех больших языковых моделей, а не недоработка одного продукта. Любой ИИ-ассистент, который читает входящие письма, документы из внешних источников или веб-страницы, может встретить в них спрятанные инструкции: белый текст на белом фоне, метаданные, невидимые блоки. Чем больше у ассистента прав — читать переписку, отправлять письма, выполнять действия, — тем дороже обходится успешная инъекция.

Для компаний, внедряющих ИИ, отсюда три правила. Давать ассистентам минимально необходимые права — как новому сотруднику на испытательном сроке, а не как администратору. Требовать подтверждения человеком необратимых действий: отправки денег, писем, удаления данных. И выбирать платформы, где границы доступа задаются явно — по ролям и должностям, а не «всем всё». ИИ-агенты приносят пользу ровно тогда, когда их полномочия очерчены так же трезво, как полномочия людей.