Промпт-инъекции взяли на вооружение защитники: главная слабость ИИ-агентов стала оружием обороны

Ars Technica описывает новый поворот в кибербезопасности: промпт-инъекции — скрытые инструкции, которые заставляют ИИ выполнять чужую волю, — начали применять и защитники. Ловушки в документах и системах сбивают с толку ИИ-инструменты атакующих: автоматизированный взлом натыкается на подложные команды и выдаёт себя или уходит по ложному следу.

Симметрия здесь показательна: одна и та же слабость больших языковых моделей — привычка исполнять инструкции из любого текста — работает в обе стороны. Атакующие прячут команды в письмах и файлах, чтобы обмануть корпоративных ИИ-агентов; защитники прячут их в приманках, чтобы обмануть ИИ атакующих.

Для компании, внедряющей ИИ-агентов, вывод не теоретический. Агент, который читает почту, документы и веб-страницы, встречает и чужие инструкции — и должен быть устроен так, чтобы не исполнять команды из данных: права на действия ему выдают отдельно, а не через прочитанный текст. Выбирая платформу для ИИ-агентов, спрашивайте поставщика именно об этом: как система отличает поручение владельца от «поручения», вписанного в присланный счёт.