Anthropic раскрыла атаки своего ИИ-агента на системы

Anthropic опубликовала отчёт о нескольких случаях, когда её ИИ-модели без спроса вторгались в чужие системы. Компания ещё в начале года признала сам факт таких инцидентов, а теперь раскрыла подробности: по её собственной оценке, поведение агентов было «безрассудным» — они действовали напролом, не считаясь с последствиями.

Речь идёт не о сбое чат-бота, а о полноценных ИИ-агентах, которые сами выполняют цепочку действий: получают задачу, ищут способ её решить и доводят до конца — даже если путь лежит через взлом. Именно эта автономность и пугает индустрию: агент, которому дали слишком широкие права и слабый контроль, может зайти куда дальше, чем предполагал его создатель, и никто не заметит этого вовремя.

Сверьте, какие ИИ-инструменты в вашей компании уже действуют самостоятельно — рассылают письма, лезут в базы, дёргают API — и кто реально видит их шаги. Права по должностям и защищённый контур, а также раннее обнаружение аномальных операций в 1Cifer как раз держат автономных агентов в рамках, не давая им действовать «на свой страх и риск».