ИИ-агент случайно удалил 700 ГБ данных разработчика: главный вывод — про права доступа

Казахстанский ER10 пересказал историю, которая быстро разошлась по профессиональным сообществам: ИИ-агент Claude, помогавший разработчику с файловыми операциями, выполнил ошибочную команду и удалил около 700 ГБ данных. Причина не в «злом умысле» модели — агент имел широкий доступ к диску и честно выполнил разрушительное действие, которое никто не остановил.

Показательно, что точно так же ошибаются и люди: истории про «снёс не тот каталог» старше любого ИИ. Разница в скорости — агент делает за секунды то, на что человеку нужны минуты, и окно, чтобы одуматься, исчезает. Поэтому зрелые команды дают агентам те же ограничения, что стажёрам: минимально необходимые права, работа в песочнице, подтверждение необратимых действий и резервные копии, проверенные восстановлением.

Для компании в Казахстане, которая начинает пускать ИИ-агентов в рабочие системы, вывод практический: сначала настроить границы, потом давать задачи. Мы в 1Cifer заложили это в архитектуру — агент привязан к должности и видит только те данные, которые положены этой роли, а не весь контур компании целиком.