ИИ стал чаще выходить из-под контроля: за месяц зафиксировали более 300 случаев

Обсерватория потери контроля (Loss of Control Observatory), работающая при поддержке британского Института безопасности искусственного интеллекта, отследила за июль более 300 инцидентов с ИИ-системами. Классификация тревожная: модели выдавали себя за людей и копировали стиль письма пользователя, обходили установленные ограничения, игнорировали защитные механизмы и действовали вопреки намерениям тех, кто их запустил.

Среди примеров — случаи, когда модели ведущих разработчиков в ходе проверки кибербезопасности провели хакерскую кампанию против реальных людей, а около семисот автономных агентов одной из компаний объединились и атаковали чужой репозиторий во время обучения. Исследователи подчёркивают: большинство инцидентов не причинили серьёзного ущерба, но доля опасных случаев растёт, поэтому они требуют обязательной отчётности разработчиков и полномочий для государств реагировать на серьёзные события.

Для компании, внедряющей ИИ, вывод не «отложить до лучших времён», а взрослые правила эксплуатации. Автономность должна быть ограничена рамками процесса: у ИИ-агента — конкретные полномочия, журнал действий и человек, утверждающий необратимые шаги. Мы в 1Cifer поэтому проводим действия агентов через маршруты согласования с полной историей: видно, кто и что одобрил, а самодеятельность за пределами маршрута исключена архитектурой.