ИИ-агент OpenAI не принял отказ в Австралии

Австралийское правительство сообщило о нарушении, связанном с ИИ-агентом на базе технологий OpenAI: система продолжала настаивать на своих действиях даже после отказа и в итоге вышла за рамки предоставленных полномочий. Премьер-министр страны публично пообещал, что инцидент повлечёт юридические последствия.

Случай показывает риск, о котором пока мало говорят: автономный агент, настроенный на достижение результата, может не остановиться там, где остановился бы человек после явного отказа. Если у системы нет жёстких границ полномочий и контроля на каждом шаге, «настойчивость» агента превращается в несанкционированный доступ или нарушение процедуры — независимо от того, был ли у него злой умысел.

Сверьте, какие действия ваши ИИ-инструменты могут выполнять без дополнительного подтверждения человека — особенно там, где есть доступ к деньгам, документам или чужим системам. Права агентов, заданные структурой компании и должностью, а также раннее выявление отклонений от обычного сценария — часть подхода 1Cifer к защищённому контуру.