Ошибка ИИ чуть не привела к военному конфликту

Американские военные едва не начали операцию против китайского судна на Ближнем Востоке — как сообщает CNN, ошиблась не разведка, а ИИ. Система проанализировала разведданные и решила, что судно перевозит компоненты китайской ядерной оружейной программы. Военные подняли самолёты и начали готовить перехват, но перед стартом операции данные перепроверили и выяснили: чат-бот неверно определил груз.

Оказалось, что аналитик использовал нейросеть для разбора судового манифеста, а затем тем же ИИ оформил выводы в официальном отчёте — без независимой проверки исходных данных. Ошибка одной системы без контроля человека почти привела к действиям с необратимыми последствиями. Чем увереннее звучит вывод ИИ, тем проще принять его за факт и пропустить проверку — особенно если решение нужно принять быстро.

Проверьте, какие решения в компании ИИ-инструменты передают сразу в действие — платёж, письмо клиенту, кадровый шаг — без проверки человеком. Критичные операции стоит проводить через маршрут согласования, а не доверять единственному источнику вывода. Похожий принцип заложен в 1Cifer: решения по счетам, договорам и другим важным операциям проходят согласование по маршруту с историей решений, прежде чем агент выполнит действие.