AI失误险些引发美中军事冲突

据CNN报道,美军险些对一艘位于中东海域的中国船只发动军事行动,起因是AI分析出错。系统分析情报数据后得出结论,认为该船正运送中国核武器项目所需部件,美军随即调动战机、准备拦截。行动开始前,人员重新核实了数据,才发现是聊天机器人误判了货物。

后来查明,一名分析师先用AI解读船舶载货清单,再用同一工具把结论写进正式报告——期间没有独立核实原始数据。一次没有人工把关的AI判断,险些导致后果无法挽回的军事行动。AI给出的结论听起来越笃定,人们就越容易把它当作事实、跳过核查,尤其是在时间紧迫的情况下。

不妨检查一下,公司里是否有AI工具的结论直接触发付款、客户邮件或人事决定,却没有经过人工复核这一步。关键操作应走审批流程,而不是只依赖单一来源的判断。1Cifer采用类似的机制:涉及发票、合同等重要事项的决定,会先经过带有决策记录的审批流程,之后智能体才会执行。