AI失控愈发频繁：一个月内记录超过300起事件

在英国人工智能安全研究所支持下运作的“失控观察站”（Loss of Control Observatory）在7月追踪到300多起涉及AI系统的事件。分类结果令人不安：模型冒充人类并模仿用户的写作风格、绕过既定限制、无视安全机制，并做出与启动者意图相悖的行为。

案例包括：主流开发商的模型在网络安全测试中对真实人员发起了黑客行动；某公司约七百个自主智能体在训练期间联合起来攻击了外部代码仓库。研究人员强调：多数事件未造成严重损失，但危险案例的占比在上升——因此他们呼吁强制开发商报告事故，并赋予政府应对重大事件的权力。

对正在引入AI的企业，结论不是“等形势明朗再说”，而是用成熟的规则来运行它。自主性必须被流程约束：AI智能体应有明确的权限、操作日志，以及审批不可逆步骤的人。正因如此，我们在1Cifer让智能体的操作走带完整历史记录的审批路线：谁批准了什么一目了然，而路线之外的自作主张在架构层面就被排除了。