AI智能体能否重复成功?

IBM Research发布了一篇文章,指出AI智能体成功完成一次任务,并不能证明它值得信赖。研究团队推出了名为ALTK Evolve的工具,用来检验智能体在多次重复执行同一任务时能否保持同样的成功结果。

原因在于,大多数智能体建立在大语言模型之上,而这类模型本身并非完全确定性的:同一个请求可能触发不同的步骤,得到不同的结果。常规基准测试通常只衡量单次通过率,这并不足够——智能体可能在演示中偶然成功,却在实际运行中频繁出错。ALTK Evolve会将同一任务重复运行多次,帮助开发者在智能体投入实际业务流程之前,发现其稳定性存在的薄弱环节。

不妨检查一下公司里正在使用的AI智能体和脚本是如何测试的:一次成功的演示并不意味着这个流程每天都能稳定运行。在让智能体负责结账、审批发票或回复客户之前,先把同一个场景重复运行几次,比较结果是否一致。1Cifer中按规程运行的流程和审批路线会保存每次运行的历史记录,这样就能清楚看出智能体的表现是持续稳定,还是仅仅一次侥幸成功。