AI Agent 能接管复杂业务,但让它自动跑到底往往伴随着巨大灾难。企业级落地需要的不是一个简单的确认按钮,而是覆盖预览、强校验与上下文防漂移的完整闭环风控体系。

AI Agent 正在变得越来越强大。
它们能跨系统提取信息、理解多页合同、代写业务邮件,甚至替员工点击内部系统的操作按钮。
但这带来了一个致命陷阱:AI 拥有执行操作的能力,绝不代表它应该拥有不受限的处置权。
如果一个财务 Agent 可以自行发起退款、运维 Agent 能随时开通生产数据库权限,一旦模型出现幻觉或遭遇非预期输入,资金可能流向错误账户,核心数据可能瞬时泄露。而且,这类操作通常极难撤销。
这就是「人机协同」(Human-in-the-loop)架构不可或缺的原因。但很多人对它的理解有偏差:人机协同的目标不是让人给 AI 的每一个细碎动作盖章,而是在常规流程放手自动化的同时,在不可逆、高风险的断点上,把决策权交还给具体的人。
事事都要人审批,自动化就失去了意义。
如果员工只是调用 Agent 检索一份公开的内部飞书文档,这种低风险、规则明晰的操作完全应该全自动执行:校验权限、调取数据、反馈结果。
但如果操作涉及开通生产环境数据库、执行上万元的退款,或是修改供应商的核心结算账号,性质就彻底变了。
在这些关键节点,Agent 必须停下来,向具备相应权限的业务负责人说明意图:它打算做什么、依据是什么、预计影响有多大。只有负责人核准了业务必要性、权限范围与失效期限,流程才能继续推进。
自动化在何处终止,责任追溯就在何处建立。
懂得踩刹车,比懂得狂奔更重要。
在以下四类场景中,Agent 必须强制中断自动化流程:
面对信息不一致时,劣质的 Agent 会依赖概率去「猜」一个最可能的结果强行执行;而合格的企业级 Agent 必须停下并报警,把冲突信息直接呈现给人工核查。
很多系统以为在界面上加一个“确认”弹窗就万事大吉,这只是形式主义的假审批。
一个可靠的 Agent 审批闭环必须严格走完四个阶段:
预览(Preview)→ 确认(Confirm)→ 执行(Execute)→ 校验(Verify)
以处理一笔两万元的客户退款为例:
看一个常见的业务漏洞:
Agent 提交了 2,000 元的报销申请,主管在钉钉上点了同意。在调用支付接口的前一秒,因上下文重试或参数错乱,金额变成了 3,000 元。系统能拿着刚才的批准直接付钱吗?
绝对不能。
主管批准的是「2,000 元」,不是「3,000 元」。
审批凭据必须与特定参数严格绑定——包括具体的业务动作、数值、受体、审批人身份以及时间戳。任何关键参数一旦变动,原有的审批凭据必须瞬间作废,强制重新发起。
更重要的是,这个校验逻辑必须由底层的业务系统来物理阻断,绝不能寄希望于大模型自己「记住」规矩。
另一个隐蔽的风险是时间差(TOCTOU:检查到执行的时间差)。
员工周一申请了某系统的超级管理员权限,主管出差直到周三才在手机上点了同意。但这 48 小时里,该员工可能已经转岗,或者原本紧急的线上故障早已恢复,申请理由已经不再成立。
如果 Agent 拿着周一的意图直接在周三开通权限,就制造了严重的安全漏洞。
在真正执行敏感操作前,Agent 必须进行二次时效核对:当前的业务事实是否依然支持两天的申请?原审批是否仍在有效期内?环境状态是否发生改变?
两天前的批准,不能无视当下现实的变动。
许多工程师在设计 Agent 逻辑时,习惯把「审批被拒绝」当作工作流异常抛出报错。这是错误的。
主管驳回报销可能因为发票类目不符;安全团队拒绝权限可能希望收窄权限范围。这些不是系统错误,而是日常的商业决策。
Agent 应当体面地处理驳回:记录驳回理由、阻断后续危险动作、并将人类的修改意见继承到下一次迭代中。这会形成一张完整的审计轨迹:谁在什么时候审核了什么内容,因为什么理由给出了怎样的判断。
在将核心系统对接给 AI 之前,不妨审视一下当前的工作流:
如果这些问题的答案存在含糊,那么这套系统就还没做好上线的准备。
最值得信赖的 AI Agent,从来不是那个闷头把所有事情干完的 Agent,而是明确知道何时该行动、何时该请示、何时必须坚决停下的 Agent。
这才是玩具 Demo 与真正可靠的企业级生产系统之间的分水岭。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断