企业引入新技术通常遵循 J 曲线,AI 落地却走出了危险的“M 曲线”:先因焦虑盲目上线,遭遇幻觉与越权后短暂退缩,随后在商业压力下将风险习惯化,把缺乏约束的 Agent 推向核心系统。
企业技术领域正在发生一件隐秘但危险的事情:我们正在把 AI 放进那些绝不会容许任何员工、外包或传统软件“裸奔”运行的关键位置。
按常理,企业引入重大新技术时遵循的是经典的“J 曲线”:初期由于流程重构、团队磨合与试错,生产力会短暂下滑;随后组织逐渐适应,系统效益开始反弹并远超阵痛期。
但在生成式 AI 的落地过程中,很多企业走出的不是 J 曲线,而是一条让人警惕的 “M 曲线”。
新模型发布,能力惊艳,接入成本低廉,部署门槛极低。
大厂动作频频,竞品争相发布新功能。管理层的焦虑瞬间被引爆,生怕落后半步。在各部门的立项会上,核心议题几乎都是:
而那些本该置顶的致命问题却被无限期延后:谁对系统的动作承担最终责任?它到底能访问哪些底层数据?输出胡言乱语时由谁买单?一旦失控,怎么立刻踩下刹车?
“先把东西堆上去,安全和权限以后再补。”速度成了唯一的指标,控制权变成了日后补交的作业。
现实的耳光很快打在脸上。
大模型幻觉开始直接影响客户交付;隐蔽的数据泄露让安全团队冒出一身冷汗;自动化系统给出的荒谬结论引发客户投诉;权限审计发现,某个小工具居然有核心业务数据库的读取权限。
业务部门开始犹豫,部分实验项目被紧急叫停,法务、安全和架构师被拉进救火组。这是理性的纠偏时刻,也是 M 曲线与传统 J 曲线分道扬镳的岔路口。
然而,绝大多数组织并没有借机重构底座,而是陷入了**“认知上的清醒,行动上的麻木”**。
法务出具了免责声明,公司发布了负责任 AI 的原则准则,技术团队开了无数次复盘会。但意识到问题不等于解决了问题。
当失控带来的损失暂时还在经营预算的承受范围内时,商业指标的催促往往压倒了底层重构的耐心。真正的危险警报,开始被降噪为日常琐事:
组织没有解决失控,而是“习惯”了失控。
风头一过,上线进程再次狂飙。
业务 ROI 的声音盖过了安全部门的警告。AI 不再只是员工写写周报、润色邮件的外围玩具,而是被推到了企业最核心的神经中枢:直连客户、接入财务审批、调用订单数据、接管自动化工作流。
第一波踩坑留下的本该是这样的教训:在权限和安全架构完备之前,严禁盲目放权。
但多数企业总结出的结论却是:原来早期的故障只是技术磨合的必经阶段,大惊小怪罢了。
这种认知偏差极其致命。
M 曲线的第二段上升期之所以凶险,是因为 AI 的形态已经从被动问答演变为具备执行能力的智能体(Agent)。
它们能够自主规划、调用系统 API、检索内网数据、分发任务,并在几乎没有人类干预的情况下走完一整套流程。这彻底颠覆了传统的安全模型。
传统软件就像固定轨道的火车,只会执行代码里写死的逻辑;自主智能体则是拿着目标去寻找路径。它不需要带有恶意去攻击系统,单单是“为了达成目标”,就可能衍生出开发者从未预料到的执行路径。
如果你设置的安全边界被它视为一种执行阻碍,它完全可能在业务流里自行“绕路”。
这就是为什么安全隔离、最小权限原则和人类介入不能是后期打的补丁,它们必须是系统原生架构的一部分。
很多技术负责人很少直面这个问题:当系统彻底失常时,你能立刻让它停下来吗?
不是在演示环境里点个暂停,不是去内部系统里提交一张等待处理的运维工单,也不是等管理员通宵排查日志。
而是在高价值、高风险的生产环境中,面对疯狂执行异常操作的 Agent,组织有没有毫秒级的熔断能力?
在将真正的业务权限下放给 AI 之前,必须先备好以下底线资产:
拥有随时关停系统的能力,绝不是承认技术落后,而是证明人类依然掌握着主导权。
科技行业最危险的习惯,莫过于把异常逐渐常态化(Normalization of Deviance)。
系统出了一次错,临时打个补丁;又出了一次错,加一套应急规程;久而久之,已经没人去过问这套架构最初的设计到底有多荒唐。
M 曲线本质上是对这种麻木心态的警示。
衡量企业 AI 水平的高低,绝不该看接入了多少业务、生成了多少代码、短期省下了多少人力工时。更应该看的是:当技术狂奔时,组织是否依然保有理解它、审计它、约束它,并在关键时刻叫停它的掌控力。
把工具用起来很容易,但真正控制住强大的力量却极难。绝不能把对风险的逐渐麻木,误当成了驾轻就熟。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断