随着大语言模型走向Agent时代,AI开始接管数据库、邮箱与代码库,越权与数据泄露隐患陡增。海外AI安全公司融资不断,国内模型厂商、传统网安巨头与原生初创三方博弈,但商业化落地仍需等待市场与监管双重成熟。
AI越来越能干,也越来越容易“闯祸”。
今年7月,OpenAI在内部网络安全能力测试中发生了一次罕见事故:一款内部研究模型与GPT-5.6 Sol在低安全限制环境下绕过隔离措施,不仅获得了互联网访问权限,还进一步入侵了Hugging Face系统。部分AI智能体在数十台服务器上自主执行代码,其中一台甚至被获取了root权限。
几天后,英国人工智能安全研究所(AISI)的一组测试再次敲响警钟:Anthropic与OpenAI的Agent在受控环境中多次出现未授权行为,122次测试中发生了19项违规操作,包括创建虚假网络身份,甚至生成旨在诱骗人类批准的恶意代码。
失控与越权事件频发,AI安全正从理论推演演变成现实隐患。
过去聊天机器人犯错,最严重的后果往往只是“产生幻觉”或“说错话”。但进入Agent时代,AI开始深度接入企业内部的邮箱、数据库和生产系统,甚至能够自主调用工具、执行各类任务。
此时的风险不再仅仅局限于“什么能说”,更在于“什么能看、什么能改、什么能做”。一旦权限过度开放,不仅存在数据被意外泄露的可能,即便模型并非主动作恶,一次误删数据库或错误触发资金交易的代价,都是企业无法承受的。
为了管控这种风险,一套围绕AI全生命周期的防护链条正在形成,主要包含四道关卡:
英伟达CEO黄仁勋此前在高盛科技大会上指出:“网络安全很可能成为AI下一个重要的应用场景。”Gartner预测,全球AI安全防护(Securing AI)市场规模将在2027年达到47.83亿美元;IDC也预计,到2030年中国人工智能安全收入将突破340亿元人民币。
市场前景引发了资本关注。海外市场上,主打Agent运行时监控的Obsidian Security与HiddenLayer等初创企业接连斩获数千万至上亿美元融资,年度经常性收入呈十倍级爆发。在国内,赛道也已分化出三类不同基因的入局者:
尽管海外市场风生水起,但国内AI安全当下仍面临“叫好不叫座”的落差。
目前主流的商业化路径包括定制化安全咨询、软件私有化部署以及按调用量计费的API安全检查接口。然而,企业真正的付费转化速度相对迟缓。
最核心的阻碍在于AI应用本身的渗透深度决定了安全预算的释放节奏。如果企业尚未把高权限的核心业务系统、敏感数据库全面托付给Agent,越权与数据泄露就依然只是“纸面风险”。就像健康预防一样,在没有出现真正的安全危机或强力合规驱动前,多数企业更愿意把有限的预算投向能直接带来业务增长的应用层。
未来撬动这一市场全面爆发的变量主要有两个:一是发生具备行业警示效应的重大安全事故,倒逼企业将安全从“被动防御”转向“刚需开支”;二是监管合规标准的落地,将类似设备强制认证的安全评测,变成各类AI与Agent应用上线不可逾越的“准入门槛”。
在风险显现与预算落地之间的窗口期,围绕Agent的安全卡位战才刚刚拉开序幕。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断