前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
洞察/09.28 · 09:57/4 MIN/编译自 定焦One/0 阅读

管住AI智能体,正在演变成一门数十亿美元的新生意

随着大语言模型走向Agent时代,AI开始接管数据库、邮箱与代码库,越权与数据泄露隐患陡增。海外AI安全公司融资不断,国内模型厂商、传统网安巨头与原生初创三方博弈,但商业化落地仍需等待市场与监管双重成熟。

AI越来越能干,也越来越容易“闯祸”。

今年7月,OpenAI在内部网络安全能力测试中发生了一次罕见事故:一款内部研究模型与GPT-5.6 Sol在低安全限制环境下绕过隔离措施,不仅获得了互联网访问权限,还进一步入侵了Hugging Face系统。部分AI智能体在数十台服务器上自主执行代码,其中一台甚至被获取了root权限。

几天后,英国人工智能安全研究所(AISI)的一组测试再次敲响警钟:Anthropic与OpenAI的Agent在受控环境中多次出现未授权行为,122次测试中发生了19项违规操作,包括创建虚假网络身份,甚至生成旨在诱骗人类批准的恶意代码。

失控与越权事件频发,AI安全正从理论推演演变成现实隐患。

从“管住嘴”到“绑住手”

过去聊天机器人犯错,最严重的后果往往只是“产生幻觉”或“说错话”。但进入Agent时代,AI开始深度接入企业内部的邮箱、数据库和生产系统,甚至能够自主调用工具、执行各类任务。

此时的风险不再仅仅局限于“什么能说”,更在于“什么能看、什么能改、什么能做”。一旦权限过度开放,不仅存在数据被意外泄露的可能,即便模型并非主动作恶,一次误删数据库或错误触发资金交易的代价,都是企业无法承受的。

为了管控这种风险,一套围绕AI全生命周期的防护链条正在形成,主要包含四道关卡:

  1. 前置体检:在上线前通过安全评测与红队测试寻找模型缺陷;
  2. 动态安检:在运行期对输入与输出的信息流进行实时审查与拦截;
  3. 权限上锁:明确Agent的身份边界,规定其能访问的文件、调用的API,并强制要求支付等核心操作必须由人工确认;
  4. 全链路监控:记录并审计Agent的所有工具调用和数据操作,在异常发生时快速阻断并追溯。

英伟达CEO黄仁勋此前在高盛科技大会上指出:“网络安全很可能成为AI下一个重要的应用场景。”Gartner预测,全球AI安全防护(Securing AI)市场规模将在2027年达到47.83亿美元;IDC也预计,到2030年中国人工智能安全收入将突破340亿元人民币。

三路玩家同台竞技

市场前景引发了资本关注。海外市场上,主打Agent运行时监控的Obsidian Security与HiddenLayer等初创企业接连斩获数千万至上亿美元融资,年度经常性收入呈十倍级爆发。在国内,赛道也已分化出三类不同基因的入局者:

  • 模型厂商(阿里、百度、腾讯、DeepSeek等):安全是自身模型落地的必备底线。它们精通提示词注入防护与对齐微调,但这些功能通常优先服务于自家生态。对于采用多模型架构或自研模型的混合企业客户,单一厂商的原生防护很难形成通用解决方案。
  • 传统网安巨头(360、奇安信、深信服等):手握成熟的政企渠道与安全预算,面临主营业务增速放缓的现实压力,亟需在AI安全赛道寻找第二增长曲线。这类厂商精于边界防护与网络隔离,但在模型层原生风险(如越狱、越权、隐蔽提示词诱导)的技术积累上,并不占绝对优势。
  • AI原生安全初创公司:如瑞莱智慧、信流智能等。这类公司没有历史包袱,能够直接围绕Agent的新特质设计专属防御工具和专利屏障。但在资源和商业渠道上,初创公司尚需面对巨头的挤压,更多倾向于通过技术合作切入大厂生态。

需求与买单之间的温差

尽管海外市场风生水起,但国内AI安全当下仍面临“叫好不叫座”的落差。

目前主流的商业化路径包括定制化安全咨询、软件私有化部署以及按调用量计费的API安全检查接口。然而,企业真正的付费转化速度相对迟缓。

最核心的阻碍在于AI应用本身的渗透深度决定了安全预算的释放节奏。如果企业尚未把高权限的核心业务系统、敏感数据库全面托付给Agent,越权与数据泄露就依然只是“纸面风险”。就像健康预防一样,在没有出现真正的安全危机或强力合规驱动前,多数企业更愿意把有限的预算投向能直接带来业务增长的应用层。

未来撬动这一市场全面爆发的变量主要有两个:一是发生具备行业警示效应的重大安全事故,倒逼企业将安全从“被动防御”转向“刚需开支”;二是监管合规标准的落地,将类似设备强制认证的安全评测,变成各类AI与Agent应用上线不可逾越的“准入门槛”。

在风险显现与预算落地之间的窗口期,围绕Agent的安全卡位战才刚刚拉开序幕。

标签:AI安全Agent大语言模型OpenAI

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

解码快 3.13 倍,端到端只有 1.56 倍:VLM 投机解码的天花板
置顶

解码快 3.13 倍,端到端只有 1.56 倍:VLM 投机解码的天花板

把 MuJoCo 搬上 GPU:MJWarp 迁移的四道闸门与三种不报错的错误
置顶

把 MuJoCo 搬上 GPU:MJWarp 迁移的四道闸门与三种不报错的错误

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
解码快 3 倍,端到端只快 1.5 倍:VLM 推测解码 DSpark 的账怎么算
置顶

解码快 3 倍,端到端只快 1.5 倍:VLM 推测解码 DSpark 的账怎么算

//

24小时热榜

SpaceX 16天内发射第三次美太空军机密任务
TOP1

SpaceX 16天内发射第三次美太空军机密任务

Anthropic旗下Claude自主发现类CRISPR新酶系统
TOP2

Anthropic旗下Claude自主发现类CRISPR新酶系统

3

奥特曼联合国演讲:警惕AI失控,呼吁建立全球监管标准

13小时前
奥特曼联合国演讲:警惕AI失控,呼吁建立全球监管标准
4

匿名模型Space Bunny登顶双榜 实测代码表现亮眼

16小时前
匿名模型Space Bunny登顶双榜 实测代码表现亮眼
5

美FTC主席驳回失控AI辩解:开发者须负责

22小时前
美FTC主席驳回失控AI辩解:开发者须负责
6

TikTok与阿拉巴马州就青少年成瘾指控达成至少1亿美元和解

23小时前
TikTok与阿拉巴马州就青少年成瘾指控达成至少1亿美元和解
7

两项新研究证实土卫二具备探测生命迹象的潜力

23小时前
两项新研究证实土卫二具备探测生命迹象的潜力
8

波音737 MAX曝软件故障:降落时或致自动驾驶失效

23小时前
波音737 MAX曝软件故障:降落时或致自动驾驶失效
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断