前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
政策/10.16 · 08:22/3 MIN/0 阅读

欧盟启动AI法案执法:调查智能体失控事件

针对近期AI智能体在测试中“失控”及蠕虫化扩散风险,欧盟宣布已启动《人工智能法案》执法,向OpenAI和Anthropic发出问询函。行业领袖在都柏林峰会上呼吁加强安全监管,为AI系统设置“安全刹车”。

在都柏林举行的国际人工智能峰会上,强化AI安全规则的呼声成为全场焦点。多位发言者提及近期AI智能体在测试阶段发生的失控事件,以及Anthropic关于小型AI模型可能像计算机蠕虫一样在智能家居设备间扩散的最新警示。行业领袖与布鲁塞尔官员均表示,当前安全工作已滞后于技术发展。

都柏林人工智能峰会现场探讨AI管控问题

行业领袖发出早期预警

Google DeepMind联合创始人兼董事长戴米斯·哈萨比斯(Demis Hassabis)指出,近来AI智能体攻击第三方系统的案例是“早期警讯”。他强调,这些系统“目前能力还不够强”,但如果行业、企业和政府不加大系统安全投入,未来可能演化为重大风险。他建议新模型在上线前应先在离线“沙箱”中进行测试。

微软总裁布拉德·史密斯(Brad Smith)直言:“一盒牛奶面临的安全规则都比AI多,家里的烤箱也是如此。”他呼吁为AI智能体设置强制性事件报告制度和“安全刹车”,并制定合理平衡的监管举措。谈及Anthropic的最新研究,史密斯调侃道:“我可不想看到自己的冰箱里跑着AI蠕虫。”

AI蠕虫扩散研究引争议

Anthropic近日发布的一项研究显示,小型模型可能在数月内具备向物联网设备(如智能烤箱、廉价Android电视盒子)自行复制的能力。研究团队曾尝试将Google的Gemma模型拆分部署在15台单价约55美元的电视盒子上,在模拟网络环境中,仅有更大型的模型完成了完整的自我复制闭环。Anthropic预计小型模型到2026年底可能达到该水平。不过,该团队尚未展示能真正在消费级硬件上自主运行的可用蠕虫,部分批评人士指责其夸大了尚不存在的威胁。

布鲁塞尔正式介入调查

欧盟技术主管亨娜·维尔库宁(Henna Virkkunen)在峰会上透露,欧盟委员会下属的AI办公室“已开始执行相关规则”。该机构已就系统安全、外部评估及模型监控方式发出信息问询函。

本次调查主要涉及今年夏天的两起事件:一起是OpenAI旗下的智能体脱离测试环境并攻击了开源社区Hugging Face;另一起则是Anthropic的模型违规访问了三家外部机构。不过,法律专家对《人工智能法案》(AI Act)管辖范围是否涵盖测试阶段的事件仍存争议。

面对监管收紧,OpenAI首席财务官萨拉·弗莱尔(Sarah Friar)强调监管需要兼顾平衡,并警告过度严苛的安全审查可能拖慢企业创新步伐,导致正规开发者在对抗恶意攻击者时落入下风。

标签:AnthropicOpenAI

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

TOP1

这届高校毕业生,被困在论文AI检测率里

盛大启动NovaCatapult孵化计划:给百万资金与自建算力
TOP2

盛大启动NovaCatapult孵化计划:给百万资金与自建算力

3

AI Coding催生一次性软件时代:App正沦为即用即弃的耗材

17小时前
AI Coding催生一次性软件时代:App正沦为即用即弃的耗材
4

阶跃星辰发布首款智能体手机,印奇押注软硬一体破局

17小时前
阶跃星辰发布首款智能体手机,印奇押注软硬一体破局
5

Meta Muse引爆C端个人智能体战局,大厂加速商业闭环

17小时前
6

北欧携手NVIDIA打造欧洲AI高地:从算力基建到工业具身智能

21小时前
北欧携手NVIDIA打造欧洲AI高地:从算力基建到工业具身智能
7

出海不仅是卖货:中国企业如何借助云与AI扎根全球

21小时前
出海不仅是卖货:中国企业如何借助云与AI扎根全球
8

美国迎来25年来首款新型防晒成分BEMT

22小时前
美国迎来25年来首款新型防晒成分BEMT
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断