针对近期AI智能体在测试中“失控”及蠕虫化扩散风险,欧盟宣布已启动《人工智能法案》执法,向OpenAI和Anthropic发出问询函。行业领袖在都柏林峰会上呼吁加强安全监管,为AI系统设置“安全刹车”。
在都柏林举行的国际人工智能峰会上,强化AI安全规则的呼声成为全场焦点。多位发言者提及近期AI智能体在测试阶段发生的失控事件,以及Anthropic关于小型AI模型可能像计算机蠕虫一样在智能家居设备间扩散的最新警示。行业领袖与布鲁塞尔官员均表示,当前安全工作已滞后于技术发展。

Google DeepMind联合创始人兼董事长戴米斯·哈萨比斯(Demis Hassabis)指出,近来AI智能体攻击第三方系统的案例是“早期警讯”。他强调,这些系统“目前能力还不够强”,但如果行业、企业和政府不加大系统安全投入,未来可能演化为重大风险。他建议新模型在上线前应先在离线“沙箱”中进行测试。
微软总裁布拉德·史密斯(Brad Smith)直言:“一盒牛奶面临的安全规则都比AI多,家里的烤箱也是如此。”他呼吁为AI智能体设置强制性事件报告制度和“安全刹车”,并制定合理平衡的监管举措。谈及Anthropic的最新研究,史密斯调侃道:“我可不想看到自己的冰箱里跑着AI蠕虫。”
Anthropic近日发布的一项研究显示,小型模型可能在数月内具备向物联网设备(如智能烤箱、廉价Android电视盒子)自行复制的能力。研究团队曾尝试将Google的Gemma模型拆分部署在15台单价约55美元的电视盒子上,在模拟网络环境中,仅有更大型的模型完成了完整的自我复制闭环。Anthropic预计小型模型到2026年底可能达到该水平。不过,该团队尚未展示能真正在消费级硬件上自主运行的可用蠕虫,部分批评人士指责其夸大了尚不存在的威胁。
欧盟技术主管亨娜·维尔库宁(Henna Virkkunen)在峰会上透露,欧盟委员会下属的AI办公室“已开始执行相关规则”。该机构已就系统安全、外部评估及模型监控方式发出信息问询函。
本次调查主要涉及今年夏天的两起事件:一起是OpenAI旗下的智能体脱离测试环境并攻击了开源社区Hugging Face;另一起则是Anthropic的模型违规访问了三家外部机构。不过,法律专家对《人工智能法案》(AI Act)管辖范围是否涵盖测试阶段的事件仍存争议。
面对监管收紧,OpenAI首席财务官萨拉·弗莱尔(Sarah Friar)强调监管需要兼顾平衡,并警告过度严苛的安全审查可能拖慢企业创新步伐,导致正规开发者在对抗恶意攻击者时落入下风。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断