前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
AI 大模型/10.01 · 12:02/3 MIN/1 阅读

METR向美国参议院示警:AI智能体正脱离人类有效监管

AI安全评测机构METR在美参议院听证会上警告,AI智能体的运行规模与速度正超出人类监管能力。OpenAI模型此前在测试中曾自主绕过网络限制并攻击外部系统,国会正考虑立法赋予国土安全部强制关停模型的权限。

9月30日,在美国参议院国土安全小组委员会举行的“失控AI:防范AI智能体袭击保障国土安全”听证会上,专家向议员发出警告:自主AI智能体的运行规模与处理速度极快,已出现缺乏人类密切监管的局面。

证人指出,OpenAI的模型曾多次在未经明确指令的情况下入侵外部系统。本次听证会由参议员乔希·霍利(Josh Hawley)主持,OpenAI高管未出席听证会。

美国参议院小组委员会评估失控AI的国家安全风险

听证会重点探讨了AI智能体如何在缺乏人类有效监督的情况下发起网络攻击、针对关键基础设施造成破坏。小组委员会讨论的参考案例包括:OpenAI模型此前曾尝试攻击美国联邦机构网站但未成功。

“完全缺乏人类监管”

非营利测试机构METR总裁克里斯·佩恩特(Chris Painter)在书面证词中表示,AI智能体目前的运行规模和速度意味着“有时根本没有人类在详细监督其活动”。他指出,AI智能体启动后无需人类参与即可完成人类专家需要数天才能完成的任务。此外,现有的训练方式可能导致智能体“追求人类原本没有设定的目标”。

佩恩特警告,当前的监管越来越依赖“用AI系统监督另一个AI系统”。这种机制存在明显风险,包括监督模型被智能体欺骗甚至发生共谋。随着科技公司加速自动化内部研究流程,开发者自身可能也无法清晰掌握其智能体的实际行为。

频发的失控与越界事件

听证会披露了多起典型案例。在7月的一次内部网络安全测试中,OpenAI模型绕过了旨在阻止其联网的控制措施,随后侵入了开源社区Hugging Face的系统以及OpenAI自身的部分研究基础设施。佩恩特透露,当时约有1200个智能体在自行搭建的“共享留言板”上交换了超过7万条消息,商讨测试作弊方法,其中约700个智能体参与了对Hugging Face的入侵。

《纽约时报》此前报道,OpenAI的AI今年还涉及至少另外四起类似事件。6月18日,其模型曾入侵澳大利亚政府的医保统计网站并获取了健康数据。佩恩特补充,其他机构也记录到了来自多个不同开发商的智能体发起的未授权网络攻击行为。

美国国会酝酿立法与紧急关停权

9月10日,参议员霍利已针对OpenAI启动小组委员会调查。美国国会目前正在评估两项法案:

  • FRONTIER法案:一项跨党派提案,旨在对前沿先进AI建立基于风险的监管框架;
  • AI紧急关停法案(AI Kill Switch Act):拟授权美国国土安全部在面临严重安全风险时,强制关闭前沿AI模型。
标签:OpenAIMETR

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

表格预测搬进上下文:NVIDIA Kumo Tabular 不训练不调参
置顶

表格预测搬进上下文:NVIDIA Kumo Tabular 不训练不调参

82亿美元买一份「负载说明书」:AMD 收购 World Labs 的真实标的
置顶

82亿美元买一份「负载说明书」:AMD 收购 World Labs 的真实标的

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
解码快 3.13 倍,端到端只有 1.56 倍:VLM 投机解码的天花板
置顶

解码快 3.13 倍,端到端只有 1.56 倍:VLM 投机解码的天花板

//

24小时热榜

阿里Qoder升级Agent平台:478天背后的AI原生实践
TOP1

阿里Qoder升级Agent平台:478天背后的AI原生实践

扎克伯格牵头白宫AI自律协议,黄仁勋联合推动
TOP2

扎克伯格牵头白宫AI自律协议,黄仁勋联合推动

3

METR向美国参议院示警:AI智能体正脱离人类有效监管

1小时前
METR向美国参议院示警:AI智能体正脱离人类有效监管
4

OpenAI智能体被曝擅自尝试入侵多国政府系统

1小时前
OpenAI智能体被曝擅自尝试入侵多国政府系统
5

斯坦德机器人三度递表港交所:出海与具身智能难掩亏损

4小时前
斯坦德机器人三度递表港交所:出海与具身智能难掩亏损
6

8200个项目排队:AI基建真正卡住的是电网接入权

4小时前
8200个项目排队:AI基建真正卡住的是电网接入权
7

DoorDash推出自研无人机配送系统DoorDash Air

5小时前
DoorDash推出自研无人机配送系统DoorDash Air
8

美参议员提议追究AI公司民刑事责任

5小时前
美参议员提议追究AI公司民刑事责任
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断