Anthropic 宣布为前沿 AI 评估非营利机构 METR 开放准员工级系统访问权限,允许其深入内部系统审查风险并自主发布评估报告。此举确立了三级评估合作框架,旨在推动前沿 AI 治理机制的透明化与规范化。
Anthropic 日前宣布,已开始为前沿 AI 模型评估非营利机构 METR 的团队提供“准员工级”(employee-like)内部访问权限。此前,Anthropic 承诺推进更强有力的第三方独立评估,并签署了白宫超级智能协议,承诺与独立外部审计或评估机构建立合作。
根据安排,METR 将公开发布其风险评估结果。过去一年中,Anthropic 与 METR 开展了多次风险报告审查合作。与此同时,Anthropic 还在与 SecureBio 以及埃森哲(Accenture)展开评估合作,并正与 Hugging Face 等多家机构进行早期沟通。
随着 AI 模型能力不断提升,行业亟需更严格的安全防护机制与更具挑战性的风险评估。企业需要在决策上对公众负责,但又无法公开所有安全相关信息——部分数据可能被恶意行为者利用,或是涉及算力、训练等商业机密。
为此,Anthropic 选择向第三方评估机构开放深层信息权限,由其提供关于模型开发潜在风险的事实证据与合理推断,从而弥合外部评估者与前沿 AI 企业之间的信息差。
在评估前沿大语言模型时,评估机构通常需满足四项核心标准:
这种机制与银行监管逻辑类似。大型金融机构对自身风险暴露的了解往往远超外部机构,因此监管方会向大型银行派驻常驻审查员,在风险外溢前进行前置排查。这对 AI 行业而言,同样是迈向强有力的安全监管体系的关键一步。
目前,Anthropic 已为 6 名 METR 员工配置了公司硬件设备、工位,并开通了内部系统工具访问权限,其准入级别与 Anthropic 自身的风险评估团队基本持平。除少数明确限制的范畴(如客户隐私数据、律师保密特权信息、模型底层架构等)外,Anthropic 员工被鼓励与他们互通信息,待遇与内部安全对齐团队无异。
METR 将自主发布关于 Anthropic 风险水平、安全事件或研发实践的分析报告。Anthropic 无权否决其发布,但有权要求对特定敏感范畴的信息进行脱敏。METR 可以公开说明审查修改的性质,并就脱敏是否合理发表独立看法。
双方的合作受法律协议约束,仅限指定的少数团队成员参与。METR 内部未授权人员及其他合作研究员均无法接触相关数据,确保在安全合规的前提下完成嵌入式评估。
为与更多机构推进合作,Anthropic 设立了三级权限机制:
在其他合作方进展方面,SecureBio 在完成并发布试点审查后,正在审查 Anthropic 最新发布的8 月风险报告中的化学与生物武器章节,后续有望升级权限;Anthropic 与埃森哲及 Faculty 也在推进一项雄心勃勃的合作项目,涵盖红队攻防测试、对齐评估和防护验证等多项内容。
Anthropic 表示,自愿引入嵌入式第三方评估是促进行业透明的重要举措,并呼吁前沿 AI 领域的其他开发机构采取相同标准。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断