多智能体AI安全研究获千万美元资助

Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation、英国 Advanced Research and Invention Agency（ARIA），并由 Google.org 支持，宣布发起一项最高 1000 万美元的技术研究资助，面向全球研究人员开放。

过去十年，AI 安全的重点一直放在单个模型的能力与可靠性上。如今，由不同组织开发的上百万个 AI 智能体，很快就会在数字环境中相互通信、协商和交易。当这些系统交互时，必须确保安全且可预测。这一转变创造了一个关键机会：在早期阶段就强化整个 AI 生态的安全与稳定性。

这项资助聚焦于大规模多智能体 AI 系统在群体层面的行为研究，旨在提供框架来理解和缓解潜在风险。目标是解决当独立系统跨不同网络交互时产生的“看不见”的安全问题。

智能体生态为何重要

当大量 AI 智能体相互交互时，新的集体行为和能力可能突然涌现。目前，我们缺乏预测、测量和监控这些转变的工具。大多数安全评估只针对孤立的模型。然而，正如 DeepMind 团队 和 其他研究者 此前指出的，交互中的自主智能体会产生复杂且难以预料的“涌现”行为。

由于这是一个全新的研究领域，理解这些转变如何发生至关重要。例如，它们是否会引发不可预测的经济活动浪潮，或带来全新的安全挑战？研究如何管理系统层面的行为，正是本次资助的核心目标。

推动多智能体安全研究前沿

尽管多智能体安全的基础框架已经存在，但这些系统的快速演进要求研究立即大规模扩展。DeepMind 在 2025 年的研究 中建立了理解交互的框架，其最近的关于 AI 智能体陷阱 的工作则探索了智能体在对抗环境中的脆弱性。现在，速度必须加快——多智能体交互的复杂性正在超越现有安全模型。

本次资助旨在通过支持全球独立研究人员网络来加速进展。多元化社区对于确保安全标准透明且可靠至关重要。

这一努力也推进了 Schmidt Sciences 的 可信 AI 科学 和 AI 智能体 项目，以及 ARIA 的 扩展信任 计划——后者致力于解锁新型网络-物理多智能体协调。

协作行动号召

没有哪个实验室能单独解决多智能体安全问题。我们邀请学术界和独立研究人员围绕四个优先领域提交提案：

• 沙盒与测试平台：构建逼真且可复现的环境，用于评估、比较和加速多智能体安全各领域的进展，包括虚拟市场、模拟生态系统和多组织工作流。
• 智能体网络科学：理解交互式智能体群体的安全相关属性，包括调查集体能力如何涌现和扩展、网络如何失效或变得不稳定，以及如何检测危险且不可预期的群体级别属性。
• 强化智能体基础设施：对跨平台安全交互所需的身份、声誉和承诺协议进行压力测试。
• 监督与控制：开发监控已部署智能体群体并在规模上减轻集体危害的方法。

如何参与

我们邀请研究人员查阅 征稿通知，并共同为多智能体未来奠定安全基础。申请截止日期为 2026 年 8 月 8 日，获奖者预计于 2026 年秋季公布。

更多技术细节和申请流程，请访问 申请门户。

---

原文链接：Google DeepMind
本文由前途科技编辑整理