前途科技前途科技
  • 洞察
  • 服务
  • 关于
  • AI 资讯
    • 快讯
    • 产品
    • 技术
    • 商业
    • 政策
    • 初创
  • 洞察
  • 资源中心
    • 深度研究
      • AI 前沿
      • 案例研究
      • AI 知识库
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们

开放 AI 安全联盟发布 SAFE 指南,强化智能体安全

技术2026年8月3日· 原作者:Justin Boitano· 6 分钟阅读0 阅读

Open Secure AI Alliance 在 Black Hat 大会上发布 SAFE 指南,通过共享 AI 安全事件与险情信息,把单点防御变为全生态共同防护;同时开源了覆盖多个层级的安全工具。

在拉斯维加斯 Black Hat 大会开幕当天,成员已超过 120 家机构的 Open Secure AI Alliance(开放 AI 安全联盟)发布了新的安全指南,旨在强化智能体(Agent)场景下的 AI 网络安全。

Linux Foundation 今日公布了关于 Shared AI Findings Exchange(SAFE)的征求意见稿(RFC)。这份由联盟工作组起草的指南,提议对 AI 安全事件和“险情”进行保密收集与分析,通知受影响方、识别反复出现的控制失效问题,并发布基于证据的操作建议,以降低系统性风险。

网络安全是一场没有终点的竞赛。联盟成员的共识是:当可信生态开放共享威胁情报时,集体防御能产生倍增效应。SAFE 框架将 AI 安全事件转化为整个生态的共同防护。

联盟成员的开源安全工具

AI 智能体不只是模型,而是包含身份控制、工具调用、护栏、日志和评估的完整系统。联盟成员正围绕这一全栈安全体系贡献开源工具。

NVIDIA 的全栈贡献

NVIDIA 的贡献贯穿整个技术栈:

  • NOOA(NVIDIA Labs 面向对象智能体)研究框架(GitHub),让智能体行为更易测试、追踪、审计和治理。
  • OpenShell 运行时,在智能体层面强制执行安全与隐私控制,限制智能体的可见和操作范围。
  • NVIDIA 开放模型家族——面向智能体 AI 的 Nemotron、面向物理 AI 的 Cosmos、面向机器人的 Isaac GR00T、面向医疗健康的 BioNeMo,以及全球最大的商用自动驾驶模型 Alpamayo,均开放权重、数据集和训练方法。
  • verified agent skills(经认证的智能体技能),提供可移植的指令集,经过目录化、风险扫描(如提示注入、工具投毒)、加密签名和技能卡文档化,让防御者能确切知道技能的作用与来源。
  • NeMo Guardrails、NeMo Anonymizer 和 NeMo Safe Synthesizer 用于安全策略执行、敏感数据保护和隐私安全合成数据。
  • Garak,NVIDIA 开源的 LLM 漏洞扫描器,可在模型上线前检查数据泄露、提示注入和越狱场景。

其他联盟成员的贡献

  • 身份与权限:Okta 开发智能体身份与访问参考实现;Palo Alto Networks 开源 Agent Guard 与 Agent Watch;Red Hat 主导的 asago 项目将 NIST、OWASP、欧盟 AI 法案等治理要求直接映射到智能体运行时行为。
  • 框架与工具:Amazon 以新成员身份贡献开源 Strands Agents 工具包及授权语言 Cedar;Capital One 开源 VulnHunter;Cloudflare 提供 Vulnerability Discovery Harness 技能;Microsoft AI Red Team 开源 PyRIT、RAMPART 和 Clarity、ASSERT;Wiz 开源 Atlas 自主漏洞研究引擎;Visa 贡献了 Visa Vulnerability Agentic Harness。
  • 安全模型:Cisco 发布 DefenseClaw 代理治理层和 Antares 安全小语言模型;CrowdStrike 基于 NVIDIA Nemotron Nano 微调网络防御模型(内部测试在生成调查查询时准确率达 96%);Mistral 发布 Shieldstral 多模态安全分类器;Perplexity 开源 Numbat;Uber 开源 ADR(智能体检测与响应系统,每天处理超 20 万会话)。
  • 可用性与韧性:LangChain 在 Deep Agents、LangGraph 和 LangChain 框架中加入重试、安全恢复和模型回退能力;Veeam 通过 Kanister 帮助保护 Kubernetes 上的 AI 数据与工作负载。

Open Secure AI Alliance 标识

更多贡献将持续发布。有兴趣加入联盟的机构可了解更多。


原文链接:NVIDIA AI Blog
本文由前途科技编辑整理

标签:AI安全开源智能体NVIDIA

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

会打字,就能"拍"电影:ScriptTask 开放限量内测
置顶

会打字,就能"拍"电影:ScriptTask 开放限量内测

//

24小时热榜

OpenAI 反击 Apple 诉讼:指控失实且不必要
TOP1

OpenAI 反击 Apple 诉讼:指控失实且不必要

OpenAI 模型在第三方安全测试中越界访问互联网
前途科技前途科技
服务关于快讯技术商业报告
前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
TOP2

OpenAI 模型在第三方安全测试中越界访问互联网

3

OpenAI 为 10 万研究者免费提供前沿模型

2小时前
OpenAI 为 10 万研究者免费提供前沿模型
4

ChatGPT教育插件上线,覆盖K-12与高校

2小时前
ChatGPT教育插件上线,覆盖K-12与高校
5

Anthropic 任命首位首席全球事务官

1小时前
Anthropic 任命首位首席全球事务官
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断