AI 攻击的浪潮：您的安全运营中心准备好了吗？
在当今数字化时代，人工智能（AI）技术正以前所未有的速度改变着我们的生活和工作方式。然而，AI 的快速发展也带来了新的安全挑战，其中最令人担忧的莫过于 AI 攻击的兴起。
根据 CrowdStrike 的 2024 年全球威胁报告，77% 的企业已经成为 AI 攻击的受害者，而网络犯罪分子突破防御的时间也创下了新的记录，仅需 2 分钟 7 秒。这意味着，您的安全运营中心（SOC）被攻击并非“是否”的问题，而是“何时”的问题。
随着云入侵事件在过去一年中激增 75%，以及五分之二的企业遭受 AI 相关的安全漏洞，每个 SOC 领导者都必须面对一个残酷的现实：您的防御必须与攻击者的技术水平同步发展，否则将面临被无情、资源丰富的对手超越的风险。这些对手可以在几秒钟内改变策略，成功实施攻击。
攻击者正在利用生成式 AI（Gen AI）、社会工程学、交互式入侵活动以及对云漏洞和身份的全面攻击，实施了一套旨在利用 SOC 弱点并从中获利的策略。CrowdStrike 的报告发现，国家级攻击者正在将基于身份和社会工程学的攻击提升到一个新的强度水平。国家级攻击者长期以来一直使用机器学习来策划网络钓鱼和社会工程活动。现在，他们的重点是窃取身份验证工具和系统，包括 API 密钥和一次性密码（OTP）。
“我们看到，威胁行为者一直在专注于……窃取合法身份。以合法用户的身份登录。然后潜伏下来，通过使用合法工具来保持低调，不被发现，”CrowdStrike 的高级副总裁 Adam Meyers 在最近的一次简报中告诉 VentureBeat。
网络犯罪团伙和国家级网络战团队正在不断改进他们的技术，发起基于 AI 的攻击，旨在破坏身份和访问管理（IAM）信任的基础。通过利用深度伪造语音、图像和视频数据生成的虚假身份，这些攻击旨在突破 IAM 系统，并在目标组织中制造混乱。
下图来自 Gartner，它展示了为什么 SOC 团队现在需要为 AI 攻击做好准备，而这些攻击通常以虚假身份攻击的形式出现。
来源：Gartner 2025 年身份和访问管理规划指南。于 2024 年 10 月 14 日发布。文档 ID：G00815708。
“随着 Gen AI 的不断发展，我们也必须了解它对网络安全的意义，”Ivanti 的首席信息官兼高级副总裁 Bob Grazioli 最近告诉 VentureBeat。
“毫无疑问，Gen AI 为网络安全专业人员提供了强大的工具，但也为攻击者提供了先进的功能。为了应对这一挑战，我们需要制定新的策略，防止恶意 AI 成为主要的威胁。这份报告将帮助组织获得必要的洞察力，以领先于高级威胁并有效地保护其数字资产，”Grazioli 说。
最近的一项 Gartner 调查显示，73% 的企业部署了数百甚至数千个 AI 模型，而 41% 的企业报告了 AI 相关的安全事件。根据 HiddenLayer 的数据，十分之七的公司经历过 AI 相关的漏洞，其中 60% 与内部威胁有关，27% 与针对 AI 基础设施的外部攻击有关。
Palo Alto Networks 的首席技术官 Nir Zuk 在今年早些时候接受 VentureBeat 采访时直言不讳地指出：机器学习假设攻击者已经潜入内部，这要求对隐蔽攻击做出实时响应。
卡内基梅隆大学的研究人员最近发表了“大型语言模型风险和 AI 防护措施的现状”一文，解释了大型语言模型（LLM）在关键应用中的漏洞。该论文强调了偏差、数据中毒和不可重复性等风险。随着安全领导者和 SOC 团队越来越多地合作制定新的模型安全措施，这些研究人员倡导的指南需要成为 SOC 团队培训和持续发展的一部分。这些指南包括部署分层保护模型，这些模型集成了检索增强生成（RAG）和态势感知工具，以应对敌对的利用。
SOC 团队还承担着支持新一代 AI 应用的重任，包括快速增长的代理 AI 的使用。加州大学戴维斯分校的研究人员最近发表了“AI 代理的安全性”一文，该研究考察了 SOC 团队在 AI 代理执行现实世界任务时面临的安全挑战。该研究对数据完整性违规和模型污染等威胁进行了分析，这些威胁可能会损害代理的决策和行动。为了应对这些风险，研究人员提出了防御措施，例如让 SOC 团队启动和管理沙箱（限制代理的操作范围）以及加密工作流，以保护敏感的交互，从而创建一个受控的环境来遏制潜在的漏洞。
SOC 团队面临着警报疲劳、关键员工流动、威胁信息不完整和不一致以及旨在保护边界而不是身份的系统等挑战，在攻击者不断增长的 AI 武库面前处于劣势。
金融服务、保险和制造业的 SOC 领导者在匿名条件下告诉 VentureBeat，他们的公司正处于围攻状态，每天都会收到大量高风险警报。
以下技术重点介绍了 AI 模型可能被破坏的方式，一旦被破坏，它们就会提供敏感数据，并可用于向企业内的其他系统和资产转移。攻击者的策略集中在建立立足点，从而实现更深层的网络渗透。
- 数据中毒：攻击者将恶意数据引入模型的训练集中，以降低性能或控制预测。根据 Gartner 2023 年的一份报告，近 30% 的 AI 驱动的组织，尤其是金融和医疗保健领域的组织，都经历过此类攻击。后门攻击将特定触发器嵌入训练数据中，导致模型在现实世界输入中出现这些触发器时行为异常。麻省理工学院 2023 年的一项研究强调了随着 AI 采用率的提高，此类攻击的风险越来越大，使得对抗性训练等防御策略越来越重要。
- 规避攻击：这些攻击会改变输入数据，以导致错误预测。轻微的图像失真会导致模型将物体错误分类。一种流行的规避方法，即快速梯度符号法（FGSM），使用对抗性噪声来欺骗模型。自动驾驶汽车行业的规避攻击引发了安全问题，例如将修改后的停车标志误认为让行标志。2019 年的一项研究发现，在停车标志上贴一个小贴纸会导致自动驾驶汽车误认为是限速标志。腾讯的 Keen 安全实验室使用路标贴纸欺骗了特斯拉 Model S 的自动驾驶系统。这些贴纸将汽车引导到错误的车道，表明即使是微小的、精心制作的输入更改也可能很危险。对自动驾驶汽车等关键系统的对抗性攻击是现实世界的威胁。
- 利用 API 漏洞：模型窃取和其他对抗性攻击对公共 API 非常有效，对于获取 AI 模型输出至关重要。许多企业容易受到攻击，因为它们缺乏强大的 API 安全性，正如 2022 年 BlackHat 大会上提到的那样。Checkmarx 和 Traceable AI 等供应商正在自动化 API 发现并终止恶意机器人，以减轻这些风险。必须加强 API 安全性，以维护 AI 模型的完整性和保护敏感数据。
- 模型完整性和对抗性训练：如果没有对抗性训练，机器学习模型可能会被操纵。然而，研究人员表示，虽然对抗性训练提高了鲁棒性，但它需要更长的训练时间，并且可能会以准确性为代价来换取弹性。尽管存在缺陷，但它是对抗对抗性攻击的重要防御措施。研究人员还发现，混合云环境中机器身份管理不善会增加对机器学习模型的对抗性攻击的风险。
- 模型反转：这种类型的攻击允许攻击者从模型的输出中推断出敏感数据，当模型在机密数据（如健康或财务记录）上进行训练时，会带来重大风险。黑客会查询模型，并使用响应来反向工程训练数据。Gartner 在 2023 年警告说：“模型反转的滥用会导致严重的隐私侵犯，尤其是在医疗保健和金融领域，攻击者可以从 AI 系统中提取患者或客户信息。”
- 模型窃取：重复的 API 查询可用于复制模型的功能。这些查询帮助攻击者创建一个与原始模型行为类似的替代模型。AI Security 指出：“AI 模型通常通过 API 查询来反向工程其功能，这对专有系统构成重大风险，尤其是在金融、医疗保健和自动驾驶汽车等领域。”随着 AI 的应用越来越广泛，这些攻击正在增加，引发了人们对 AI 模型中知识产权和商业秘密的担忧。
SOC 团队需要全面考虑看似孤立的 AL/ML 模型漏洞如何迅速升级为企业范围的网络攻击。SOC 领导者需要主动识别哪些安全和风险管理框架最适合其公司的业务模式。NIST AI 风险管理框架和 NIST AI 风险管理框架和手册是不错的起点。
VentureBeat 发现，以下步骤通过加强防御并提高模型可靠性来取得了成效，这是保护公司基础设施免受 AI 攻击的两个关键步骤：
致力于持续强化模型架构。部署门控层以过滤恶意提示，并将模型绑定到经过验证的数据源。在预训练阶段解决潜在的弱点，以便您的模型能够抵御最先进的对抗性策略。
永远不要停止加强数据完整性和来源：永远不要假设所有数据都是可信的。通过严格的检查和对抗性输入测试来验证数据的来源、质量和完整性。通过确保只有干净、可靠的数据进入管道，SOC 可以尽其所能维护输出的准确性和可信度。
整合对抗性验证和红队测试：不要等到攻击者发现您的盲点。不断地对模型进行压力测试，以应对已知和新出现的威胁。使用红队来发现隐藏的漏洞，挑战假设并推动立即修复，确保防御与攻击者策略同步发展。
增强威胁情报集成：SOC 领导者需要支持 DevOps 团队，并帮助保持模型与当前风险同步。SOC 领导者需要为 DevOps 团队提供稳定的更新威胁情报流，并使用红队模拟现实世界的攻击者策略。
提高并持续执行供应链透明度：在威胁在代码库或管道中扎根之前识别和消除它们。定期审核存储库、依赖项和 CI/CD 工作流。将每个组件视为潜在风险，并使用红队来暴露隐藏的漏洞，从而培养一个安全、透明的供应链。
采用隐私保护技术和安全协作：利用联邦学习和同态加密等技术，让利益相关者在不泄露机密信息的情况下做出贡献。这种方法拓宽了 AI 专业知识，而不会增加暴露风险。
实施会话管理、沙箱和零信任，从微分段开始：通过分段会话、在沙箱环境中隔离有风险的操作以及严格执行零信任原则来锁定网络中的访问和移动。在零信任模型下，没有用户、设备或进程在未经验证的情况下被默认信任。这些措施抑制了横向移动，将威胁控制在起源点。它们保护了系统的完整性、可用性和机密性。总的来说，它们已被证明在阻止高级对抗性 AI 攻击方面有效。
“CISO 和 CIO 的一致性将在 2025 年至关重要，”Grazioli 告诉 VentureBeat。“高管需要整合资源——预算、人员、数据和技术——以增强组织的安全态势。缺乏数据可访问性和可见性会削弱 AI 投资。为了解决这个问题，必须消除 CIO 和 CISO 等部门之间的数据孤岛。”
“在未来一年，我们需要将 AI 视为员工，而不是工具，”Grazioli 指出。“例如，提示工程师现在必须预测通常会向 AI 提出的问题类型，这突出了 AI 在日常业务活动中已经变得多么根深蒂固。为了确保准确性，AI 需要像其他员工一样接受培训和评估。”
