前途科技
  • 科技
  • AI
    • AI 前沿技术
    • Agent生态
    • AI应用场景
    • AI 行业应用
  • 初创
  • 报告
  • 学习中心
    • 编程与工具
    • 数据科学与工程
我的兴趣
前途科技前途科技
Font ResizerAa
站内搜索
Have an existing account? Sign In
Follow US
Copyright © 2024 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号
AI

AI恶意攻击:迫在眉睫

NEXTECH
Last updated: 2025年8月13日 上午6:52
By NEXTECH
Share
18 Min Read
SHARE

“`html

honey-trap.jpg?resize=1200,600

AI智能体:网络安全的隐形杀手?

人工智能代理(AI Agent)正席卷AI产业。它们能规划、推理,执行预约会议、订购杂货甚至远程操控电脑修改设置等复杂任务。然而,这种强大的能力也使其成为网络攻击的利器,轻易识别脆弱目标,入侵系统,窃取宝贵数据。

目前,大规模利用AI智能体进行网络犯罪尚未泛滥,但研究人员已证实其具备发动复杂攻击的能力(例如Anthropic观察到其Claude大型语言模型成功复制了窃取敏感信息的攻击)。网络安全专家警告,此类攻击即将蔓延至现实世界。

Malwarebytes安全专家Mark Stockley断言:“我认为最终大多数网络攻击都将由AI智能体实施,这只是时间问题。”

虽然我们对AI智能体带来的网络安全威胁有所了解,但现实世界中的检测方法却尚不明确。Palisade Research研发了名为“LLM Agent Honeypot”的系统,旨在捕捉试图入侵的AI智能体。该系统设置了伪装成政府和军事机构的诱饵服务器,以此吸引攻击者。研究团队希望通过追踪现实世界的攻击企图,建立预警系统,并在AI威胁成为严重问题之前开发有效的防御措施。

You Might Also Like

AI 能耗梦醒
企业如何应对自主AI助理时代
Anthropic颠覆认知:给AI模型“松绑”反而更听话,提升智能体性能的实践与思考
Apache Gravitino: 统一元数据与血缘,赋能Data+AI时代数据治理

Palisade研究主管Dmitrii Volkov解释道:“我们的目标是将理论担忧落地验证。我们将密切关注攻击数量的剧烈增长,一旦发生,我们将知道安全格局已经改变。未来几年,我预计我们将看到自主黑客AI智能体被指令:‘这是你的目标,去入侵它。’ ”

AI智能体对网络罪犯极具吸引力。它们比雇佣专业黑客便宜得多,且能比人类更快、更大规模地策划攻击。Stockley指出,虽然网络安全专家认为勒索软件攻击(最赚钱的类型)相对罕见,因为需要相当专业的人力,但未来这些攻击可能会外包给AI智能体。“如果你能将目标选择委托给AI智能体,那么勒索软件的规模将呈指数级增长,这是目前无法实现的。如果我能复制一次攻击,那么复制一百次只是金钱问题。”

此外,AI智能体比常用的黑客机器人更聪明。机器人是简单的自动化程序,遵循预设脚本,难以适应意外情况。而AI智能体不仅能调整攻击策略,还能躲避检测,这是有限脚本程序无法做到的。Volkov表示:“它们可以分析目标,猜测最佳入侵方式,这是普通机器人无法企及的。”

自去年十月上线以来,“LLM Agent Honeypot”记录了超过1100万次访问尝试,大部分来自好奇的人类和机器人。但其中,研究人员发现了8个潜在的AI智能体,并确认了其中两个分别来自香港和新加坡。

Volkov推测:“我们猜测这些确认的AI智能体是人类直接发起的实验,目的是‘进入互联网,尝试为我入侵一些有趣的东西’。”研究团队计划将诱饵系统扩展到社交媒体平台、网站和数据库,以吸引更广泛的攻击者,包括垃圾邮件机器人和网络钓鱼AI智能体,从而分析未来的威胁。

为了识别哪些访客是LLM驱动的AI智能体,研究人员在诱饵系统中嵌入了提示注入技术。这种攻击旨在通过发出新指令和提出需要类人智能才能回答的问题来改变AI智能体的行为。这种方法对普通机器人无效。

例如,一个注入的提示要求访客返回命令“cat8193”以获得访问权限。如果访客正确执行指令,研究人员会检查响应时间。LLM的响应速度远快于人类阅读请求并输入答案的时间(通常低于1.5秒)。两个确认的AI智能体都通过了测试,而其他六个只输入了命令,但未达到识别为AI智能体的响应时间。

专家们仍在评估AI智能体发动的攻击何时会更加普遍。Malwarebytes在其2025年恶意软件现状报告中将AI智能体列为新的网络安全威胁,Stockley认为,我们可能在今年就会进入AI智能体主导攻击的时代。

趋势科技高级威胁研究员Vincenzo Ciancaglini表示,虽然常规AI智能体仍处于早期阶段,恶意使用AI智能体更是如此,但它比两年前的LLM领域更加“蛮荒”。他赞扬了Palisade Research的方法:“基本上是先黑客攻击试图黑客攻击你的AI智能体。虽然目前我们看到的是AI智能体尝试侦察,但我们不确定AI智能体何时能够自主执行完整的攻击链。这是我们正在密切关注的。”

他补充道,恶意AI智能体可能先用于情报收集,然后发展到简单的攻击,最终发展到复杂的攻击,这与AI智能体本身变得更复杂和可靠同步进行。但也可能出现一夜之间犯罪使用的爆炸式增长:“这就是现在AI发展的神奇之处。”

亚马逊网络服务首席信息安全官Chris Betz表示,防御AI智能体网络攻击的人应该记住,目前AI更多的是现有攻击技术的加速器,而不是从根本上改变攻击性质的东西。“某些攻击可能更容易实施,因此数量更多;但是,检测和响应这些事件的基础仍然相同。”

苏黎世联邦理工学院博士生Edoardo Debenedetti指出,AI智能体也可以用于检测漏洞和保护系统免受入侵。如果友好的AI智能体无法找到系统的任何漏洞,那么恶意方使用的类似能力的AI智能体也不太可能找到任何漏洞。

伊利诺伊大学厄巴纳-香槟分校助理教授Daniel Kang及其团队构建了一个基准来评估AI智能体发现和利用现实世界漏洞的能力。他们发现,当前的AI智能体成功利用了高达13%的漏洞,而这些漏洞它们事先并不知情。如果向AI智能体提供漏洞的简短描述,成功率将提高到25%,这表明AI系统能够识别和利用弱点,即使没有经过专门训练。普通的机器人显然会做得更差。

该基准提供了一种评估这些风险的标准化方法,Kang希望它能够指导更安全的AI系统开发。“我希望人们在AI出现‘ChatGPT时刻’之前,能够更积极地应对AI和网络安全的潜在风险。我担心人们只有在遭受重创后才会意识到这一点。”

“`

Share This Article
Email Copy Link Print
Previous Article Canalys:2025年Q2全球平板电脑出货量3900万台,同比增长9%
Next Article 色彩斑斓的缠绕循环 AI虚假信息追踪指数
Leave a Comment

发表回复 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

最新内容
20251205174331374.jpg
家的定义与核心价值:探索现代居住空间的意义
科技
20251202135921634.jpg
英伟达20亿美元投资新思科技,AI芯片设计革命加速
科技
20251202130505639.jpg
乌克兰国家AI模型选定谷歌Gemma,打造主权人工智能
科技
20251202121525971.jpg
中国开源AI新突破:DeepSeek V3.2模型性能比肩GPT-5
科技

相关内容

Dify Plugin Daemon 主从热备架构拓扑图
Agent生态

Dify Plugin Daemon高可用部署实践:解决插件不加载与稳定性挑战

2025年11月2日
Multiverse Computing 创始人
AI

边缘AI推理:鸟类大脑模型

2025年9月4日
20241204010345407.png
AI

AI编排器挑战巨头,实现跨平台协作

2024年12月4日
加里·夏皮罗是 CTA 的首席执行官,也是 CES 的创始人。
AI

CES 2025 科技展攻略

2025年1月28日
Show More
前途科技

前途科技是一个致力于提供全球最新科技资讯的专业网站。我们以实时更新的方式,为用户呈现来自世界各地的科技新闻和深度分析,涵盖从技术创新到企业发展等多方面内容。专注于为用户提供高质量的科技创业新闻和行业动态。

分类

  • AI
  • 初创
  • 学习中心

快速链接

  • 阅读历史
  • 我的关注
  • 我的收藏

Copyright © 2025 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号

前途科技
Username or Email Address
Password

Lost your password?

Not a member? Sign Up