“`html

AI智能体：便捷与风险的微妙平衡

AI智能体正席卷科技行业。不同于简单的聊天机器人，这些突破性的系统能够跳出对话窗口的限制，在多个应用程序间自由穿梭，执行诸如安排会议或在线购物等复杂任务，只需简单的用户指令即可完成。然而，随着AI智能体能力的不断增强，一个关键问题浮出水面：我们究竟愿意放弃多少控制权，以及为此付出怎样的代价？

几乎每周都有新的AI智能体框架和功能发布，各大公司纷纷宣称这项技术能够简化我们的生活，完成我们无法或不愿完成的任务。例如，Anthropic的Claude系统具备“电脑使用”功能，可以直接操作电脑屏幕；而Manus这样的“通用AI智能体”则可以利用各种在线工具完成各种任务，例如客户调研或行程规划。

这些发展标志着人工智能的重大进步：系统能够在无需直接人工监督的情况下在数字世界中运行。这无疑令人兴奋，谁不希望得到帮助来处理繁琐的工作或没有时间完成的任务呢？未来，AI智能体或许能以多种形式为我们提供帮助，例如提醒你询问同事孩子篮球比赛的情况，或者为你的演示文稿寻找合适的图片。不出几周，它们甚至可能帮你制作演示文稿。

AI智能体也蕴藏着改变人们生活的巨大潜力。对于行动不便或视力受限的人来说，智能体可以通过简单的语音指令完成在线任务。在紧急情况下，智能体还可以协调大量人群的同步援助，例如在灾难发生时引导交通，帮助司机快速撤离危险区域。

然而，在追求更高自主性的过程中，我们也必须正视AI智能体带来的重大风险。我们在Hugging Face的研究团队多年来一直致力于这些系统的实施和研究，我们最近的研究结果表明，AI智能体的开发可能正站在一个非常严重的错误的边缘。

逐步放弃控制权

问题的核心在于AI智能体最令人兴奋之处：AI系统越自主，我们放弃的人工控制就越多。AI智能体被设计得非常灵活，能够完成各种无需直接编程的任务。

许多系统之所以能够实现这种灵活性，是因为它们建立在大型语言模型之上，而大型语言模型是不可预测的，并且容易出现重大（有时甚至是滑稽的）错误。当大型语言模型在聊天界面中生成文本时，任何错误都局限于该对话。但是，当系统能够独立行动并访问多个应用程序时，它可能会执行我们意想不到的操作，例如操作文件、冒充用户或进行未经授权的交易。其被推销的核心功能——减少人工监督——恰恰是其主要弱点。

为了理解整体的风险收益状况，我们可以将AI智能体系统置于一个自主性谱系中进行分析。最低级别是简单的处理器，对程序流程没有影响，例如公司网站上的问候聊天机器人。最高级别是完全自主的智能体，能够在没有人为约束或监督的情况下编写和执行新代码——它们可以采取行动（移动文件、更改记录、通过电子邮件进行通信等），而无需任何指令。中间级别包括路由器（决定采取哪些人工提供的步骤）、工具调用器（使用智能体建议的工具运行人工编写的函数）以及多步骤智能体（确定何时以及如何执行哪些函数）。每一个级别都代表着对人工控制的逐步削弱。

AI智能体在日常生活中可以提供极大的帮助，但这同时也带来了明显的隐私、安全和保障问题。帮助你了解某人的智能体需要该个人的个人信息，并对你们之前的互动进行广泛监控，这可能导致严重的隐私泄露。利用建筑图纸创建路线的智能体可能会被恶意行为者用来进入未经授权的区域。

当系统能够同时控制多个信息源时，潜在的危害会成倍增加。例如，一个同时访问私人通信和公共平台的智能体可能会在社交媒体上分享个人信息。这些信息可能并不真实，但却能避开传统的核实机制，并通过进一步分享而被放大，造成严重的声誉损害。“不是我干的——是我的智能体干的！”很快就会成为人们为不良后果开脱的常见借口。

保持人工在回路中

历史先例表明，保持人工监督至关重要。1980年，计算机系统错误地指示超过2000枚苏联导弹正飞向北美。这一错误触发了紧急程序，使我们险些遭遇灾难。避免灾难发生的是不同预警系统之间的人工交叉验证。如果决策完全委托给优先考虑速度而非确定性的自主系统，结果可能是灾难性的。

有人可能会反驳说，好处胜过风险，但我们认为，实现这些好处并不需要完全放弃人工控制。相反，AI智能体的开发必须与确保人工监督的开发同步进行，以限制AI智能体所能执行的操作范围。

开源智能体系统是解决风险的一种方法，因为这些系统允许对系统能够做什么和不能做什么进行更大程度的人工监督。在Hugging Face，我们正在开发smolagents，这是一个提供沙盒安全环境的框架，允许开发人员构建以透明性为核心的智能体，以便任何独立组织都可以验证是否存在适当的人工控制。

这种方法与目前越来越复杂、不透明的AI系统形成鲜明对比，这些系统将其决策过程隐藏在多层专有技术之后，使得无法保证安全。

在我们开发越来越复杂的AI智能体的过程中，我们必须认识到，任何技术最重要的功能不是提高效率，而是促进人类福祉。这意味着要创建仍然是工具而不是决策者、是助手而不是替代品的系统。尽管存在各种缺陷，但人类的判断仍然是确保这些系统服务而不是破坏我们利益的关键组成部分。

Margaret Mitchell, Avijit Ghosh, Sasha Luccioni, Giada Pistilli均供职于Hugging Face，一家致力于负责任开源AI的全球性初创公司。

Margaret Mitchell博士是Hugging Face的机器学习研究员兼首席伦理科学家，致力于将人类价值观与技术发展相结合。

Sasha Luccioni博士是Hugging Face的气候主管，她领导研究、咨询和能力建设工作，以提高AI系统的可持续性。

Avijit Ghosh博士是Hugging Face的应用政策研究员，致力于负责任的AI与政策的交叉领域。他的研究和与政策制定者的互动帮助塑造了AI监管和行业实践。

Giada Pistilli博士是一位哲学研究员，现任Hugging Face首席伦理学家。

“`