Anthropic呼吁全球暂停前沿AI开发

全球估值最高的AI初创公司Anthropic呼吁全球暂停前沿AI开发，警告称随着AI系统接近自主改进能力，人类可能失去对技术的控制。

这一呼吁来自Anthropic研究主管Marina Favaro和总裁Jack Clark在周四发表的论文。就在几天前，该公司刚提交了公开上市的初步文件——这凸显了Anthropic作为安全倡导者与商业野心家之间的矛盾身份。

减速呼吁

两位高管写道：“如果能够有效减缓这项技术的发展，从而给我们更多时间应对其深远影响，那将是有益的。”他们形容强大AI系统的发展如同“军备控制困境”，并警告“递归自我改进”——即AI系统自主提升自身能力——可能导致能力激增，超出人类监督范围。

Anthropic表示：“我们认为世界需要一个选项，能够放缓或暂时暂停前沿AI开发，以便社会结构和对齐研究能够相应推进。”

但Anthropic也承认协调此类冻结的难度，指出中美之间的激烈竞争。“显著放缓或暂停需要多个国家处于或接近前沿的实验室同意在统一条件下停止，”论文指出，“训练活动比导弹发射井更容易伪装。”

安全与商业的矛盾

该声明的时机引发了人们对Anthropic战略定位的质疑。6月1日，公司向美国证券交易委员会秘密提交了S-1注册草案，在上市竞赛中领先对手OpenAI一步。据路透社报道，IPO最早可能在今年秋季进行，公司寻求估值接近9000亿美元。

Anthropic最近超越OpenAI成为全球估值最高的AI公司，达到9650亿美元。该公司还因其最先进模型Mythos可能被用于灾难性网络攻击而拒绝公开发布。

安全承诺的演变

此次暂停呼吁标志着Anthropic此前立场的转变。今年2月，该公司放弃了2023年做出的标志性承诺——如果安全措施跟不上能力发展就暂停开发——这一变化招致AI安全界的批评。CEO Dario Amodei曾单独估计，AI出“大问题”的概率为25%。

一些分析人士认为，Anthropic可能夸大了AI风险，以推动对安全关注较少的竞争对手不利的监管。该公司的论文指出，其团队现在生成的代码量是2021年至2025年间的8倍，AI越来越能够提出新想法和规划研究——这些发展被视为迈向自我构建AI的步骤。