AI 规模化终结了吗？未来方向

随着人工智能系统在越来越复杂的任务中取得超越人类的表现，业界正在努力解决一个问题：更大的模型是否可能，或者创新是否必须走上不同的道路。

大型语言模型 (LLM) 开发的一般方法是越大越好，性能随着更多数据和更多计算能力而提升。然而，最近的媒体讨论集中在 LLM 正在接近其极限。The Verge 质疑道：“人工智能是否正在撞墙？”，而路透社则报道称，“OpenAI 和其他公司正在寻求通往更智能人工智能的新路径，因为当前方法遇到了局限性。”

人们担心，推动多年进步的扩展可能无法扩展到下一代模型。报道表明，GPT-5 等前沿模型的开发（这些模型突破了人工智能的当前极限）可能面临挑战，因为预训练期间性能增益递减。The Information 报道了 OpenAI 面临的这些挑战，而彭博社则报道了谷歌和 Anthropic 的类似消息。

这个问题导致人们担心，这些系统可能受到边际收益递减规律的影响——即每增加一个单位的投入，所带来的收益会逐渐减少。随着 LLM 的规模越来越大，获取高质量训练数据和扩展基础设施的成本呈指数级增长，降低了新模型中性能改进的回报。加剧这一挑战的是高质量新数据的有限可用性，因为大部分可访问的信息已经被纳入现有的训练数据集中。

但这并不意味着人工智能性能增长的终结。它仅仅意味着为了持续进步，需要通过模型架构、优化技术和数据使用方面的创新来进行进一步的工程设计。

类似的边际收益递减模式出现在半导体行业。几十年来，该行业一直受益于摩尔定律，该定律预测晶体管数量每 18 到 24 个月翻一番，通过更小、更高效的设计推动了性能的显著提升。但最终，这种模式也遇到了边际收益递减，大约在 2005 年到 2007 年之间开始出现，因为德纳德缩放（缩小晶体管尺寸也会降低功耗）的原理达到了其极限，这引发了人们对摩尔定律终结的预测。

我在 2012 年至 2022 年期间在 AMD 工作时亲眼目睹了这个问题。这个问题并不意味着半导体（以及扩展到计算机处理器）停止了一代又一代地实现性能提升。它意味着改进更多地来自芯片设计、高带宽内存、光开关、更多缓存内存和加速计算架构，而不是晶体管尺寸的缩小。

类似的现象已经在当前的 LLM 中出现。GPT-4o、Claude 3.5 和 Gemini 1.5 等多模态人工智能模型证明了整合文本和图像理解的力量，推动了视频分析和上下文图像字幕等复杂任务的进步。对训练和推理算法的更多调整将带来进一步的性能提升。代理技术使 LLM 能够自主执行任务并与其他系统无缝协调，很快将显著扩展其实际应用。

未来的模型突破可能来自一种或多种混合人工智能架构设计，将符号推理与神经网络相结合。OpenAI 的 o1 推理模型已经展示了模型集成和性能扩展的潜力。量子计算虽然目前还处于早期开发阶段，但有望通过解决当前的计算瓶颈来加速人工智能训练和推理。

人们认为的扩展墙不太可能终结未来的收益，因为人工智能研究界一直证明了其在克服挑战、解锁新功能和性能提升方面的创造力。

事实上，并非所有人都同意存在扩展墙。OpenAI 首席执行官萨姆·奥特曼 (Sam Altman) 对此观点简洁明了：“不存在墙。”

来源：X https://x.com/sama/status/1856941766915641580

在“CEO 日记”播客中，前谷歌首席执行官兼《创世纪》合著者埃里克·施密特 (Eric Schmidt) 基本上同意奥特曼的观点，他说他不相信存在扩展墙——至少在未来五年内不会出现。“五年后，你将能够对这些 LLM 进行两到三次更深入的探索。每一次探索都像是能力提升了两倍、三倍或四倍，所以假设对所有这些系统进行探索将使它们变得强大 50 倍或 100 倍，”他说。

领先的人工智能创新者仍然对进步的速度以及新方法的潜力持乐观态度。这种乐观情绪在最近 OpenAI 首席产品官凯文·韦尔 (Kevin Weil) 和 Anthropic 首席产品官迈克·克里格 (Mike Krieger) 在“Lenny 的播客”上的对话中显而易见。

来源：https://www.youtube.com/watch?v=IxkvVZua28k

在这次讨论中，克里格描述了 OpenAI 和 Anthropic 今天正在进行的工作“感觉像是魔法”，但他承认，仅仅 12 个月后，“我们会回过头说，你能相信我们以前用过那种垃圾吗？……人工智能的发展速度就是这么快。”

确实，这感觉像是魔法，就像我最近使用 OpenAI 的高级语音模式时所体验到的那样。与“Juniper”交谈感觉非常自然和无缝，展示了人工智能如何不断发展，以理解和响应实时对话中的情感和细微差别。

克里格还讨论了最近的 o1 模型，称之为“一种新的扩展智能的方式，我们感觉我们才刚刚开始。”他补充道：“这些模型将以加速的速度变得更加智能。”

这些预期的进步表明，虽然传统的扩展方法在短期内可能会或可能不会遇到边际收益递减，但人工智能领域有望通过新方法和创造性工程继续取得突破。

虽然扩展挑战主导了当前围绕 LLM 的大部分讨论，但最近的研究表明，当前的模型已经能够取得非凡的结果，这引发了一个发人深省的问题：是否需要更多扩展。

最近的一项研究预测，ChatGPT 将在面对复杂的患者案例时帮助医生做出诊断。这项研究使用 GPT-4 的早期版本进行，将 ChatGPT 的诊断能力与有无人工智能帮助的医生的诊断能力进行了比较。令人惊讶的结果表明，ChatGPT 单独的表现大大超过了这两组，包括使用人工智能辅助的医生。造成这种情况的原因有很多，从医生缺乏对如何最好地使用该机器人的理解到他们认为自己的知识、经验和直觉天生优于机器人。

这不是第一个表明机器人取得优于专业人士的结果的研究。VentureBeat 今年早些时候报道了一项研究，该研究表明 LLM 可以进行财务报表分析，其准确性与专业分析师相媲美，甚至超过了专业分析师。同样使用 GPT-4，另一个目标是预测未来的盈利增长。GPT-4 在预测未来盈利方向方面的准确率达到了 60%，明显高于人类分析师预测的 53% 到 57% 的范围。

值得注意的是，这两个例子都是基于已经过时的模型。这些结果强调，即使没有新的扩展突破，现有的 LLM 已经能够在复杂的任务中胜过专家，挑战了人们对进一步扩展以实现有影响力的结果的必要性的假设。

这些例子表明，当前的 LLM 已经非常强大，但扩展本身可能不是未来创新的唯一途径。但随着更多扩展的可能性以及其他新兴技术有望提高性能，施密特的乐观情绪反映了人工智能进步的快速步伐，表明仅仅五年后，模型可能会发展成为博学家，能够跨多个领域无缝地回答复杂问题。

无论是通过扩展、技能提升还是全新的方法，人工智能的下一个前沿有望改变技术本身及其在我们生活中的作用。未来的挑战是确保进步对每个人来说都是负责任的、公平的和有影响力的。

加里·格罗斯曼 (Gary Grossman) 是 Edelman 技术实践执行副总裁，也是 Edelman 人工智能卓越中心的全球负责人。