2025 年人工智能展望：成本下降、推理能力提升、新架构崛起
2024 年即将结束，回顾这一年，人工智能取得了令人瞩目的突破性进展。展望 2025 年，人工智能领域将继续以惊人的速度发展，未来充满无限可能。本文将探讨几个关键趋势，帮助企业洞悉未来一年人工智能发展方向，并做好充分准备，抓住机遇。
模型成本持续下降，应用门槛降低
过去一年，大型语言模型（LLM）的推理成本大幅下降。以 OpenAI 的顶级 LLM 为例，其每百万个词元的成本在过去两年内下降了 200 多倍。
成本下降的主要原因是竞争加剧和硬件技术的进步。越来越多的企业级应用开始采用 LLM，这使得模型之间竞争更加激烈，价格战也随之而来。同时，加速芯片和专用推理硬件的不断发展，也为 AI 实验室降低模型成本提供了可能。
企业应该抓住这一趋势，积极尝试最先进的 LLM，并围绕它们构建应用原型。即使当前成本较高，随着模型价格的持续下降，这些应用很快就能实现规模化。此外，模型的能力也在不断提升，这意味着企业可以用相同的预算实现比过去更多功能。
大型推理模型（LRM）崛起，推理能力突破瓶颈
OpenAI 发布的 o1 模型引发了 LLM 领域的新一轮创新浪潮。o1 模型能够进行更长时间的思考，并对答案进行审查，这使得它能够解决以前无法通过单次推理解决的推理问题。尽管 OpenAI 尚未公布 o1 的详细技术细节，但其强大的推理能力已经引发了 AI 领域的竞赛。目前，许多开源模型已经复制了 o1 的推理能力，并将这种范式扩展到新的领域，例如回答开放式问题。
LRM 的发展将对未来产生两方面的重要影响。首先，由于 LRM 需要生成大量的词元来回答问题，硬件公司将更有动力开发具有更高词元吞吐量的专用 AI 加速器。其次，LRM 可以帮助解决下一代语言模型面临的一个重要瓶颈：高质量训练数据。有报道称，OpenAI 正在使用 o1 生成下一代模型的训练样本。我们也可以期待 LRM 帮助催生新一代小型专用模型，这些模型针对特定任务，使用合成数据进行训练。
企业应该将时间和预算投入到探索 LRM 的应用潜力。他们应该不断测试 LLM 的极限，并思考如果下一代模型克服了这些限制，将会出现哪些新的应用。结合推理成本的持续下降，LRM 有望在未来一年解锁许多新的应用。
线性复杂度模型崛起，效率和速度大幅提升
Transformer 作为 LLM 中使用的主要深度学习架构，其内存和计算瓶颈促使人们探索具有线性复杂度的替代模型。其中最受欢迎的架构是状态空间模型 (SSM)，该模型在过去一年取得了重大进展。其他有前景的模型包括液体神经网络 (LNN)，它使用新的数学方程，用更少的计算周期和人工神经元实现更多功能。
过去一年，研究人员和 AI 实验室发布了纯 SSM 模型以及结合了 Transformer 和线性模型优势的混合模型。虽然这些模型尚未达到最先进的基于 Transformer 模型的水平，但它们正在快速赶超，并且已经比 Transformer 模型快得多，效率也高得多。如果该领域继续取得进展，许多简单的 LLM 应用可以迁移到这些模型，并在边缘设备或本地服务器上运行，企业可以在不将数据发送给第三方的情况下使用定制数据。
模型规模和数据规模的局限性，推理时间扩展成为新方向
LLM 的扩展规律一直在不断演变。2020 年 GPT-3 的发布证明，扩大模型规模将继续带来令人印象深刻的结果，并使模型能够执行未经明确训练的任务。2022 年，DeepMind 发布了 Chinchilla 论文，为数据扩展规律指明了新的方向。Chinchilla 证明，通过在比模型参数数量大几倍的庞大数据集上训练模型，可以继续获得改进。这一发展使得更小的模型能够与拥有数百亿参数的顶尖模型竞争。
如今，人们担心这两种扩展规律都接近其极限。有报道称，顶尖实验室在训练更大模型方面正在经历收益递减。同时，训练数据集已经增长到数万亿个词元，获取高质量数据变得越来越困难和昂贵。
与此同时，LRM 正在提供一个新的方向：推理时间扩展。当模型规模和数据集规模无法突破瓶颈时，我们可以通过让模型运行更多推理周期并自行纠正错误来取得新的进展。
总结
进入 2025 年，人工智能领域将继续以意想不到的方式发展，新的架构、推理能力和经济模型将重塑人工智能的可能性。对于愿意尝试和适应的企业来说，这些趋势不仅代表着技术进步，更代表着我们利用人工智能解决现实世界问题的根本性转变。
