中国AI崛起:开源模型Qwen领跑全球
2023年8月,阿里巴巴发布了两个大型语言模型(LLM):Qwen-VL和Qwen-VL-Chat,正式加入全球AI竞赛。这两款模型以其强大的图像处理能力和高级对话功能脱颖而出。阿里巴巴将它们开源,让全球的研究人员、教育工作者和企业能够自由使用这些模型构建AI应用,无需费力训练自己的系统。
一年后,阿里巴巴的Qwen模型正受到越来越多的关注。据报道,阿里巴巴的Qwen已经超越了美国主要公司的模型,包括Anthropic的Claude 3.5 Sonnet和OpenAI的GPT-4o。据《金融时报》报道,Hugging Face等托管LLM的平台显示,Qwen凭借其强大的基准测试结果和吸引人的许可模式,正在攀升至榜首。
例如,在编码基准测试中,阿里巴巴的Qwen 2.5的表现超过了美国顶级闭源模型,包括Anthropic的Claude 3.5 Sonnet和OpenAI的GPT-4o。Qwen取得这一成就得益于:
- 在23.5万亿个token(约为GPT-3的80倍,GPT-4的2倍)上进行训练。
- 利用其前身Qwen1.5生成合成训练数据。然后使用自动执行来验证数据的准确性并消除幻觉。
- 这种方法显著增加了模型处理的训练数据量,从而大幅提升了性能。
同样值得注意的是,Qwen支持同时预览和执行代码,这是Claude Artifacts首次引入的用户界面功能。
虽然领先的美国AI公司仍然专注于闭源系统,但开源编码领域正日益被DeepSeek和Qwen等高性能的中国模型所主导。
Qwen2.5有多种尺寸可供选择,参数数量从5亿到320亿不等,使其能够适应各种设备和内存需求。
中国在AI开发方面的日益主导地位正在开始显现出实际成果。分析师告诉CNBC,中国AI模型不仅在竞争,而且在某些情况下甚至超越了它们的美国同行。
这种新兴的竞争反映了更广泛的地缘政治动态。对于美国和中国来说,AI都被视为一项关键技术。华盛顿以国家安全为由限制了中国获得用于训练AI模型的先进芯片,但中国采取了不同的路径,专注于开源工具,并构建自己的高速软件和芯片以保持竞争力。
中国不断壮大的LLM生态系统
中国公司现在是LLM开发领域的主要参与者,而在此之前,OpenAI和Meta等美国公司一直主导着这一领域。这些模型在海量数据集上进行训练,是聊天机器人和其他AI应用工具的支柱。
区别在于方法。虽然OpenAI的ChatGPT运行在闭源模型上,但中国公司正在转向开源或开放权重模型。开发者可以免费下载、调整和构建这些工具,绕过了闭源系统通常施加的严格许可要求。
Hugging Face的机器学习工程师王铁振表示,中国模型在他们的平台上下载量排行榜上名列前茅。其中,阿里巴巴的Qwen家族位居榜首。
“Qwen凭借其在竞争性基准测试中的出色表现,正在迅速获得普及,”王铁振告诉CNBC。他补充说,Qwen灵活的许可模式使其对不想处理复杂法律审查的公司很有吸引力。
Qwen提供了一系列不同尺寸的模型,在性能和计算成本之间取得平衡。王铁振表示,无论开发者需要高性能还是高效率,Qwen都能提供目前最好的结果。
DeepSeek等初创公司也正在掀起波澜。DeepSeek的R1模型直接与OpenAI的o1竞争,后者是一款专为推理和复杂任务而设计的模型。中国公司相信他们的模型能够与Meta的Llama等开源选项以及GPT-4等闭源替代方案相抗衡。
“在过去的一年里,我们看到了中国对AI的开源贡献的兴起,这些贡献具有非常强大的性能、低服务成本和高吞吐量,”Lux Capital的合伙人Grace Isford告诉CNBC。
将开源推向全球舞台
开源方法是战略性的。通过与全球开发者共享技术,中国公司正在扩大其影响力。这不仅仅是关于创新,而是关于创建吸引开发者、应用,最终吸引用户的生态系统。
DGA Group的合伙人Paul Triolo指出,这种策略正在帮助中国公司成为AI领域的全球参与者。“中国公司希望看到他们的模型在中國以外使用,”他解释说。
就像操作系统(Windows、Android或iOS)一样,这些AI模型可以成为未来应用的基础工具。利害关系重大。谁主导了这个领域,谁就能为全球技术趋势定下基调。
“他们(中国公司)认为LLM是未来科技生态系统的核心,”伦敦国王学院高级讲师孙鑫解释说。他解释说,他们的商业模式依赖于开发者围绕他们的LLM构建应用,吸引用户和数据,从而推动长期增长。
芯片之争与中国的AI未来
训练先进的AI模型需要巨大的计算能力和对专业芯片的访问,而美国公司英伟达在这一领域处于领先地位。然而,美国的出口限制切断了中国获得英伟达最先进GPU的途径,迫使中国公司另寻出路。
然而,中国公司正在适应。许多公司在制裁生效之前囤积了英伟达芯片,而另一些公司则转向国内解决方案。华为、百度和阿里巴巴是投资英伟达GPU本地替代方案的公司之一。
“中国主要科技平台目前拥有足够的计算能力来继续改进模型,”Triolo指出。他补充说,虽然英伟达即将推出的Blackwell芯片对中国来说是禁区,但中国专注于构建自己的硬件,确保它将继续参与竞争。
Lux Capital的Isford对此表示赞同,他指出中国正在努力发展其国内AI基础设施。百度等公司正在开发自己的高性能AI芯片,以减少对英伟达的依赖。
“无论英伟达芯片是否在中国被禁止,都不会阻止中国投资和建设自己的基础设施来构建和训练AI模型,”Isford说。