开源大模型：企业AI的新纪元
订阅我们的每日和每周新闻简报，获取最新的行业领先人工智能报道和独家内容。了解更多
企业界对开源大型语言模型（LLM）的使用正在迅速增长，这得益于企业在人工智能领域日益成熟，寻求更大的控制权、定制化和成本效益。
虽然 OpenAI 的 GPT-4 等闭源模型在早期采用中占据主导地位，但开源模型在质量上已经缩小了差距，并且在企业中的增长速度至少与闭源模型一样快，这是根据 VentureBeat 对企业领导者的多项采访得出的结论。
这与今年早些时候的情况不同，当时我报道称，虽然开源的承诺不可否认，但其采用速度相对缓慢。但 Meta 表示，该公司公开提供的模型下载量已超过 4 亿次，是去年下载量的 10 倍，从 2024 年 5 月到 7 月，使用量翻了一番。这种采用激增反映了从技术同等性到信任考虑等多种因素的融合，这些因素正在推动先进企业转向开放的替代方案。
“开放总是胜出，”Groq 首席执行官 Jonathan Ross 宣称，Groq 是一家提供专门的人工智能处理基础设施的供应商，该公司见证了使用开放模型的客户的大量增长。“而且大多数人真的很担心供应商锁定。”
即使是 AWS，该公司对闭源供应商 Anthropic 投资了 40 亿美元——这是其有史以来最大的一笔投资——也承认了这种势头。“我们确实看到，在过去几个月里，公开可用模型的吸引力越来越大，”AWS 人工智能和基础设施副总裁 Baskar Sridharan 表示，该公司通过其 Bedrock 服务提供尽可能多的模型，包括开源模型和闭源模型。
的确，在初创公司或个人开发者中，OpenAI 等闭源模型仍然领先。但在企业中，情况却截然不同。不幸的是，没有第三方来源跟踪企业中开源与闭源 LLM 的竞争，部分原因是这几乎不可能做到：企业界过于分散，公司过于私密，无法公开这些信息。一家 API 公司 Kong 在 7 月份对 700 多名用户进行了调查。但受访者包括小型公司和企业，因此对 OpenAI 有偏见，毫无疑问，OpenAI 仍然是寻求简单选项的初创公司的领先者。（该报告还包括 Bedrock 等其他人工智能服务，Bedrock 不是 LLM，而是一项提供多种 LLM 的服务，包括开源 LLM——因此它将苹果和橘子混为一谈。）
来自 API 公司 Kong 的报告截图。其 7 月份的调查显示，ChatGPT 仍然领先，而开源模型 Mistral、Llama 和 Cohere 仍然落后。
但从轶事来看，证据正在不断积累。首先，所有主要的商业应用程序提供商最近都积极地整合了开源 LLM，从根本上改变了企业部署这些模型的方式。Salesforce 引领了最近一波浪潮，上个月推出了 Agentforce，认识到其客户关系管理客户需要更灵活的人工智能选项。该平台使公司能够在 Salesforce 应用程序中插入任何 LLM，有效地使开源模型与闭源模型一样易于使用。Salesforce 旗下的 Slack 也紧随其后。
Oracle 上个月还扩展了对最新 Llama 模型的支持，涵盖其整个企业套件，包括 ERP、人力资源和供应链等大型企业应用程序。另一家商业应用程序巨头 SAP 宣布通过其 Joule AI 协同程序提供全面的开源 LLM 支持，而 ServiceNow 则为客户服务和 IT 支持等领域的流程自动化启用了开源和闭源 LLM 集成。
“我认为开源模型最终将胜出，”Oracle 人工智能和数据管理服务执行副总裁 Greg Pavlik 表示。他表示，修改模型和进行实验的能力，尤其是在垂直领域，再加上有利的成本，对企业客户来说非常有吸引力。
虽然 Meta 的 Llama 已成为领先者，但开源 LLM 生态系统已发展成为一个细致入微的市场，对开放性的方法各不相同。一方面，Meta 的 Llama 在市场上拥有超过 65,000 个模型衍生品。企业 IT 领导者必须驾驭这些模型，以及其他选项，从完全开放的权重和训练数据到具有商业许可的混合模型。
例如，Mistral AI 通过提供具有灵活许可条款的高性能模型获得了显著的吸引力，这些模型吸引了需要不同级别支持和定制的企业。Cohere 采取了另一种方法，提供开放模型权重，但需要支付许可费——这种模式受到一些企业的青睐，因为它在透明度和商业支持之间取得了平衡。
开源模型领域中的这种复杂性已成为复杂企业的优势。公司可以选择满足其特定需求的模型——无论是完全控制模型权重以进行大量定制，还是使用支持的开放权重模型以更快地部署。领导者表示，检查和修改这些模型的能力提供了完全闭源替代方案无法比拟的控制水平。使用开源模型通常还需要技术能力更强的团队来有效地微调和管理模型，这也是资源更丰富的企业公司在使用开源时占上风的原因。
Meta 对 Llama 的快速开发证明了为什么企业正在拥抱开放模型的灵活性。AT&T 使用基于 Llama 的模型进行客户服务自动化，DoorDash 使用它来帮助回答其软件工程师的问题，而 Spotify 使用它进行内容推荐。高盛已将这些模型部署在受严格监管的金融服务应用程序中。其他 Llama 用户包括 Niantic、野村证券、Shopify、Zoom、埃森哲、印孚瑟斯、毕马威、富国银行、IBM 和格莱美奖。
Meta 积极培养渠道合作伙伴。现在，所有主要云提供商都支持 Llama 模型。“他们开始看到企业客户对 Llama 的兴趣和部署量激增，”Meta 产品副总裁 Ragavan Srinivasan 报告说，“尤其是在 Llama 3.1 和 3.2 发布之后。特别是大型 405B 模型，其吸引力非常强，因为非常成熟的企业客户看到了能够在多个模型之间切换的价值。”他表示，客户可以使用蒸馏服务从 Llama 405B 创建衍生模型，以便能够根据其数据对其进行微调。蒸馏是创建更小、更快的模型，同时保留核心功能的过程。
事实上，Meta 通过其其他模型组合很好地覆盖了整个领域，包括 Llama 90B 模型，该模型可用作大多数提示的工作马，以及 1B 和 3B 模型，它们足够小，可以在设备上使用。今天，Meta 发布了这些较小模型的“量化”版本。量化是另一个使模型更小的过程，从而降低功耗并加快处理速度。这些最新模型的特别之处在于它们是在训练期间进行量化的，这使得它们比其他行业的量化仿制品更有效——令牌生成速度比原始模型快四倍，功耗仅为原始模型的四分之一。
开源模型和闭源模型之间的技术差距实际上已经消失，但每种模型都显示出独特的优势，复杂企业正在学习战略性地利用这些优势。这导致了一种更细致入微的部署方法，公司根据特定任务要求组合不同的模型。
“大型专有模型在高级推理和分解模糊任务方面非常出色，”Salesforce 人工智能执行副总裁 Jayesh Govindarajan 解释说。但他表示，对于推理较少、语言创作较多的任务，例如起草电子邮件、创建活动内容、研究公司，“开源模型与闭源模型不相上下，甚至更好”。此外，他表示，即使是高级推理任务也可以分解成子任务，其中许多子任务最终会变成开源模型擅长的语言任务。
Intuit 是会计软件 Quickbooks 和税务软件 Turbotax 的所有者，几年前就开始了其 LLM 之旅，使其成为财富 500 强公司中最早的采用者之一。其实施展示了一种复杂的方法。对于面向客户的应用程序，例如 QuickBooks 中的交易分类，该公司发现其基于 Llama 3 构建的微调 LLM 比闭源替代方案具有更高的准确性。“我们发现，我们可以采用其中一些开源模型，然后实际对其进行裁剪，并将其用于特定领域的需要，”Intuit 首席数据官 Ashok Srivastava 解释说。它们“可以更小，延迟更低，准确性相同，甚至更高。”
银行业说明了从闭源 LLM 到开源 LLM 的迁移。澳新银行是一家为澳大利亚和新西兰提供服务的银行，最初使用 OpenAI 进行快速实验。但当它转向部署实际应用程序时，它放弃了 OpenAI，转而微调自己的基于 Llama 的模型，以适应其特定的金融用例，这是由对稳定性和数据主权的需求驱动的。该银行发布了一篇关于该体验的博客文章，提到了 Llama 的多个版本、灵活的托管、版本控制和更轻松的回滚提供的灵活性。我们知道另一家美国排名前三的银行最近也从 OpenAI 转移了。
正是像这样的例子，公司想要离开 OpenAI 转向开源，催生了 PostgresML 等公司的“切换套件”，这些套件可以轻松地退出 OpenAI 并拥抱开源，“只需几分钟”。
部署开源 LLM 的路径已大大简化。Meta 的 Srinivasan 概述了企业采用中出现的三个关键途径：
- 云合作伙伴集成：主要云提供商现在提供开源模型的简化部署，并具有内置的安全性和扩展功能。
- 自定义堆栈开发：拥有技术专长的公司可以构建自己的基础设施，无论是在本地还是在云中，完全控制其人工智能堆栈——Meta 正在帮助其所谓的 Llama 堆栈。
- API 访问：对于寻求简单性的公司，多个提供商现在提供对开源模型的 API 访问，使其与闭源替代方案一样易于使用。Groq、Fireworks 和 Hugging Face 就是例子。它们都能够为您提供推理 API、微调 API，以及您可能需要或从专有提供商那里获得的任何东西。
开源方法也——出乎意料地——在模型安全性和控制方面成为领导者，特别是对于需要严格监督其人工智能系统的企业而言。“Meta 在安全方面非常谨慎，因为他们将其公开，”Groq 的 Ross 指出。“他们实际上对此更加小心。而对于其他公司，你实际上看不到发生了什么，而且你无法像以前那样轻松地测试它。”
这种对安全的重视反映在 Meta 的组织结构中。Ross 表示，Meta 专注于 Llama 安全性和合规性的团队规模与其工程团队相比很大，他引用了几个月前与 Meta 的对话。（Meta 发言人表示，该公司不评论人事信息）。9 月份发布的 Llama 3.2 引入了 Llama Guard Vision，补充了 7 月份发布的安全工具。这些工具可以：
- 在潜在的问题文本和图像输入到达模型之前检测它们
- 监控和过滤输出响应，以确保安全性和合规性
企业人工智能提供商已在这些基础安全功能的基础上进行了构建。例如，AWS 的 Bedrock 服务允许公司在不同模型之间建立一致的安全防护措施。“一旦客户设置了这些策略，他们就可以选择从一个公开可用的模型迁移到另一个模型，而无需实际重写应用程序，”AWS 的 Sridharan 解释说。这种标准化对于管理多个人工智能应用程序的企业至关重要。
Databricks 和 Snowflake 是企业领先的云数据提供商，也支持 Llama 的安全性：“Llama 模型保持“最高的安全性和可靠性标准，”神经网络首席技术官 Hanlin Tang 表示。
Intuit 的实施展示了企业如何叠加额外的安全措施。该公司的 GenSRF（安全、风险和欺诈评估）系统是其“GenOS”操作系统的一部分，监控着大约 100 个信任和安全维度。“我们有一个委员会负责审查 LLM，并确保其标准与公司的原则一致，”Intuit 的 Srivastava 解释说。然而，他表示，对开源模型的这些审查与公司对闭源模型进行的审查没有区别。
围绕 LLM 的一个主要问题是它们接受过哪些数据的训练。出版商和其他创作者的诉讼层出不穷，指控 LLM 公司侵犯版权。大多数 LLM 公司，无论是开源还是闭源，都没有完全透明地说明它们从哪里获取数据。由于其中大部分数据来自开放网络，因此可能存在高度偏差，并包含个人信息。
许多闭源公司为用户提供了“赔偿”，即保护他们免受使用其 LLM 导致的法律风险或索赔诉讼。开源提供商通常不提供此类赔偿。但最近，围绕数据来源的这种担忧似乎有所下降。模型可以通过微调进行基础和过滤，Meta 和其他公司已经创建了更多对齐和其他安全措施来抵消这种担忧。数据来源对于一些企业公司来说仍然是一个问题，尤其是那些处于高度监管行业的公司，例如银行或医疗保健。但一些专家建议，这些数据来源问题可能很快通过合成训练数据得到解决。
“想象一下，我可以获取公开的专有数据，并以某种算法方式对其进行修改，以创建代表现实世界的合成数据，”Salesforce 的 Govindarajan 解释说。“然后，我实际上不需要访问所有这些互联网数据……数据来源问题就消失了。”
Meta 已经拥抱了这种趋势，在 Llama 3.2 的 1B 和 3B 模型中加入了合成数据训练。
开源 LLM 的采用显示出明显的区域和行业特定模式。“在北美，闭源模型的生产使用量肯定比开源模型多，”Oracle 的 Pavlik 观察到。“另一方面，在拉丁美洲，我们看到 Llama 模型在生产场景中的使用量大幅增加。这几乎是反过来的。”
是什么驱动了这些区域差异尚不清楚，但它们可能反映了围绕成本和基础设施的不同优先级。Pavlik 描述了全球正在发生的一种情况：“一些企业用户出去，他们开始做一些原型……使用 GPT-4。他们收到了第一张账单，然后他们说，‘我的天哪。’这比他们预期的要贵得多。然后他们开始寻找替代方案。”
LLM 部署的经济效益正在发生巨大变化，有利于开源模型。“在过去一年中，生成的 LLM 输出的每令牌价格下降了 100 倍，”风险投资家 Marc Andreessen 指出，他质疑闭源模型提供商是否可能难以盈利。这种潜在的“价格战”给那些为闭源模型开发筹集了数十亿美元资金的公司带来了特别的压力，而那些可以通过其核心业务维持开源开发的组织则受益匪浅。
“我们知道这些模型的成本将降至零，”Intuit 的 Srivastava 表示，并警告称，那些“过度投资于这些模型的公司很快就会遭受后果。”这种动态特别有利于 Meta，该公司可以提供免费模型，同时从其在平台和产品中的应用中获益。
Groq 的 Ross 表示，LLM 竞争的一个很好的类比是操作系统大战。“Linux 可能是你可以用来类比 LLM 的最佳例子。”虽然 Windows 在消费类计算中占据主导地位，但开源 Linux 在企业系统和工业计算中占据主导地位。Intuit 的 Srivastava 看到了相同的模式：“我们一次又一次地看到：开源操作系统与非开源操作系统。我们看到了浏览器大战中发生了什么，”当时开源 Chromium 浏览器击败了闭源模型。
SAP 全球人工智能主管 Walter Sun 同意：“我认为，在平局的情况下，人们可以像使用闭源模型一样好地利用开源大型语言模型，这给了人们更大的灵活性。”他继续说道：“如果你有特定的需求，特定的用例……最好的方法是使用开源。”
一些观察家，如 Groq 的 Ross，认为 Meta 可能有能力投入 1000 亿美元来训练其 Llama 模型，这将超过专有模型提供商的总投入，他表示。他表示，Meta 有动力这样做，因为它是最受益于 LLM 的公司之一。它需要它们来提高其核心业务的智能，通过向 Instagram、Facebook、Whatsapp 上的用户提供人工智能。Meta 表示，其人工智能影响着 1.85 亿周活跃用户，这种规模是其他公司难以匹敌的。
这表明开源 LLM 不会面临困扰其他开源计划的可持续性挑战。“从明年开始，我们预计未来的 Llama 模型将成为业界最先进的模型，”Meta 首席执行官马克·扎克伯格在 7 月份支持开源人工智能的信中宣布。“但在此之前，Llama 已经在开放性、可修改性和成本效益方面处于领先地位。”
开源 LLM 生态系统正在通过专门的行业解决方案的出现而得到进一步加强。例如，IBM 发布了其 Granite 模型，该模型是完全开源的，专门针对金融和法律应用程序进行训练。“Granite 模型是我们的杀手级应用，”IBM 全球生成式人工智能管理合伙人 Matt Candy 表示。“这些是唯一可以完全解释用于训练和微调的数据集的模型。如果你身处受监管的行业，并且要将你的企业数据与该模型结合在一起，你希望非常确定其中包含的内容。”
IBM 的业务从开源中受益，包括将其 Red Hat Enterprise Linux 操作系统包装到混合云平台中，该平台包括 Granite 模型的使用及其 InstructLab，这是一种微调和增强 LLM 的方法。人工智能业务已经开始起飞。“看看股票价格，”Candy 说。“历史新高。”
信任正在转向企业可以拥有和控制的模型。Inflection AI 的首席运营官 Ted Shelton 解释了闭源模型的根本挑战：Inflection AI 是一家为企业提供许可源代码和完整应用程序堆栈的公司，作为闭源和开源模型的替代方案。“无论是 OpenAI、Anthropic、Gemini 还是微软，他们都愿意为其企业客户提供所谓的私有计算环境。但是，该计算环境仍然由模型提供商的员工管理，客户无法访问该模型。”这是因为 LLM 所有者希望保护专有元素，例如源代码、模型权重和超参数训练细节，这些元素无法对可以直接访问模型的客户隐藏。由于大部分代码是用 Python 编写的，而不是编译语言，因此它仍然暴露在外。
这对认真对待人工智能部署的企业来说是一个不可接受的状况。“一旦你说‘好吧，OpenAI 的员工将实际控制和管理该模型，并且他们可以访问所有公司的數據’，它就成为数据泄露的媒介，”Shelton 指出。“真正关心数据安全的公司会说‘不，我们不会这样做。我们实际上会运行我们自己的模型。而唯一可用的选项是开源。’”
虽然闭源模型在更简单的用例中保持着市场份额领先地位，但复杂企业越来越认识到，其未来的竞争力取决于对人工智能基础设施的更多控制。正如 Salesforce 的 Govindarajan 观察到的那样：“一旦你开始看到价值，并且开始将其扩展到所有用户、所有客户，那么你就会开始问一些有趣的问题。是否有可以实现的效率？是否有可以实现的成本效益？是否有可以实现的速度效益？”
这些问题的答案正在推动企业转向开源模型，即使过渡并不总是直截了当。“我认为有很多公司将非常努力地尝试让开源发挥作用，”Inflection AI 的 Shelton 说，“因为他们别无选择。你要么屈服，说几家大型科技公司拥有生成式人工智能，要么接受马克·扎克伯格扔给你的救生索。然后你会说：‘好吧，让我们试试这个。’”
