前途科技
  • AI
  • 初创
  • 报告
我的兴趣
前途科技前途科技
Font ResizerAa
站内搜索
Have an existing account? Sign In
Follow US
Copyright © 2024 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号
AI

大型企业拥抱混合计算掌控智能

NEXTECH
Last updated: 2024年11月16日 下午8:55
By NEXTECH
Share
26 Min Read
SHARE

从“试水者”到“生产力编排者”:企业如何掌控AI的未来

大型语言模型(LLM)的出现,尤其是像 OpenAI 这样的提供商提供的公共、集中式 LLM 服务,无疑加速了生成式 AI(GenAI)的革命,为企业提供了便捷的方式,让他们能够快速地尝试和部署 AI 功能。然而,随着技术的成熟,大型企业,尤其是那些在 AI 领域投入巨资的企业,开始将公开可用的云模型与私有计算和本地模型相结合,从而形成了混合环境。

我们甚至可以说,如果你每年在 AI 上的总支出超过 1000 万美元,而你还没有投资于任何你拥有或至少控制的模型(开源或其他),也没有任何私有计算资源,那么你正在走错方向。

对于那些面临重大安全问题、监管要求或特定可扩展性需求的组织来说,这种“拥有自己的智能”的需求尤为迫切。

未来将越来越倾向于“私有计算”解决方案,即利用虚拟私有云 (VPC) 甚至内部部署基础设施来执行关键任务和流程,作为你智能平台的一部分。

像 Cohere、Inflection AI 和 SambaNova Systems 这样的新供应商正在满足这种不断增长的需求,他们提供的解决方案符合那些认为公共云解决方案不再足以满足其需求的公司的需求。

OpenAI 和 Anthropic 的大型模型承诺提供私有环境,但他们的员工仍然可以在需要时访问日志和交易数据,而企业并不认为“仅仅信任合同”足以保护关键数据。让我们来探讨一下为什么私有计算越来越受欢迎,以及大型企业在选择时面临的权衡取舍。

公共 LLM 服务的局限性

公共 LLM 服务在帮助企业快速了解 GenAI 方面发挥了重要作用。像 OpenAI 这样的提供商提供最先进的模型,这些模型可以通过基于云的 API 轻松访问和部署。这使得任何规模的组织都可以开始将先进的 AI 功能集成到他们的工作流程中,而无需复杂的 基础设施或内部 AI 专家。

然而,随着企业对 GenAI 的依赖程度越来越高,公共 LLM 服务也暴露了一些局限性:

  1. 安全和机密性风险:大型企业通常会处理敏感数据,从专有的产品路线图到机密的客户信息。虽然公共云提供商实施了严格的安全协议,但一些组织不愿将他们最宝贵的数据委托给非公司员工或第三方。当讨论未来的产品路线图时,这种担忧会更加强烈,因为这些信息如果落入竞争对手手中,可能会对他们有利。
  2. 失去定价权:随着企业对 GenAI 的依赖程度越来越高,他们可能会发现自己容易受到超大规模云提供商价格上涨的影响。公共云服务通常采用按使用付费模式,随着使用量的增加,成本也会随之增加。依赖公共 LLM 服务的企业可能会发现,随着时间的推移,价格上涨后,他们将失去议价能力。
  3. 对未来 AI 发展的信任问题:虽然目前的合同可能看起来足够,但大型企业可能会担心未来。在假设的未来,真正的人工通用智能 (AGI) 出现——一种理论上可以超越人类思维的 AI 形式——企业可能会犹豫是否将如此强大的技术委托给第三方管理,即使合同看似天衣无缝。毕竟,即使可能性很小,AGI 出现故障或被误用的潜在风险也具有重大意义。
  4. 对功能和更新的控制权:公共 LLM 服务通常会集中推送更新和功能更改,这意味着使用这些服务的企业无法控制更新的时间和方式。这会导致中断,因为企业必须在每次引入新版本模型时不断重新测试他们的系统和工作流程。
  5. 随着令牌消耗量的增加,成本效益降低:公共 LLM 服务使用的基于令牌的定价模型对于低到中等使用场景来说很方便。但是,对于大规模使用这些模型的企业来说,成本可能会变得过高。我们估计,在当前的选项和定价下,成本效益的盈亏平衡点大约为每天 500,000 个令牌。超过这个数字,每个令牌的成本开始超过不管理基础设施的便利性。

私有计算的优势

为了应对这些挑战,越来越多的企业开始转向私有计算解决方案。这些解决方案允许企业将 GenAI 模型部署在他们自己的内部部署基础设施或自己的虚拟私有云中,从而将 AI 功能更靠近他们的“信任边界”。

私有计算解决方案为企业带来了以下优势:

  1. 增强的安全性和机密性:通过在私有云或内部部署环境中部署 LLM,企业可以将他们的数据保留在自己的基础设施中,最大限度地降低未经授权访问或意外泄露的风险。对于金融、医疗保健和国防等数据隐私至关重要的行业来说,这一点尤其重要。
  2. 大规模的成本效益:虽然初始设置成本更高,但私有计算解决方案随着使用量的增加,成本效益会更高。令牌消耗量大的企业可以避免公共云服务的可变成本,最终降低他们的总支出。
  3. 对 AI 开发的更大控制权:使用私有计算,企业可以完全控制他们部署的模型,包括更新的时间和方式。这使企业能够避免工作流程中断,并确保模型始终针对他们的特定用例进行优化。
  4. 定制化和灵活性:公共 LLM 旨在服务尽可能广泛的受众,这意味着它们可能并不总是针对任何一家企业的特定需求量身定制。另一方面,私有计算解决方案允许进行更多定制和微调,以应对独特的业务挑战。
  5. 培养内部专业知识:GenAI/AI 的功能和应用正在不断发展,因此拥有内部能力来构建和运行新的解决方案将变得越来越重要。

私有计算的挑战

当然,私有计算也并非没有成本和风险。我们听到的两个最大问题是:

  1. 更高的前期资本支出:建立私有计算基础设施需要在硬件、软件和人力资源方面进行大量投资。虽然这种成本可以随着时间的推移而摊销,但它代表了巨大的初始财务承诺。
  2. 更高的技术复杂性:管理内部部署或基于 VPC 的 AI 基础设施需要更高水平的 IT 专业知识,尤其是在机器学习运维 (MLOps) 和大型语言模型管理方面。企业必须做好准备,要么雇用,要么培训员工来处理这些系统的复杂性。

谁应该考虑私有计算?

对于那些利用 AI 来推动成本基础或客户体验转型的企业来说,制定和实施混合策略并非可选,而是生存之道。

在 2023 年的《哈佛商业评论》文章中,我们介绍了一种新的工作类别:WINS。这比常用的“知识工作”更精确,它包括那些成本基础由创造或改进文字、图像、数字和声音(WINS 工作)的职能和任务组成的公司。例如,心脏外科医生和厨师是知识工作者,但他们不是 WINS 工作者。软件程序员、会计师和营销专业人员是 WINS 工作者。

如果正在创建的 WINS 工作已经高度数字化,那么这些任务、职能、公司和行业正在发生着转型。

此外,我们看到 WINS 密集型企业采取了非常早期的行动,这些企业具有以下特征:

  • 受监管行业:金融、医疗保健和政府等行业受严格的数据隐私和合规法规的约束。私有计算解决方案确保敏感数据永远不会离开公司的控制。
  • 在 GenAI 方面投入巨资的企业:那些每年在 GenAI 上花费 1000 万美元或以上的公司可能会发现,私有计算选项在大规模情况下更具成本效益,尤其是在他们的日常令牌消耗量不断增加的情况下。
  • 自动化高级认知过程的企业:制药发现或娱乐等领域的公司,在这些领域,AI 用于推动高度特定和专有的流程,从将他们的 AI 基础设施保留在内部中获益。这降低了关键知识产权 (IP) 泄露的风险,并确保 AI 开发与他们的业务目标紧密一致。

结论

虽然公共 LLM 服务在启动 GenAI 革命方面发挥了不可估量的作用,但它们并不能满足所有企业的长期需求。对于处理敏感数据、大量使用 AI 以及对控制和成本感到担忧的大型公司来说,私有计算解决方案提供了一个引人注目的替代方案。

随着越来越多的供应商涌现出来服务这个领域,我们可以预期越来越多的企业将从公共云迁移到更安全、更可定制和更可扩展的私有部署。

Paul Baier 和 John Sviokla 是 GAI Insights 的联合创始人。

赞助文章是由支付文章费用或与 VentureBeat 有业务关系的公司制作的内容,并且始终明确标明。有关更多信息,请联系 sales@venturebeat.com。

Share This Article
Email Copy Link Print
Previous Article 20241116122547812.png AI 赚钱秘诀:如何用它创造收入
Next Article 纽约长老会医院:AI应用不急于求成,收获成功
Leave a Comment

发表回复 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

最新内容
20250610054810485.png
抖音:2025非遗数据报告
报告
人脸识别支付公司PopID完成融资 PayPal、Visa参投
未分类
20250610054408449.png
IDC:2024年中国SASE产品服务市场规模约为11.4亿元 同比增长37.8%
报告
中汽协会:2025年4月我国汽车整车出口情况简析
报告

相关内容

20250315225415245.jpg
AI

AI推理模型需要新提示方法吗?

2025年3月16日
ApertureDB Dashboard
AI

多模态数据,ApertureData加速企业10倍

2024年10月11日
A computer monitor saying Hello World! hangs above gloved hands sitting next to a green board with a golden chip bent around a tube.
AI

可弯曲的RISC-V处理器

2024年9月26日
AI

企业级SLM加速:可微自适应融合

2024年11月14日
Show More
前途科技

前途科技是一个致力于提供全球最新科技资讯的专业网站。我们以实时更新的方式,为用户呈现来自世界各地的科技新闻和深度分析,涵盖从技术创新到企业发展等多方面内容。专注于为用户提供高质量的科技创业新闻和行业动态。

分类

  • AI
  • 初创

快速链接

  • 阅读历史
  • 我的关注
  • 我的收藏
Copyright © 2024 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号
前途科技
Username or Email Address
Password

Lost your password?