企业AI所需最低基础设施

随着 2020 年代中期临近，各行各业的企业都在积极探索如何采用生成式 AI 来提高效率，减少在重复性、繁重任务上花费的时间。

在某种程度上，拥有某种生成式 AI 应用程序或助手正在迅速从“锦上添花”转变为“必不可少”。

但实现这些益处所需的最低可行基础设施是什么？无论您是大型组织还是小型企业，了解 AI 解决方案的基本组成部分都至关重要。

本指南——由该领域的领导者（包括 Hugging Face 和 Google 的专家）提供信息——概述了关键要素，从数据存储和大型语言模型 (LLM) 集成到开发资源、成本和时间线，帮助您做出明智的决策。

任何有效的生成式 AI 系统的基础都是数据——特别是您公司的数据，或者至少与您公司业务和/或目标相关的数据。

是的，您的企业可以立即使用由大型语言模型 (LLM) 提供支持的现成聊天机器人，例如 Google 的 Gemini、OpenAI 的 ChatGPT、Anthropic Claude 或网络上其他现成的聊天机器人——这些聊天机器人可以帮助完成特定的公司任务。而且它可以在不输入任何公司数据的情况下做到这一点。

但是，除非您向这些聊天机器人提供您公司的数据——由于安全问题或公司政策，这可能不被允许——否则您将无法充分利用 LLM 可以提供的优势。

因此，开发任何有用的 AI 产品供您的公司内部或外部使用，第一步是了解您拥有哪些数据以及可以与 LLM 共享哪些数据，无论是您自己服务器上控制的公共 LLM 还是私有 LLM，以及数据存储位置。还要了解数据是结构化还是非结构化。

结构化数据通常以数据库和电子表格的形式组织，具有明确定义的字段，例如日期、数字和文本条目。例如，整齐地排列在行和列中的财务记录或客户数据是结构化数据的示例。

另一方面，非结构化数据缺乏一致的格式，并且没有以预定义的方式组织。它包括各种类型的内容，例如电子邮件、视频、社交媒体帖子和文档，这些内容不容易放入传统的数据库中。由于其多样性和非统一性，这种类型的数据更难分析。

这些数据可以包括从客户互动和人力资源政策到销售记录和培训材料的所有内容。根据您对 AI 的用例——为员工内部开发产品或为客户外部开发产品——您选择的路线可能会发生变化。

让我们以一家假设的家具制造商——“椅子公司”——为例，该公司用木材为消费者和企业制造椅子。

这家椅子公司希望为员工创建一个内部聊天机器人，用于回答常见问题，例如如何报销费用、如何请假以及椅子制造文件的存放位置。

在这种情况下，椅子公司可能已经将这些文件存储在 Google Cloud、Microsoft Azure 或 AWS 等云服务上。对于许多企业来说，将 AI 功能直接集成到现有的云平台中可以显著简化部署过程。

Google Workspace 与 Vertex AI 相结合，使企业能够利用其在 Docs 和 Gmail 等生产力工具中的现有数据。

一位 Google 发言人向 VentureBeat 解释说：“借助 Vertex AI 的模型花园，企业可以选择超过 150 种预构建模型来满足其特定需求，并将这些模型无缝集成到其工作流程中。这种集成允许在 Google Workspace 应用程序中创建自定义代理，从而简化流程，为员工腾出宝贵的时间。”

例如，百时美施贵宝使用 Vertex AI 自动化其临床试验中的文档流程，这表明这些集成在改变业务运营方面有多么强大。对于小型企业或刚接触 AI 的企业来说，这种集成提供了一个用户友好的切入点，可以利用 AI 的强大功能，而无需大量的技术开销。

但是，如果公司只有在内部网或本地私有服务器上存储数据呢？椅子公司——或任何其他处于类似境地的公司——仍然可以利用 LLM 并构建一个聊天机器人来回答公司问题。但是，他们可能希望部署 Hugging Face 编码社区提供的众多开源模型之一。

Hugging Face 产品和增长主管杰夫·布迪耶 (Jeff Boudier) 在最近接受 VentureBeat 采访时解释说：“如果您身处银行或医疗保健等高度监管的行业，您可能需要在内部运行所有内容。”“在这种情况下，您仍然可以使用托管在您自己的基础设施上的开源工具。”

确定好可以并且想要输入 AI 产品的公司数据后，下一步是选择要用来为其提供支持的大型语言模型 (LLM)。

选择合适的 LLM 是构建 AI 基础设施的关键步骤。OpenAI 的 GPT-4、Google 的 DialogFlow 以及托管在 Hugging Face 上的开放模型等 LLM 提供不同的功能和定制级别。选择取决于您的特定需求、数据隐私问题和预算。

负责监督和实施公司 AI 集成的员工需要评估和比较不同的 LLM，他们可以使用 Hugging Face 上的 LMSYS 聊天机器人竞技场排行榜等网站和服务来完成此操作。

如果您选择使用专有 LLM，例如 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列或 Google 的 Gemini 系列，您需要找到 LLM 并通过 LLM 提供商的私有应用程序编程接口 (API) 将其插入您的数据库。

同时，如果椅子公司或您的企业希望将模型托管在自己的私有基础设施上以增强控制和数据安全性，那么开源 LLM 可能是最佳选择。

正如布迪耶解释的那样，“开源模型的主要优势在于您可以自己托管它们。这样可以确保您的应用程序的行为保持一致，即使原始模型已更新或更改。”

VentureBeat 已经报道了越来越多的企业采用来自 Meta 的 Llama 以及其他提供商和独立开发人员的开源 LLM 和 AI 模型。

为了使聊天机器人或 AI 系统能够提供准确且相关的响应，集成检索增强生成 (RAG) 框架至关重要。

这涉及使用检索器根据用户查询搜索相关文档，以及使用生成器（LLM）将信息综合成连贯的响应。

实施 RAG 框架需要一个向量数据库，例如 Pinecone 或 Milvus，它存储文档嵌入——您数据的结构化表示，使 AI 能够轻松检索相关信息。

RAG 框架对于需要将存储在各种格式（例如 PDF、Word 文档和电子表格）中的专有公司数据集成的企业特别有用。

这种方法允许 AI 动态提取相关数据，确保响应是最新的且具有上下文准确性。

布迪耶表示：“创建嵌入或将文档向量化是使数据可供 AI 访问的关键步骤。这种中间表示允许 AI 快速检索和利用信息，无论是基于文本的文档，还是图像和图表。”

虽然 AI 平台越来越用户友好，但实施仍然需要一些技术专业知识。以下是您可能需要的细分：

• 基本设置：对于使用预构建模型和云服务的简单部署，您现有的 IT 员工经过一些 AI 培训就足够了。
• 自定义开发：对于更复杂的需求，例如微调模型或深度集成到业务流程中，您需要数据科学家、机器学习工程师和在 NLP 和 AI 模型训练方面经验丰富的软件开发人员。

对于缺乏内部资源的企业来说，与外部机构合作是一个可行的选择。基本聊天机器人的开发成本在 15,000 美元到 30,000 美元之间，而更复杂的 AI 驱动解决方案的成本可能超过 150,000 美元。

布迪耶指出：“使用合适的工具，构建自定义 AI 模型是可行的，但您需要技术专业知识才能完成更专业的任务，例如微调模型或设置私有基础设施。”“借助 Hugging Face，我们提供了工具和社区支持来帮助企业，但拥有或聘用合适的人才对于成功实施仍然至关重要。”

对于没有大量技术资源的企业，Google 的 AppSheet 提供了一个无代码平台，允许用户通过用自然语言描述其需求来创建自定义应用程序。AppSheet 与 Gemini 等 AI 功能集成在一起，可以快速开发用于设施检查、库存管理和审批工作流程等任务的工具——所有这些都无需传统的编码技能。这使其成为自动化业务流程和创建自定义聊天机器人的强大工具。

实施 AI 解决方案需要时间和资金投入。以下是预期情况：

• 开发时间：使用预构建模型，基本聊天机器人可以在 1-2 周内开发完成。但是，需要自定义模型训练和数据集成的更高级系统可能需要几个月的时间。
• 成本：对于内部开发，每月预算约 10,000 美元，对于复杂项目，总成本可能达到 150,000 美元。基于订阅的模型提供了更实惠的切入点，成本从 0 美元到 5,000 美元不等，具体取决于功能和使用情况。

部署和维护

开发完成后，您的 AI 系统需要定期维护和更新才能保持有效。这包括监控、微调以及可能随着您的业务需求和数据发展而重新训练模型。维护成本可能从每月 5,000 美元起，具体取决于系统的复杂性和交互量。

如果您的企业在金融或医疗保健等受监管的行业运营，您可能需要将 AI 系统托管在私有基础设施上，以符合数据安全法规。布迪耶解释说：“对于数据安全至关重要的行业，在内部托管 AI 模型可以确保合规性，并完全控制数据和模型行为。”

要为您的企业设置最低可行的 AI 基础设施，您需要：

• 云存储和数据管理：使用内部网、私有服务器、私有云、混合云或 Google Cloud、Azure 或 AWS 等商业云平台来有效地组织和管理您的数据。
• 合适的 LLM：选择适合您需求的模型，无论是在云平台上托管还是部署在私有基础设施上。
• RAG 框架：实施此框架以从您的知识库中动态提取和集成相关数据。
• 开发资源：考虑内部专业知识或外部机构来构建、部署和维护您的 AI 系统。
• 预算和时间分配：为初始成本做好准备，范围从 15,000 美元到 150,000 美元不等，开发时间从几周到几个月不等，具体取决于复杂程度。
• 持续维护：定期更新和监控对于确保系统保持有效并与业务目标保持一致至关重要。

通过将这些要素与您的业务需求相结合，您可以创建一个强大的 AI 解决方案，从而提高效率、自动化任务并提供有价值的见解——同时保持对技术堆栈的控制。