订阅我们的每日和每周通讯，获取有关行业领先的 AI 报道的最新更新和独家内容。了解更多
由于 AI 的快速发展和对错失良机的恐惧 (FOMO)，生成式 AI 项目往往是由上而下驱动的，企业领导者往往对这项突破性技术过于兴奋。但当公司急于构建和部署时，他们往往会遇到其他技术实施中常见的各种问题。AI 非常复杂，需要专门的专业知识，这意味着一些组织很快就会陷入困境。
事实上，Forrester 预测，近四分之三试图自行构建 AI 代理的组织将失败。
“挑战在于这些架构错综复杂，需要多个模型、高级 RAG (检索增强生成) 堆栈、高级数据架构和专门的专业知识，”Forrester 分析师 Jayesh Chaurasia 和 Sudha Maheshwari 写道。
那么，企业如何选择何时采用第三方模型、开源工具或构建定制的内部微调模型呢？专家们对此进行了分析。
Forrester 高级分析师 Rowan Curran 告诉 VentureBeat，试图自行构建代理的组织往往在检索增强生成 (RAG) 和向量数据库方面遇到困难。在预期的时限内获得准确的输出可能是一个挑战，而且组织并不总是理解重新排序的过程——或其重要性——这有助于确保模型使用的是最高质量的数据。
例如，用户可能会输入 10,000 个文档，模型可能会返回与当前任务相关的 100 个最相关的文档，Curran 指出。但短上下文窗口限制了可以用于重新排序的内容。因此，例如，人类用户可能需要做出判断并选择 10 个文档，从而降低模型的准确性。
Curran 指出，RAG 系统可能需要 6 到 8 周才能构建和优化。例如，第一次迭代的准确率可能在 55% 左右，然后进行调整；第二次发布的准确率可能达到 70%，最终部署的准确率理想情况下会接近 100%。
开发人员需要了解数据可用性（和质量）以及如何重新排序、迭代、评估和接地模型（即，将模型输出与相关的可验证来源匹配）。此外，提高或降低温度会决定模型的创造力——但一些组织对创造力“非常严格”，从而限制了事情的发展，Curran 说。
“人们一直认为，这方面有一个简单的按钮，”他指出。“实际上并没有。”
Curran 说，构建 AI 系统需要大量的人力投入，他强调了测试、验证和持续支持的重要性。所有这些都需要专门的资源。
“让 AI 代理成功部署可能很复杂，”Databricks AI 副总裁兼 MosaicAI 创始人兼前首席执行官 Naveen Rao 同意。企业需要访问各种大型语言模型 (LLM)，并且能够管理和监控不仅代理和模型，还有底层数据和工具。“这不是一个简单的问题，随着时间的推移，人们会对 AI 系统访问什么数据以及如何访问数据进行越来越严格的审查。”
专家建议，在考虑部署 AI 代理的选项时——第三方、开源或自定义——企业应该采取一种受控的、战术性的方法。
咨询公司 Intelligence Briefing 的创始人兼首席 AI 战略师 Andreas Welsch 建议，首先考虑几个重要的问题和因素。这些因素包括：
- 您的团队在哪里花费了大部分时间？
- 此过程中哪些任务或步骤占用了最多的时间？
- 这些任务有多复杂？它们是否涉及 IT 系统和可访问的数据？
- 更快或更具成本效益会让您的企业做什么？您能（以及如何）衡量基准吗？
Welsch 指出，考虑现有的许可证和订阅也很重要。与软件销售代表交谈，了解您的企业是否已经可以访问代理功能，如果是，使用它们需要什么（例如附加组件或更高级别的订阅）。
从那里开始，在一个业务功能中寻找机会。例如：“您的团队在哪里花费时间进行几个无法用代码描述的手动步骤？” 之后，在探索代理时，了解它们的潜力并“分类”任何差距。
此外，请务必通过向团队展示代理如何帮助他们完成工作来使他们能够使用代理并对其进行教育。“不要害怕提及代理的局限性，”Welsch 说。“这将有助于您管理期望。”
Curran 强调，在制定企业 AI 战略时，采用跨职能的方法非常重要。成功的组织会让多个部门参与到这个过程中，包括业务领导层、软件开发和数据科学团队、用户体验经理等。
他建议，根据企业的核心原则和目标制定路线图。“我们作为组织的目标是什么？AI 如何帮助我们实现这些目标？”
Curran 承认，这可能很困难，毫无疑问，因为技术发展得如此之快。“没有一套最佳实践、框架，”他说。在 AI 代理方面，没有多少开发人员拥有发布后集成和 DevOps 的经验。“构建这些东西的技能还没有得到广泛的开发和量化。”
因此，组织难以启动 AI 项目（各种项目），许多组织最终会转向咨询公司或其现有的技术供应商，这些公司拥有在他们的技术堆栈之上构建的资源和能力。最终，组织在与合作伙伴紧密合作时会取得最大的成功。
“第三方提供商可能拥有跟上最新技术和架构以构建此功能的带宽，”Curran 说。
这并不是说在内部构建自定义代理是不可能的；恰恰相反，他指出。例如，如果一家企业拥有强大的内部开发团队以及 RAG 和机器学习 (ML) 架构，他们可以使用这些架构来创建自己的代理 AI。如果“您的数据得到很好的管理、记录和标记”，并且没有“混乱不堪”的 API 策略，这也是可行的，他强调。
无论如何，企业都必须从一开始就将持续的、部署后的需求纳入其 AI 战略。
“部署后没有免费午餐，”Curran 说。“所有这些系统都需要某种形式的发布后维护和支持，持续的调整和调整，以保持它们的准确性并随着时间的推移提高它们的准确性。”
