订阅我们的每日和每周新闻通讯，获取有关行业领先 AI 报道的最新更新和独家内容。了解更多
边缘计算正在以前所未有的方式改变 AI 的格局，这一趋势已经显露无疑。随着 AI 逐渐摆脱对集中式数据中心的依赖，我们看到智能手机能够在本地运行复杂的语言模型，智能设备能够在边缘进行计算机视觉处理，而自动驾驶汽车则能够在没有云连接的情况下做出瞬时决策。
Cloudflare 产品副总裁 Rita Kozlov 表示：“目前 AI 领域的大部分关注都集中在训练上，这在传统的超大规模公共云中是合理的。你需要将大量强大的机器集中在一起才能处理非常大的工作负载，这些机器集群将用于预测天气或模拟新的药物发现。但我们正处于 AI 工作负载从训练转向推理的临界点，而这正是边缘计算将成为主导范式的领域。”
Kozlov 预测，推理将逐渐靠近用户——要么直接在设备上运行，例如自动驾驶汽车，要么在网络边缘运行。“为了让 AI 成为普通人日常生活的一部分，他们会期望它能够即时且无缝地运行，就像我们对网络性能的期望在智能手机普及后发生改变一样，我们开始依赖它进行每一次交易，”她解释道。“由于并非所有设备都具备进行推理所需的计算能力或电池续航时间，因此边缘计算是最佳的替代方案。”
然而，这种向边缘计算的转变并不一定会像许多人预测的那样减少云的使用。相反，边缘 AI 的普及正在推动云计算消费的增长，揭示了一种可能重塑企业 AI 战略的相互依赖关系。事实上，边缘推理只是复杂 AI 管道中的最后一步，该管道严重依赖云计算进行数据存储、处理和模型训练。
香港科技大学和微软亚洲研究院的最新研究表明，这种依赖关系有多么深厚——以及为什么随着边缘 AI 的扩展，云的作用可能会变得更加重要。研究人员的广泛测试揭示了云、边缘和客户端设备之间实现 AI 任务更高效运行所需的错综复杂的相互作用。
为了准确了解这种云-边缘关系在实践中的运作方式，研究团队构建了一个模拟现实世界企业部署的测试环境。他们的实验设置包括用于编排和繁重处理的 Microsoft Azure 云服务器、用于中间计算的 GeForce RTX 4090 边缘服务器以及代表客户端设备的 Jetson Nano 板。这种三层架构揭示了每个层级的精确计算需求。
关键测试涉及处理用自然语言表达的用户请求。当用户要求系统分析照片时，运行在 Azure 云服务器上的 GPT 首先解释请求，然后确定要调用哪些专门的 AI 模型。对于图像分类任务，它部署了一个视觉转换器模型，而图像字幕和视觉问答则使用引导式语言-图像再训练 (BLIP)。这表明，即使对于看似简单的请求，云服务器也必须处理多个 AI 模型的复杂编排。
该团队最重要的发现是在比较三种不同的处理方法时出现的。仅边缘推理，即完全依赖 RTX 4090 服务器，在网络带宽超过 300 KB/s 时表现良好，但在速度下降时性能急剧下降。运行在 Jetson Nano 板上的仅客户端推理避免了网络瓶颈，但无法处理视觉问答等复杂任务。混合方法——在边缘和客户端之间分配计算——被证明是最具弹性的，即使在带宽低于最佳水平时也能保持性能。
这些限制促使该团队专门为 AI 工作负载开发新的压缩技术。他们的面向任务的方法取得了显著的效率：在图像分类中保持 84.02% 的准确率，同时将数据传输从每个实例的 224KB 减少到仅 32.83KB。对于图像字幕，他们保留了高质量的结果（双语评估替补——BLEU——得分 39.58 对 39.66），同时将带宽需求降低了 92%。这些改进表明，边缘-云系统必须不断发展专门的优化才能有效地工作。
但该团队的联邦学习实验揭示了边缘-云共生的最令人信服的证据。他们在 10 个充当客户端设备的 Jetson Nano 板上运行测试，探索了 AI 模型如何在保持隐私的同时从分布式数据中学习。该系统在现实世界的网络约束下运行：250 KB/s 上行速度和 500 KB/s 下行速度，这在边缘部署中很常见。
通过云和边缘之间的精心编排，该系统在 CIFAR10 数据集上实现了超过 68% 的准确率，同时将所有训练数据保留在设备本地。CIFAR10 是机器学习 (ML) 和计算机视觉中广泛用于图像分类任务的数据集。它包含 60,000 张彩色图像，每张图像大小为 32X32 像素，分为 10 个不同的类别。该数据集包含每个类别 6,000 张图像，其中 5,000 张用于训练，1,000 张用于测试。
这种成功需要错综复杂的协调：边缘设备运行本地训练迭代，云服务器在不访问原始数据的情况下聚合模型改进，以及一个复杂的压缩系统，用于在模型更新期间最大限度地减少网络流量。
这种联邦方法被证明对现实世界的应用特别重要。对于带宽受限的视觉问答任务，该系统在保持 78.22% 准确率的同时，每次传输仅需 20.39KB——几乎与需要 372.58KB 的实现的 78.32% 准确率相匹配。数据传输需求的显著减少，再加上强大的准确率保持，证明了云-边缘系统即使在具有挑战性的网络条件下也能保持高性能。
研究结果为计划部署 AI 的组织提供了一份路线图，其影响涵盖网络架构、硬件需求和隐私框架。最重要的是，结果表明，试图仅在边缘或仅在云中部署 AI 会导致性能和可靠性的重大折衷。
网络架构成为一个关键的考虑因素。虽然研究表明，像视觉问答这样的高带宽任务需要高达 500 KB/s 的速度才能获得最佳性能，但混合架构展示了非凡的适应性。当网络速度降至 300 KB/s 以下时，系统会自动在边缘和云之间重新分配工作负载以保持性能。例如，在带宽受限的情况下处理视觉问题时，该系统使用每次传输仅 20.39KB 的数据就实现了 78.22% 的准确率——几乎与需要 372.58KB 的全带宽实现的 78.32% 准确率相匹配。
硬件配置的发现挑战了关于边缘 AI 需求的普遍假设。虽然边缘服务器使用了高端的 GeForce RTX 4090，但客户端设备在简单的 Jetson Nano 板上运行良好。不同的任务显示出不同的硬件需求：
- 图像分类在基本客户端设备上运行良好，只需最少的云支持
- 图像字幕需要更强大的边缘服务器参与
- 视觉问答需要复杂的云-边缘协调
对于关注数据隐私的企业来说，联邦学习的实施提供了一个特别引人注目的模型。通过在保持所有训练数据在设备本地的情况下，在 CIFAR10 数据集上实现 70% 的准确率，该系统证明了组织如何在不损害敏感信息的情况下利用 AI 功能。这需要协调三个关键要素：
- 边缘设备上的本地模型训练
- 云中安全的模型更新聚合
- 用于模型更新的隐私保护压缩
将边缘 AI 仅仅视为减少云依赖的一种方式的组织，错过了更大的变革。研究表明，成功的边缘 AI 部署需要边缘和云资源之间的深度集成、复杂的编排层以及数据管理的新方法。
这些系统的复杂性意味着，即使拥有大量技术资源的组织也可能发现构建自定义解决方案弊大于利。虽然研究为混合云-边缘架构提供了令人信服的理由，但大多数组织根本不需要从头开始构建这样的系统。
相反，企业可以利用现有的边缘计算提供商来实现类似的优势。例如，Cloudflare 已经建立了全球最大的 AI 推理网络之一，目前在全球 180 多个城市部署了 GPU。该公司最近还对其网络进行了增强，以支持 Llama 3.1 70B 等更大的模型，同时将中位查询延迟降低到仅 31 毫秒，而之前为 549 毫秒。
这些改进超越了原始性能指标。Cloudflare 推出的持久日志和增强的监控功能解决了研究中的另一个关键发现：边缘和云资源之间需要复杂的编排。他们的向量数据库改进，现在支持高达 500 万个向量，同时显着减少了查询时间，展示了商业平台如何提供面向任务的优化。
对于希望部署边缘 AI 应用程序的企业来说，选择越来越不是构建还是购买，而是哪个提供商能够最好地支持他们的特定用例。商业平台的快速发展意味着组织可以专注于开发他们的 AI 应用程序，而不是构建基础设施。随着边缘 AI 的不断发展，这种向专门平台的趋势，这些平台抽象了边缘-云协调的复杂性，可能会加速，使更广泛的组织能够使用复杂的边缘 AI 功能。
边缘计算和 AI 的融合揭示了比技术演变更重要的东西——它揭示了 AI 基础设施经济的根本重组。有三个变革性的转变将重塑企业 AI 战略。
首先，我们正在见证 AI 部署中所谓的“基础设施套利”的出现。真正的价值驱动因素不是原始计算能力——而是能够在全球网络中动态优化工作负载分配的能力。这表明，构建自己的边缘 AI 基础设施的企业不仅要与商业平台竞争；他们还要与全球规模和优化的基本经济学竞争。
其次，研究揭示了边缘 AI 部署中出现的“能力悖论”。随着这些系统变得更加复杂，它们实际上增加了对云资源的依赖，而不是减少依赖。这与边缘计算代表着远离集中式基础设施的观点相矛盾。相反，我们看到了一种新的经济模式的出现，在这种模式中，边缘和云功能是相乘的，而不是替代的——通过它们的交互而不是它们的独立性创造价值。
也许最重要的是，“编排资本”的兴起，在这种资本中，竞争优势不是来自拥有基础设施或开发模型，而是来自对这些资源如何交互进行的复杂优化。它是关于围绕 AI 工作负载的编排构建一种新的知识产权形式。
对于企业领导者来说，这些见解要求对 AI 战略进行根本性的重新思考。传统的构建与购买决策框架在一个以编排为关键价值驱动因素的世界中正在变得过时。了解这种转变的组织将不再将边缘 AI 视为一项技术基础设施决策，而是将其视为一项战略能力，需要新的专业知识和组织学习。
展望未来，这表明下一波 AI 创新将不是来自更好的模型或更快的硬件，而是来自越来越复杂的方法，这些方法用于编排边缘和云资源之间的交互。AI 部署的整个经济结构可能会相应地发生演变。
在这个新环境中蓬勃发展的企业将是那些在所谓的“编排智能”方面发展出深厚能力的企业，即能够动态优化复杂的混合系统以实现最大价值创造的能力。这代表着我们对 AI 时代竞争优势的思考方式的根本转变，从关注所有权和控制转向关注优化和编排。
