微软Foundry托管计算上线，一键部署Hugging Face模型

在微软 Build 2026 大会上，微软宣布推出 Foundry Managed Compute 和 Hugging Face 模型目录。后者是一组来自 Hugging Face 生态的开源权重模型，每周刷新，可一键部署到 Foundry Managed Compute 上。权重已预置于 Azure，运行时由微软构建和扫描，目录中每个模型都享有与 Foundry 上其他模型相同的企业级安全、治理、可观测性和计费能力。

平台：Microsoft Foundry 与托管计算

Microsoft Foundry 是一个构建和运行 AI 智能体应用的平台。它提供最广泛的模型选择——来自微软、OpenAI、Anthropic、Meta、Mistral、DeepSeek、Hugging Face 等，覆盖前沿模型、开源模型和自定义权重——全部通过单一端点和一套 SDK（Python、C#、JavaScript、Java）访问。

在这些模型之上是 Foundry Agent Service：多智能体编排，内置记忆、通过 Foundry IQ 进行知识扎根、以及通过智能体协议连接工具的目录，使智能体能够处理企业数据。智能体运行后，Foundry 提供端到端追踪、实时监控、持续评估和基于评估结果改进智能体行为的提示词优化器——这些可观测性和质量循环内置于平台中。

开发人员还可获得：

• 内容安全过滤器
• 任务遵循护栏
• 用于对抗性测试的 AI 红队智能体
• 统一 RBAC
• 私有网络
• 平台内直接集成的 Azure Policy

除了按 Token 付费（最低门槛入门）和预配吞吐量（前沿模型的可预测高性能生产工作负载）之外，Foundry Managed Compute 是 Foundry 中的第三种部署选项：一个面向开源和自定义模型的托管 GPU 平台即服务。

你根据工作负载所需——参数数量、上下文长度、优化延迟还是吞吐量——描述模型实例，Foundry 处理底层的 GPU 拓扑（无论实例落在单个还是多个加速器上），让你用模型术语思考和规划。

微软负责机器维护：容器更新、运行时升级和安全补丁在支持的运行时（vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp）上自动进行，无需重新部署模型，而模型配置、部署行为和路由仍由你掌控。

这种一致性贯穿开发者界面——按 Token 付费、预配吞吐量和托管计算共享：

• 单一端点
• 相同 SDK
• 相同身份验证
• 相同可观测性
• 单一账单

开源模型与 Foundry 智能体的集成方式与前沿模型相同，因此你可以在单个智能体中混合不同模型类型，无需单独集成路径。

托管计算提供：

• 全局部署——最广泛的容量和最优价格
• 数据区域部署——数据驻留和主权

代码和工作流相同。配额按加速器家族对齐，因此今天基于 H100 家族的计划会随着新硬件世代上线而延续。

为什么选择 Hugging Face

Hugging Face 是开放 AI 的公共广场：1500 万开发者、40 万个组织和超过 300 万个开放模型，每周都有新的前沿能力（编码智能体、视频分割、语音、嵌入）发布。它是开放模型的 GitHub，社区在此发布权重、编写模型卡、比较评估、拉取模型进行实验。

开放模型在各项基准上已缩小与专有模型的差距，并且它们解锁了专有端点无法做到的事情：

• 最先进技术现已开源。 领先的开源权重模型在广泛使用的基准上与顶级闭源前沿模型竞争。
• 深度定制。 完整权重允许进行微调、蒸馏、量化和使用 LoRA 适配——针对你的领域、数据和延迟/成本目标定制模型。
• 你的模型，你的托管。 权重在你控制的租户内运行，位于你的推理端点后面，带有你的身份和网络边界。
• 成本塑造。 按小时付费加速器，空闲时缩至零，为特定模型调整 GPU 大小——适用于稳定、高容量或延迟敏感的工作负载，按 Token 定价更难预测。
• 版本控制。 固定特定模型版本，评估、部署，按自己的发布节奏前进或回滚。

但一直存在操作层的挑战：发现、许可证审查、安全筛选、运行时选择、GPU 大小调整、镜像构建、CVE 补丁，以及将模型部署到企业级端点后面。Hugging Face 本身不是一个企业服务平台。Foundry 上的 Hugging Face 模型就是这一操作层，由微软运行。

Foundry 上的 Hugging Face 模型

Hugging Face 目录将精选子集直接带入 Foundry 模型目录：

• 每周刷新——随着社区发布，Hugging Face 生态中的热门模型持续添加。
• 所有模态——文本、视觉、音频和多模态：用于聊天和智能体的 LLM 和 VLM、ASR 和语音翻译、嵌入、分割、图像生成。
• 仅 SafeTensors，无不可信代码——目录中每个模型都经过安全筛选，以 SafeTensors 权重格式提供，除非经过严格审查，否则没有 trust_remote_code 执行路径。
• 匹配模型的运行时——LLM 用 vLLM 和 SGLang，适用时用 TensorRT-LLM 和 NIM，嵌入用 TEI，CPU 用 llama.cpp——Foundry 选择与模型匹配的引擎。

从你的角度看，Hugging Face 目录中的开源权重模型看起来和行为像 Foundry 模型目录中的任何其他模型，并且每个模型在出现在目录前都经过了多阶段发布管道。

精选管道

Hugging Face 和微软合作，通过系统化的精选流程将 Hugging Face 生态中最流行的开源权重模型带到 Microsoft Foundry——为企业环境做好准备：

1. 识别 Hugging Face 生态中的热门模型——基于社区信号、合作伙伴请求和客户需求——选择候选进入企业就绪。
2. 筛选合规性和安全性——对照微软的企业分发策略审查模型许可证（许可证元数据捕获并保留在目录模型卡上），检查仓库中的 trust_remote_code 模式和自定义可执行代码；任何需要在加载时执行第三方 Python 的模型要么被修复，要么被排除。
3. 构建、扫描和发布运行时——微软在支持的运行时（vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp）上构建推理容器镜像，扫描 CVE，签名并发布到微软管理的容器注册表。
4. 上传权重到安全的 Azure 存储——模型权重从 Hugging Face 拉取一次，对照发布的模型卡验证，存储在微软管理的 Azure 存储中（在模型服务的区域）。
5. 验证并发布到目录——每个模型+运行时+加速器组合都经过 API 一致性（聊天补全、嵌入、重排序等）和性能（延迟、吞吐量、首 Token 时间、Token间解码时间）测试，然后将验证后的模型（含模板、运行时镜像和权重）发布到 Foundry 模型目录，一键部署到托管计算。

由于权重已预置于 Azure 存储，运行时镜像存储在微软管理的注册表中，你的部署不需要出站网络访问 Hugging Face Hub——你可以在私有网络内部署到生产环境。

模型运行时

Foundry 上的 Hugging Face 模型由一系列社区构建的开源推理运行时驱动——每个运行时都针对 Foundry 托管计算进行了选择和调优，并与它最好服务的模型架构匹配。在所有运行时上，系统性的精选流程意味着新版本和补丁快速落地 Foundry，现有模型部署自动升级——无需你重新部署。

• vLLM——开源大语言模型的默认高吞吐量服务引擎，针对生产 GPU 工作负载调优。由于 Hugging Face 是 vLLM 的直接贡献者，Transformers 库中的任何模型都可以开箱即用 vLLM——因此当新模型落地 Hugging Face 时，同一天即可在 Foundry 上服务，无需等待定制集成。
• SGLang——语言和多模态模型的服务引擎，对结构化输出（JSON、正则、语法约束生成）有强大支持，这是智能体和工具使用工作负载所依赖的。Hugging Face 和 SGLang 团队为 SGLang 构建了 Transformers 后端集成，因此 Transformers 库中的任何模型都可以开箱即用 SGLang——并在落地 Hugging Face 的同一天到达 Foundry。
• Text Embeddings Inference (TEI)——嵌入、重排序和序列分类模型的运行时。加速器特定镜像附带针对 Foundry 支持的每个 GPU 和 CPU 家族编译的内核，使嵌入热路径对 RAG 和语义搜索工作负载保持轻量。
• llama.cpp——GGUF 量化模型的 CPU 和小 GPU 路径。适用于成本优化部署、较小模型和仅 CPU 区域，提供与 vLLM 和 SGLang 相同的 OpenAI 兼容 API。
• TensorRT-LLM 和 NIM——在 NVIDIA 硬件上使用，当 NVIDIA 的优化内核和基于 Triton 的服务为特定模型家族带来显著更好的延迟或吞吐量时。
• hf-serve——Hugging Face 自己的多模型推理服务器，用于 LLM 和嵌入快路径之外的模型架构（视觉、音频、分割和其他 Transformers 原生管道），使目录能够以一致的服务层覆盖所有模态。

部署和评分开源权重模型

Foundry 模型目录中的 Hugging Face 目录是起点，部署只需五个步骤：

1. 浏览目录并选择模型——部署向导还会显示模型 ID、部署模板 ID 和 acceleratorType，如果你通过 SDK 或 REST 脚本部署的话需要这些。
2. 选择部署模板——延迟优化 vs 吞吐量优化、加速器家族、上下文长度、量化。
3. 配置实例数量——通过添加模型实例扩展吞吐量。
4. 部署——通过门户、CLI、SDK 或 REST。
5. 通过统一 Foundry 端点评分，使用你已经使用的 SDK。

部署模板

部署模板是第二步中的选择单元：一个命名、版本化的资产，固定运行时、加速器家族和数量、上下文长度以及服务模型所需的运行时特定调优——因此选择模板是你为“我希望这个模型如何运行”转动的唯一旋钮。

例如，qwen3-32b 有四个模板，部署向导并排显示：

模板	运行时	加速器	上下文
qwen–qwen3-32b–40k-nvidia-a100	vLLM	1 × A100 80 GB	40K
qwen–qwen3-32b–40k-nvidia-h100	vLLM	1 × H100 80 GB	40K
qwen–qwen3-32b–128k-nvidia-2xa100	vLLM	2 × A100 80 GB	128K
qwen–qwen3-32b–128k-nvidia-2xh100	vLLM	2 × H100 80 GB	128K

每个模板都为模型预调优——运行时设置、工具调用和推理解析器、评分路径、健康探测、请求并发以及任何模型特定的上下文扩展设置都由微软设置，任何权衡都在模板描述中内联说明。当你脚本化部署时，你引用模板，Foundry 处理其余部分。

部署——Python SDK

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient

client = CognitiveServicesManagementClient(DefaultAzureCredential(), SUBSCRIPTION_ID)

deployment = client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name="qwen3-32b",
    resource={
        "sku": {"name": "GlobalManagedCompute", "capacity": 1},
        "properties": {
            "model": "azureml://registries/azure-huggingface/models/qwen--qwen3-32b/versions/1",
            "deploymentTemplate": "azureml://registries/azure-huggingface/deploymenttemplates/qwen--qwen3-32b--40k-nvidia-h100/labels/latest",
            "acceleratorType": "H100_80GB",
        },
    },
).result()

评分——OpenAI SDK

部署通过统一 Foundry 端点使用 OpenAI SDK 访问——model 字段取你刚刚创建的部署名称：

from openai import OpenAI

api_key  = client.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1
endpoint = f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1"

openai_client = OpenAI(base_url=endpoint, api_key=api_key)

completion = openai_client.chat.completions.create(
    model=deployment.name,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(completion.choices[0].message)

在智能体中使用

目录中的聊天补全模型作为管理员连接的模型接入 Foundry 智能体，可通过 Foundry Responses API 调用，使用相同的 OpenAI SDK——相同的认证、端点、可观测性。

今日可用内容

现已提供预览： Microsoft Foundry 模型目录中的 Hugging Face 目录——数千个模型覆盖所有模态，每周刷新，可部署到 Foundry 托管计算，支持 NVIDIA A100、NVIDIA H100 或 AMD MI300X 加速器（全局和数据区域范围），背后是统一 Foundry 端点，支持 Playground、一等 Azure Monitor 指标、每部署计费标签，以及自动应用于部署的精选运行时升级和 CVE 补丁。

申请预览：forms.cloud.microsoft/r/8Jnx1LALLA

路线图上： 更广泛的 Hugging Face 生态覆盖、更多加速器家族，以及自带权重（为微调和专有变体通过与目录模型相同的模板和治理部署）。

Hugging Face 是开放模型发布和发现的地方。Microsoft Foundry 是企业将它们运营化的地方——在 Azure 托管中，基于精选、许可证审查、安全筛选的权重；基于社区构建和 CVE 扫描的运行时；背后是单一端点，带有企业身份、网络、可观测性和智能体集成。开源生态的广度，加上微软在底层运行的操作层。

---

原文链接：Hugging Face
本文由前途科技编辑整理