微软Foundry托管计算上线，一键部署Hugging Face模型

从你的角度看，Hugging Face 目录中的开源权重模型看起来和行为像 Foundry 模型目录中的任何其他模型，并且每个模型在出现在目录前都经过了多阶段发布管道。

精选管道

Hugging Face 和微软合作，通过系统化的精选流程将 Hugging Face 生态中最流行的开源权重模型带到 Microsoft Foundry——为企业环境做好准备：

1. 识别 Hugging Face 生态中的热门模型——基于社区信号、合作伙伴请求和客户需求——选择候选进入企业就绪。
2. 筛选合规性和安全性——对照微软的企业分发策略审查模型许可证（许可证元数据捕获并保留在目录模型卡上），检查仓库中的 trust_remote_code 模式和自定义可执行代码；任何需要在加载时执行第三方 Python 的模型要么被修复，要么被排除。
3. 构建、扫描和发布运行时——微软在支持的运行时（vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp）上构建推理容器镜像，扫描 CVE，签名并发布到微软管理的容器注册表。
4. 上传权重到安全的 Azure 存储——模型权重从 Hugging Face 拉取一次，对照发布的模型卡验证，存储在微软管理的 Azure 存储中（在模型服务的区域）。
5. 验证并发布到目录——每个模型+运行时+加速器组合都经过 API 一致性（聊天补全、嵌入、重排序等）和性能（延迟、吞吐量、首 Token 时间、Token间解码时间）测试，然后将验证后的模型（含模板、运行时镜像和权重）发布到 Foundry 模型目录，一键部署到托管计算。

由于权重已预置于 Azure 存储，运行时镜像存储在微软管理的注册表中，你的部署不需要出站网络访问 Hugging Face Hub——你可以在私有网络内部署到生产环境。

模型运行时

Foundry 上的 Hugging Face 模型由一系列社区构建的开源推理运行时驱动——每个运行时都针对 Foundry 托管计算进行了选择和调优，并与它最好服务的模型架构匹配。在所有运行时上，系统性的精选流程意味着新版本和补丁快速落地 Foundry，现有模型部署自动升级——无需你重新部署。

• vLLM——开源大语言模型的默认高吞吐量服务引擎，针对生产 GPU 工作负载调优。由于 Hugging Face 是 vLLM 的直接贡献者，Transformers 库中的任何模型都可以开箱即用 vLLM——因此当新模型落地 Hugging Face 时，同一天即可在 Foundry 上服务，无需等待定制集成。
• SGLang——语言和多模态模型的服务引擎，对结构化输出（JSON、正则、语法约束生成）有强大支持，这是智能体和工具使用工作负载所依赖的。Hugging Face 和 SGLang 团队为 SGLang 构建了 Transformers 后端集成，因此 Transformers 库中的任何模型都可以开箱即用 SGLang——并在落地 Hugging Face 的同一天到达 Foundry。
• Text Embeddings Inference (TEI)——嵌入、重排序和序列分类模型的运行时。加速器特定镜像附带针对 Foundry 支持的每个 GPU 和 CPU 家族编译的内核，使嵌入热路径对 RAG 和语义搜索工作负载保持轻量。
• llama.cpp——GGUF 量化模型的 CPU 和小 GPU 路径。适用于成本优化部署、较小模型和仅 CPU 区域，提供与 vLLM 和 SGLang 相同的 OpenAI 兼容 API。
• TensorRT-LLM 和 NIM——在 NVIDIA 硬件上使用，当 NVIDIA 的优化内核和基于 Triton 的服务为特定模型家族带来显著更好的延迟或吞吐量时。
• hf-serve——Hugging Face 自己的多模型推理服务器，用于 LLM 和嵌入快路径之外的模型架构（视觉、音频、分割和其他 Transformers 原生管道），使目录能够以一致的服务层覆盖所有模态。

部署和评分开源权重模型

Foundry 模型目录中的 Hugging Face 目录是起点，部署只需五个步骤：

1. 浏览目录并选择模型——部署向导还会显示模型 ID、部署模板 ID 和 acceleratorType，如果你通过 SDK 或 REST 脚本部署的话需要这些。
2. 选择部署模板——延迟优化 vs 吞吐量优化、加速器家族、上下文长度、量化。
3. 配置实例数量——通过添加模型实例扩展吞吐量。
4. 部署——通过门户、CLI、SDK 或 REST。
5. 通过统一 Foundry 端点评分，使用你已经使用的 SDK。

部署模板

部署模板是第二步中的选择单元：一个命名、版本化的资产，固定运行时、加速器家族和数量、上下文长度以及服务模型所需的运行时特定调优——因此选择模板是你为“我希望这个模型如何运行”转动的唯一旋钮。

例如，qwen3-32b 有四个模板，部署向导并排显示：

每个模板都为模型预调优——运行时设置、工具调用和推理解析器、评分路径、健康探测、请求并发以及任何模型特定的上下文扩展设置都由微软设置，任何权衡都在模板描述中内联说明。当你脚本化部署时，你引用模板，Foundry 处理其余部分。

部署——Python SDK

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient

client = CognitiveServicesManagementClient(DefaultAzureCredential(), SUBSCRIPTION_ID)

deployment = client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name="qwen3-32b",
    resource={
        "sku": {"name": "GlobalManagedCompute", "capacity": 1},
        "properties": {
            "model": "azureml://registries/azure-huggingface/models/qwen--qwen3-32b/versions/1",
            "deploymentTemplate": "azureml://registries/azure-huggingface/deploymenttemplates/qwen--qwen3-32b--40k-nvidia-h100/labels/latest",
            "acceleratorType": "H100_80GB",
        },
    },
).result()

评分——OpenAI SDK

部署通过统一 Foundry 端点使用 OpenAI SDK 访问——model 字段取你刚刚创建的部署名称：

from openai import OpenAI

api_key  = client.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1
endpoint = f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1"

openai_client = OpenAI(base_url=endpoint, api_key=api_key)

completion = openai_client.chat.completions.create(
    model=deployment.name,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(completion.choices[0].message)

在智能体中使用

目录中的聊天补全模型作为管理员连接的模型接入 Foundry 智能体，可通过 Foundry Responses API 调用，使用相同的 OpenAI SDK——相同的认证、端点、可观测性。

今日可用内容

现已提供预览： Microsoft Foundry 模型目录中的 Hugging Face 目录——数千个模型覆盖所有模态，每周刷新，可部署到 Foundry 托管计算，支持 NVIDIA A100、NVIDIA H100 或 AMD MI300X 加速器（全局和数据区域范围），背后是统一 Foundry 端点，支持 Playground、一等 Azure Monitor 指标、每部署计费标签，以及自动应用于部署的精选运行时升级和 CVE 补丁。

申请预览：forms.cloud.microsoft/r/8Jnx1LALLA

路线图上： 更广泛的 Hugging Face 生态覆盖、更多加速器家族，以及自带权重（为微调和专有变体通过与目录模型相同的模板和治理部署）。

Hugging Face 是开放模型发布和发现的地方。Microsoft Foundry 是企业将它们运营化的地方——在 Azure 托管中，基于精选、许可证审查、安全筛选的权重；基于社区构建和 CVE 扫描的运行时；背后是单一端点，带有企业身份、网络、可观测性和智能体集成。开源生态的广度，加上微软在底层运行的操作层。

原文链接：Hugging Face
本文由前途科技编辑整理