vLLM 推出原生速度的 Transformers 建模后端

Hugging Face 近日宣布，vLLM 推理引擎现已支持原生 Transformers 建模后端。这意味着开发者可以直接使用常见的 Transformers 模型，无需经过复杂的适配步骤，即可享受 vLLM 带来的极速推理性能。

vLLM 凭借其高效的内存管理和动态批处理能力，在大语言模型推理领域广受欢迎。此前，vLLM 主要依赖自定义的建模后端，虽然性能优异，但要求开发者对模型进行一定程度的适配。新推出的 Transformers 原生后端则直接复用 Hugging Face Transformers 库的模型定义，显著降低了使用门槛。

性能表现

根据官方基准测试，在相同的硬件环境下（NVIDIA A100），采用 Transformers 原生后端的 vLLM 在吞吐量和延迟上与自定义后端几乎持平，部分场景甚至略有提升。例如，在 Llama 2 7B 模型推理任务中，每秒请求处理数（RPS）达到 1500，延迟保持在 30ms 以下。

如何使用

开发者只需在启动 vLLM 服务时指定 --backend transformers 选项，即可启用原生后端。以下是一个简单的调用示例：

python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-2-7b-chat-hf \
    --backend transformers

更多配置项可参考 vLLM 官方文档。

兼容性与注意事项

目前该后端支持所有通过 Transformers 库加载的因果语言模型（CausalLM），包括 Llama、Mistral、Phi 等。但部分定制化操作（如自定义 Attention 实现）可能需要额外适配。Hugging Face 表示将继续优化兼容性，并计划在未来版本中支持更多模型类型。

社区反响

该功能发布后，在 Hugging Face 社区引发广泛讨论。开发者普遍认为，原生后端简化了模型部署流程，尤其适合需要快速迭代的实验环境。一位早期测试者评论道：“这让我们省去了大量适配工作，可以更专注于业务逻辑。”

总的来说，vLLM 的 Transformers 原生后端是一项务实且高效的更新，既保留了 vLLM 的性能优势，又降低了其使用复杂度。对于正在寻找高性能推理引擎的团队来说，这无疑是一个值得关注的新选项。

---

原文链接：Hugging Face
本文由前途科技编辑整理