前途科技
  • 科技
  • AI
    • AI 前沿技术
    • Agent生态
    • AI应用场景
    • AI 行业应用
  • 初创
  • 报告
  • 学习中心
    • 编程与工具
    • 数据科学与工程
我的兴趣
前途科技前途科技
Font ResizerAa
站内搜索
Have an existing account? Sign In
Follow US
Copyright © 2024 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号
AI 前沿技术

vLLM与魔搭社区:Windows本地部署大模型完整指南

NEXTECH
Last updated: 2025年11月17日 上午7:33
By NEXTECH
Share
8 Min Read
SHARE

针对用户对vLLM框架在Windows上本地部署大模型方法的需求,本教程将详细介绍。

vLLM在Windows上部署需借助WSL2示意图
vLLM框架原生不支持Windows系统,但可以通过WSL2(Windows Subsystem for Linux 2)进行部署。WSL2作为一个运行在Windows中的Linux子系统,为在Windows环境下运行vLLM提供了解决方案,且WSL2是WSL的最新版本。

建议用户确保电脑系统版本为较新的Windows 10或Windows 11,官方对WSL2的系统版本要求如下。

WSL2对Windows系统版本的要求
用户如果对自己的版本号有疑惑,可点击快捷键“Win+R”,然后输入‘winver’后回车即可查看系统版本号。

Windows系统版本查询(win+r,输入winver)
本教程的操作基于一台搭载3060显卡的Windows 11电脑。鉴于不同用户的系统版本和硬件环境差异,如遇任何问题,可参考文末指引寻求帮助。

用于部署教程的Windows 11系统及RTX 3060显卡环境
在整个部署过程中,WSL2的安装是关键一步。若用户此前已成功安装WSL2,则大模型本地部署任务已完成一半。

You Might Also Like

LLM、RAG与AI Agents深度解析:核心关系、作用及生产级应用架构
Datapizza AI:加速 LLM 智能体开发与部署的强大框架
Google DeepMind揭示:开源AI模型如何泄露训练数据与核心秘方
腾讯版CodeBuddy实测:微信登录,畅用GPT5、Claude4、Gemini 2.5 Pro,构建本地AI画廊界面

在后期的Windows 10及Windows 11系统中,wsl命令已系统自带,用户只需下载对应的Linux发行版并安装即可。

WSL2安装流程概述

微软官网下载地址:https://learn.microsoft.com/zh-cn/windows/wsl/install-manual?source=recommendations#step-4—download-the-linux-kernel-update-package

下载完成后,在控制面板中找到“程序”下的“启用或关闭Windows功能”选项。

Windows功能:启用或关闭界面
确保以下服务功能处于开启状态:首先是“适用于Linux的Windows子系统”选项。

启用适用于Linux的Windows子系统选项
其次是“虚拟机平台 Virtual Machine Platform”功能。请注意,此处显示可能为中文的“虚拟机平台”或纯英文的“Virtual Machine Platform”。

启用虚拟机平台(Virtual Machine Platform)选项
开启后需重启电脑。然后找到已下载的Linux发行版文件,例如本教程下载的是24.04版本的Ubuntu。用户可根据需求选择。

下载的Ubuntu 24.04 Linux发行版文件
双击该文件即可完成安装。

双击Linux发行版文件进行安装
若双击文件没有反应,可尝试重启或打开Hyper-V这一Windows功能。

Hyper-V Windows功能选项
安装过程中,系统将提示创建用户和密码,用户可根据自身需求填写,例如使用’txsys’作为用户名缩写。

WSL2系统安装时创建用户和密码界面
用户密码配置完成后,系统将自动进入已安装的Linux发行版。后续可通过输入’wsl -l -v’命令查看已安装的Linux版本。

TAGGED:vLLMWindows部署WSL2大模型魔搭社区
Share This Article
Email Copy Link Print
Previous Article 为拥有一切的爸爸准备的节日礼物指南 爸爸什么都不缺?这份礼物清单让他喜出望外!
Next Article Nano Banana提示词框架示例图 掌握Google Nano Banana:高效图像生成提示词框架及实战指南
Leave a Comment

发表回复 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

最新内容
20251202135921634.jpg
英伟达20亿美元投资新思科技,AI芯片设计革命加速
科技
20251202130505639.jpg
乌克兰国家AI模型选定谷歌Gemma,打造主权人工智能
科技
20251202121525971.jpg
中国开源AI新突破:DeepSeek V3.2模型性能比肩GPT-5
科技
20251202112744609.jpg
马斯克预言:AI三年内解决美国债务危机,可信吗?
科技

相关内容

Atlas浏览器界面,显示Chrome应用商店
AI 前沿技术

OpenAI 公开 Atlas 架构:为AI Agent重新发明浏览器

2025年11月1日
AI 前沿技术

企业级 RAG 系统实战:2万+文档处理的10大挑战与解决方案(附代码示例)

2025年10月11日
多云架构导致数据孤岛现象
AI 前沿技术

Apache Gravitino: 统一元数据与血缘,赋能Data+AI时代数据治理

2025年10月20日
Image 22: 描述或上传
大模型与工程化

告别设计烦恼:用Google Stitch和AI大模型,数分钟打造生产级UI原型!

2025年9月21日
Show More
前途科技

前途科技是一个致力于提供全球最新科技资讯的专业网站。我们以实时更新的方式,为用户呈现来自世界各地的科技新闻和深度分析,涵盖从技术创新到企业发展等多方面内容。专注于为用户提供高质量的科技创业新闻和行业动态。

分类

  • AI
  • 初创
  • 学习中心

快速链接

  • 阅读历史
  • 我的关注
  • 我的收藏

Copyright © 2025 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号

前途科技
Username or Email Address
Password

Lost your password?

Not a member? Sign Up