前途科技
  • 科技
  • AI
    • AI 前沿技术
    • Agent生态
    • AI应用场景
    • AI 行业应用
  • 初创
  • 报告
  • 学习中心
    • 编程与工具
    • 数据科学与工程
我的兴趣
前途科技前途科技
Font ResizerAa
站内搜索
Have an existing account? Sign In
Follow US
Copyright © 2024 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号
AI 前沿技术

vLLM与魔搭社区:Windows本地部署大模型完整指南

NEXTECH
Last updated: 2025年11月17日 上午7:33
By NEXTECH
Share
8 Min Read
SHARE

针对用户对vLLM框架在Windows上本地部署大模型方法的需求,本教程将详细介绍。

vLLM在Windows上部署需借助WSL2示意图
vLLM框架原生不支持Windows系统,但可以通过WSL2(Windows Subsystem for Linux 2)进行部署。WSL2作为一个运行在Windows中的Linux子系统,为在Windows环境下运行vLLM提供了解决方案,且WSL2是WSL的最新版本。

建议用户确保电脑系统版本为较新的Windows 10或Windows 11,官方对WSL2的系统版本要求如下。

WSL2对Windows系统版本的要求
用户如果对自己的版本号有疑惑,可点击快捷键“Win+R”,然后输入‘winver’后回车即可查看系统版本号。

Windows系统版本查询(win+r,输入winver)
本教程的操作基于一台搭载3060显卡的Windows 11电脑。鉴于不同用户的系统版本和硬件环境差异,如遇任何问题,可参考文末指引寻求帮助。

用于部署教程的Windows 11系统及RTX 3060显卡环境
在整个部署过程中,WSL2的安装是关键一步。若用户此前已成功安装WSL2,则大模型本地部署任务已完成一半。

You Might Also Like

PaddleOCR-VL多模态文档解析方案发布:0.9B参数问鼎SOTA,突破文档极限
AI关怀的奥秘:意识是必要条件,还是殊途同归?
RAG问答系统防范“幻觉”的5大策略:提升用户信任与系统准确性
Anthropic最新研究:LLM展现初步自省能力,概念注入实验揭示AI内省迹象

在后期的Windows 10及Windows 11系统中,wsl命令已系统自带,用户只需下载对应的Linux发行版并安装即可。

WSL2安装流程概述

微软官网下载地址:https://learn.microsoft.com/zh-cn/windows/wsl/install-manual?source=recommendations#step-4—download-the-linux-kernel-update-package

下载完成后,在控制面板中找到“程序”下的“启用或关闭Windows功能”选项。

Windows功能:启用或关闭界面
确保以下服务功能处于开启状态:首先是“适用于Linux的Windows子系统”选项。

启用适用于Linux的Windows子系统选项
其次是“虚拟机平台 Virtual Machine Platform”功能。请注意,此处显示可能为中文的“虚拟机平台”或纯英文的“Virtual Machine Platform”。

启用虚拟机平台(Virtual Machine Platform)选项
开启后需重启电脑。然后找到已下载的Linux发行版文件,例如本教程下载的是24.04版本的Ubuntu。用户可根据需求选择。

下载的Ubuntu 24.04 Linux发行版文件
双击该文件即可完成安装。

双击Linux发行版文件进行安装
若双击文件没有反应,可尝试重启或打开Hyper-V这一Windows功能。

Hyper-V Windows功能选项
安装过程中,系统将提示创建用户和密码,用户可根据自身需求填写,例如使用’txsys’作为用户名缩写。

WSL2系统安装时创建用户和密码界面
用户密码配置完成后,系统将自动进入已安装的Linux发行版。后续可通过输入’wsl -l -v’命令查看已安装的Linux版本。

TAGGED:vLLMWindows部署WSL2大模型魔搭社区
Share This Article
Email Copy Link Print
Previous Article 为拥有一切的爸爸准备的节日礼物指南 爸爸什么都不缺?这份礼物清单让他喜出望外!
Next Article Nano Banana提示词框架示例图 掌握Google Nano Banana:高效图像生成提示词框架及实战指南
Leave a Comment

发表回复 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

最新内容
图6:👉
提升4倍效率:AI编程助手的四大实战技巧
编程与工具
索尼PS5 Pro主机特写
索尼PS5 Pro限时直降100美元!圣诞前入手性能怪兽的最佳时机
科技
线性模式下的小时表示图
你的模型是否“时间失明”?揭秘周期性特征编码的必要性与实践
未分类
安克笔记本充电宝优惠信息图
安克大容量笔记本充电宝重回黑五史低价,仅售87.99美元
科技

相关内容

零一万物CEO李开复博士在GOTC峰会发表演讲
AI 前沿技术

零一万物联合开源中国推出OAK平台:构建Agent世界的基础设施

2025年11月2日
大模型与工程化

AI工程与评估:解锁未来软件开发的新范式与核心挑战

2025年10月3日
未使用Skill生成的SaaS登陆页面
AI 前沿技术

Claude Code:Anthropic AI团队利用Skills革新前端设计,UI设计师如何应对“AI slop”挑战?

2025年11月15日
AI 前沿技术

Docling:RAG数据秒级转换解决方案,彻底解决数据准备难题及实战部署指南

2025年10月13日
Show More
前途科技

前途科技是一个致力于提供全球最新科技资讯的专业网站。我们以实时更新的方式,为用户呈现来自世界各地的科技新闻和深度分析,涵盖从技术创新到企业发展等多方面内容。专注于为用户提供高质量的科技创业新闻和行业动态。

分类

  • AI
  • 初创
  • 学习中心

快速链接

  • 阅读历史
  • 我的关注
  • 我的收藏

Copyright © 2025 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号

前途科技
Username or Email Address
Password

Lost your password?

Not a member? Sign Up