前途科技
  • 科技
  • AI
    • AI 前沿技术
    • Agent生态
    • AI应用场景
    • AI 行业应用
  • 初创
  • 报告
  • 学习中心
    • 编程与工具
    • 数据科学与工程
我的兴趣
前途科技前途科技
Font ResizerAa
站内搜索
Have an existing account? Sign In
Follow US
Copyright © 2024 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号
AI 前沿技术

vLLM与魔搭社区:Windows本地部署大模型完整指南

NEXTECH
Last updated: 2025年11月17日 上午7:33
By NEXTECH
Share
8 Min Read
SHARE

针对用户对vLLM框架在Windows上本地部署大模型方法的需求,本教程将详细介绍。

vLLM在Windows上部署需借助WSL2示意图
vLLM框架原生不支持Windows系统,但可以通过WSL2(Windows Subsystem for Linux 2)进行部署。WSL2作为一个运行在Windows中的Linux子系统,为在Windows环境下运行vLLM提供了解决方案,且WSL2是WSL的最新版本。

建议用户确保电脑系统版本为较新的Windows 10或Windows 11,官方对WSL2的系统版本要求如下。

WSL2对Windows系统版本的要求
用户如果对自己的版本号有疑惑,可点击快捷键“Win+R”,然后输入‘winver’后回车即可查看系统版本号。

Windows系统版本查询(win+r,输入winver)
本教程的操作基于一台搭载3060显卡的Windows 11电脑。鉴于不同用户的系统版本和硬件环境差异,如遇任何问题,可参考文末指引寻求帮助。

用于部署教程的Windows 11系统及RTX 3060显卡环境
在整个部署过程中,WSL2的安装是关键一步。若用户此前已成功安装WSL2,则大模型本地部署任务已完成一半。

You Might Also Like

京东零售总监胡浩深度解析:大模型如何重塑京东供应链,实现智能预测与决策
安全负责任地部署AI:打破四大迷思,工程化信任之道
OpenAI 2025开发者日重磅发布:ChatGPT变身操作系统,AgentKit赋能8分钟拖拽构建复杂AI Agent
告别设计烦恼:用Google Stitch和AI大模型,数分钟打造生产级UI原型!

在后期的Windows 10及Windows 11系统中,wsl命令已系统自带,用户只需下载对应的Linux发行版并安装即可。

WSL2安装流程概述

微软官网下载地址:https://learn.microsoft.com/zh-cn/windows/wsl/install-manual?source=recommendations#step-4—download-the-linux-kernel-update-package

下载完成后,在控制面板中找到“程序”下的“启用或关闭Windows功能”选项。

Windows功能:启用或关闭界面
确保以下服务功能处于开启状态:首先是“适用于Linux的Windows子系统”选项。

启用适用于Linux的Windows子系统选项
其次是“虚拟机平台 Virtual Machine Platform”功能。请注意,此处显示可能为中文的“虚拟机平台”或纯英文的“Virtual Machine Platform”。

启用虚拟机平台(Virtual Machine Platform)选项
开启后需重启电脑。然后找到已下载的Linux发行版文件,例如本教程下载的是24.04版本的Ubuntu。用户可根据需求选择。

下载的Ubuntu 24.04 Linux发行版文件
双击该文件即可完成安装。

双击Linux发行版文件进行安装
若双击文件没有反应,可尝试重启或打开Hyper-V这一Windows功能。

Hyper-V Windows功能选项
安装过程中,系统将提示创建用户和密码,用户可根据自身需求填写,例如使用’txsys’作为用户名缩写。

WSL2系统安装时创建用户和密码界面
用户密码配置完成后,系统将自动进入已安装的Linux发行版。后续可通过输入’wsl -l -v’命令查看已安装的Linux版本。

TAGGED:vLLMWindows部署WSL2大模型魔搭社区
Share This Article
Email Copy Link Print
Previous Article 为拥有一切的爸爸准备的节日礼物指南 爸爸什么都不缺?这份礼物清单让他喜出望外!
Next Article Nano Banana提示词框架示例图 掌握Google Nano Banana:高效图像生成提示词框架及实战指南
Leave a Comment

发表回复 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

最新内容
图表1
《亚洲水发展展望2025》深度解读:亚太水安全喜忧参半,未来挑战何在?
未分类
谷歌助手设备概念图
谷歌支付6800万美元和解语音助手监听诉讼,你的隐私可能被“误触发”录音
科技
20260127081404359.jpg
甲骨文豪掷500亿美元押注AI基建,美国数据中心版图加速扩张
科技
OpenAI总裁豪掷2500万美元支持特朗普,科技巨头与政坛的深度捆绑引关注
AI

相关内容

图1:VLM在长文档理解中的应用
大模型与工程化

深度探索:如何将视觉语言模型(VLM)应用于超长文档理解

2025年11月4日
Skill Seekers工具示意图
AI 前沿技术

开源工具Skill Seekers:将任意文档转化为Claude AI技能的实战指南与功能解析

2025年11月7日
智能的锯齿状边缘概念图
AI 前沿技术

如何理性认识AI能力边界?Jason Wei斯坦福分享的3大核心框架

2025年10月26日
MineWorld游戏画面示例
大模型与工程化

方块世界中的梦想:微软MineWorld,革新Minecraft的AI世界模型

2025年10月11日
Show More
前途科技

前途科技是一个致力于提供全球最新科技资讯的专业网站。我们以实时更新的方式,为用户呈现来自世界各地的科技新闻和深度分析,涵盖从技术创新到企业发展等多方面内容。专注于为用户提供高质量的科技创业新闻和行业动态。

分类

  • AI
  • 初创
  • 学习中心

快速链接

  • 阅读历史
  • 我的关注
  • 我的收藏

Copyright © 2025 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号

前途科技
Username or Email Address
Password

Lost your password?