前途科技
  • 科技
  • AI
    • AI 前沿技术
    • Agent生态
    • AI应用场景
    • AI 行业应用
  • 初创
  • 报告
  • 学习中心
    • 编程与工具
    • 数据科学与工程
我的兴趣
前途科技前途科技
Font ResizerAa
站内搜索
Have an existing account? Sign In
Follow US
Copyright © 2024 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号
AI 前沿技术

vLLM与魔搭社区:Windows本地部署大模型完整指南

NEXTECH
Last updated: 2025年11月17日 上午7:33
By NEXTECH
Share
8 Min Read
SHARE

针对用户对vLLM框架在Windows上本地部署大模型方法的需求,本教程将详细介绍。

vLLM在Windows上部署需借助WSL2示意图
vLLM框架原生不支持Windows系统,但可以通过WSL2(Windows Subsystem for Linux 2)进行部署。WSL2作为一个运行在Windows中的Linux子系统,为在Windows环境下运行vLLM提供了解决方案,且WSL2是WSL的最新版本。

建议用户确保电脑系统版本为较新的Windows 10或Windows 11,官方对WSL2的系统版本要求如下。

WSL2对Windows系统版本的要求
用户如果对自己的版本号有疑惑,可点击快捷键“Win+R”,然后输入‘winver’后回车即可查看系统版本号。

Windows系统版本查询(win+r,输入winver)
本教程的操作基于一台搭载3060显卡的Windows 11电脑。鉴于不同用户的系统版本和硬件环境差异,如遇任何问题,可参考文末指引寻求帮助。

用于部署教程的Windows 11系统及RTX 3060显卡环境
在整个部署过程中,WSL2的安装是关键一步。若用户此前已成功安装WSL2,则大模型本地部署任务已完成一半。

You Might Also Like

2025年末数据与AI十大趋势展望:洞悉生产级AI的未来挑战与机遇
OpenAI GPT-5.1 全面升级:情商智商双核提升,个性化交互与模型特点详解
AI幻觉的几何密码:如何用角度揭示大模型的“懒惰”本质
RAG问答系统防范“幻觉”的5大策略:提升用户信任与系统准确性

在后期的Windows 10及Windows 11系统中,wsl命令已系统自带,用户只需下载对应的Linux发行版并安装即可。

WSL2安装流程概述

微软官网下载地址:https://learn.microsoft.com/zh-cn/windows/wsl/install-manual?source=recommendations#step-4—download-the-linux-kernel-update-package

下载完成后,在控制面板中找到“程序”下的“启用或关闭Windows功能”选项。

Windows功能:启用或关闭界面
确保以下服务功能处于开启状态:首先是“适用于Linux的Windows子系统”选项。

启用适用于Linux的Windows子系统选项
其次是“虚拟机平台 Virtual Machine Platform”功能。请注意,此处显示可能为中文的“虚拟机平台”或纯英文的“Virtual Machine Platform”。

启用虚拟机平台(Virtual Machine Platform)选项
开启后需重启电脑。然后找到已下载的Linux发行版文件,例如本教程下载的是24.04版本的Ubuntu。用户可根据需求选择。

下载的Ubuntu 24.04 Linux发行版文件
双击该文件即可完成安装。

双击Linux发行版文件进行安装
若双击文件没有反应,可尝试重启或打开Hyper-V这一Windows功能。

Hyper-V Windows功能选项
安装过程中,系统将提示创建用户和密码,用户可根据自身需求填写,例如使用’txsys’作为用户名缩写。

WSL2系统安装时创建用户和密码界面
用户密码配置完成后,系统将自动进入已安装的Linux发行版。后续可通过输入’wsl -l -v’命令查看已安装的Linux版本。

TAGGED:vLLMWindows部署WSL2大模型魔搭社区
Share This Article
Email Copy Link Print
Previous Article 为拥有一切的爸爸准备的节日礼物指南 爸爸什么都不缺?这份礼物清单让他喜出望外!
Next Article Nano Banana提示词框架示例图 掌握Google Nano Banana:高效图像生成提示词框架及实战指南
Leave a Comment

发表回复 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

最新内容
图表1
《亚洲水发展展望2025》深度解读:亚太水安全喜忧参半,未来挑战何在?
未分类
谷歌助手设备概念图
谷歌支付6800万美元和解语音助手监听诉讼,你的隐私可能被“误触发”录音
科技
20260127081404359.jpg
甲骨文豪掷500亿美元押注AI基建,美国数据中心版图加速扩张
科技
OpenAI总裁豪掷2500万美元支持特朗普,科技巨头与政坛的深度捆绑引关注
AI

相关内容

橙色南瓜
大模型与工程化

数据科学前沿:TDS十月精选,AI智能体、Python与上下文工程的最新洞察

2025年11月2日
大模型与工程化

系统思维:在AI时代驾驭复杂LLM应用与智能体的核心策略

2025年10月31日
LLaMA Factory部署完成界面截图
AI 前沿技术

LLaMA Factory 安装与配置指南:在 Ubuntu 上快速搭建大模型微调平台

2025年11月6日
AI生成式搜索结果示例
AI 前沿技术

AI时代内容曝光新策略:从SEO到GEO,深度解析大模型引用原理与核心操作

2025年10月27日
Show More
前途科技

前途科技是一个致力于提供全球最新科技资讯的专业网站。我们以实时更新的方式,为用户呈现来自世界各地的科技新闻和深度分析,涵盖从技术创新到企业发展等多方面内容。专注于为用户提供高质量的科技创业新闻和行业动态。

分类

  • AI
  • 初创
  • 学习中心

快速链接

  • 阅读历史
  • 我的关注
  • 我的收藏

Copyright © 2025 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。 | 京ICP备17045010号-1 | 京公网安备 11010502033860号

前途科技
Username or Email Address
Password

Lost your password?