针对用户对vLLM框架在Windows上本地部署大模型方法的需求,本教程将详细介绍。

vLLM框架原生不支持Windows系统,但可以通过WSL2(Windows Subsystem for Linux 2)进行部署。WSL2作为一个运行在Windows中的Linux子系统,为在Windows环境下运行vLLM提供了解决方案,且WSL2是WSL的最新版本。
建议用户确保电脑系统版本为较新的Windows 10或Windows 11,官方对WSL2的系统版本要求如下。

用户如果对自己的版本号有疑惑,可点击快捷键“Win+R”,然后输入‘winver’后回车即可查看系统版本号。

本教程的操作基于一台搭载3060显卡的Windows 11电脑。鉴于不同用户的系统版本和硬件环境差异,如遇任何问题,可参考文末指引寻求帮助。

在整个部署过程中,WSL2的安装是关键一步。若用户此前已成功安装WSL2,则大模型本地部署任务已完成一半。
在后期的Windows 10及Windows 11系统中,wsl命令已系统自带,用户只需下载对应的Linux发行版并安装即可。

微软官网下载地址:https://learn.microsoft.com/zh-cn/windows/wsl/install-manual?source=recommendations#step-4—download-the-linux-kernel-update-package
下载完成后,在控制面板中找到“程序”下的“启用或关闭Windows功能”选项。

确保以下服务功能处于开启状态:首先是“适用于Linux的Windows子系统”选项。

其次是“虚拟机平台 Virtual Machine Platform”功能。请注意,此处显示可能为中文的“虚拟机平台”或纯英文的“Virtual Machine Platform”。
开启后需重启电脑。然后找到已下载的Linux发行版文件,例如本教程下载的是24.04版本的Ubuntu。用户可根据需求选择。
双击该文件即可完成安装。

若双击文件没有反应,可尝试重启或打开Hyper-V这一Windows功能。

安装过程中,系统将提示创建用户和密码,用户可根据自身需求填写,例如使用’txsys’作为用户名缩写。

用户密码配置完成后,系统将自动进入已安装的Linux发行版。后续可通过输入’wsl -l -v’命令查看已安装的Linux版本。
