vLLM部署windows

### 部署vLLM框架于Windows操作系统

对于希望在Windows平台上部署vLLM框架的情况，虽然官方文档可能更侧重Linux环境下的指导[^1]，但依然可以通过特定的方法实现这一目标。考虑到Windows具备子系统支持Linux（WSL），这成为了一种可行方案。

#### 使用Windows Subsystem for Linux (WSL)

为了简化流程并利用已有的Linux部署指南，在Windows上启用WSL是一个明智的选择。完成此设置之后，可以如同在Ubuntu或其他Linux发行版中一样安装必要的依赖项和工具链。具体而言：

- 安装适用于Linux的Windows子系统(WSL)，推荐版本为WSL 2以获得更好的性能和支持。

wsl --install -d Ubuntu-20.04

- 更新软件包列表并安装Docker CE以便后续用于创建容器化应用环境[^3]。

sudo apt-get update && sudo apt-get upgrade -y
sudo apt install docker.io -y

- 构建自定义镜像来满足项目需求，例如针对Qwen-7B模型的具体配置。

docker build -t custom-qwen:latest -f path_to_dockerfile/Dockerfile-cu121 .

- 设置环境变量指向本地缓存路径，优化下载速度及管理空间占用[^2]。

import os
os.environ['MODELSCOPE_CACHE'] = '/data/llm'

通过以上步骤可以在接近原生Linux体验的基础上成功搭建起适合运行vLLM的工作环境。值得注意的是，尽管这种方法能够有效解决问题，但在实际操作过程中仍需注意不同平台间的差异性和兼容性问题。