docker 部署vllm 指定显卡

Docker部署VLLM（Virtual Learning Laboratory Management System，虚拟实验室管理系统）时，如果你想指定容器使用特定的GPU资源，你需要在Dockerfile中配置GPU支持，并在运行容器时明确指派GPU。以下是基本步骤：

1. **添加GPU支持到Dockerfile**:
- 使用支持GPU的Docker镜像作为基础镜像，例如nvidia/cuda 或 nvidia/opengl。

   FROM nvidia/cuda:latest

2. **安装必要的GPU驱动和工具**:
- 在Dockerfile中安装CUDA、cuDNN等GPU相关软件包。

   RUN apt-get update && \
       apt-get install -y --no-install-recommends cuda-cudart-dev libcuda11.0 libnccl2

3. **设置环境变量**:
- 确保NVIDIA_VISIBLE_DEVICES环境变量指向你想要使用的GPU。

   ENV NVIDIA_VISIBLE_DEVICES=0 # 指定使用第0块GPU，你可以修改为你实际的GPU编号

4. **运行时指定GPU**:
- 在启动容器时，使用`--gpus all`或`--runtime=nvidia`选项启用GPU，并绑定GPU资源。

   docker run -it --rm --gpus all -e NVIDIA_VISIBLE_DEVICES=0 my-vllm-image

5. **验证GPU**:
- 进入容器后，可以运行`nvidia-smi`命令查看GPU是否已经被识别和使用。

注意，确保你的主机系统上已经正确安装了相应的GPU硬件和驱动程序，并且Docker守护进程也允许使用GPU资源。此外，不是所有的Docker镜像都支持GPU，所以需要提前确认你的目标镜像是否有GPU版本可用。