vllm部署大模型deepseek

使用vLLM部署DeepSeek大模型教程
准备工作
为了成功部署DeepSeek V2 Lite模型，在准备阶段需确保安装了必要的软件包并配置好环境。具体操作如下：
通过魔搭平台下载所需的大规模预训练模型文件，并指定缓存目录以便管理存储位置。
pip install modelscope
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-V2-Lite-Chat', cache_dir='/root/autodl-tmp')
登录后复制
接着获取特定版本的vllm库源码，该版本针对DeepSeek进行了优化调整，从而更好地支持目标模型特性[^2]。
git clone https://github.com/zwd003/vllm.git
cd vllm
pip install -e.
登录后复制
配置与启动服务端口
完成上述准备工作之后，则可以着手于设置API接口以供外部调用。这里采用的是模拟OpenAI API的方式来进行交互测试，这有助于快速验证本地部署的效果以及探索更多应用场景的可能性。
定义HTTP请求路径指向运行中的服务器实例地址；创建文本补全任务时指明所使用的模型名称、输入提示词以及其他必要参数如最大返回token数量等。
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1")

response = client.completions.create(
model="deepseek-70b",
prompt="中国的首都是",
max_tokens=100
)

print(response.choices[0].text)
登录后复制
值得注意的是，实际应用过程中可能还需要考虑性能优化方面的工作，比如利用Flash Attention技术加速推理过程，提高响应效率和服务质量。