通过ollama离线部署DeepSeek-R1-Distill-Qwen-1.5B模型

如何通过 Ollama 进行 DeepSeek-R1-Distill-Qwen-1.5B 模型的离线部署
为了成功完成 DeepSeek-R1-Distill-Qwen-1.5B 的离线部署，需遵循特定流程并满足相应环境需求。此部分介绍具体操作指南。
准备工作
确保目标机器具备足够的计算资源来支持模型运行。对于较小规模的蒸馏版本如 Qwen-1.5B，虽然不需要像满血版那样高的硬件配置，但仍建议至少配备一块高性能 GPU 和充足的 RAM 来保障流畅执行[^3]。
安装依赖包
安装必要的 Python 库和其他工具链之前，先设置虚拟环境以隔离项目依赖关系：
python -m venv myenv
source myenv/bin/activate # Linux/MacOS 或者 `myenv\Scripts\activate` Windows下
pip install --upgrade pip setuptools wheel torch transformers accelerate bitsandbytes safetensors
登录后复制
下载预训练权重文件
由于网络访问受限，在开始前应提前下载好所需的预训练参数文件，并将其放置于指定目录内以便后续加载使用。可以从官方仓库或其他可信渠道获取这些二进制数据集。
加载与初始化模型实例
利用 Hugging Face Transformers 库简化加载过程，下面给出一段简单的代码片段用于创建模型对象：
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name_or_path = "path/to/local/model"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForCausalLM.from_pretrained(
model_name_or_path,
device_map="auto", # 自动分配到可用设备上
load_in_8bit=True # 使用 int8 推理优化
)
登录后复制
测试推理功能
最后一步是验证整个系统的正常运作情况，可以通过输入一些样本文本来观察输出效果：
input_text = "Once upon a time..."
inputs = tokenizer(input_text, return_tensors="pt").to('cuda')
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
登录后复制
以上即为基于 Ollama 平台实现 DeepSeek-R1 蒸馏变体之一 Qwen-1.5B 版本离线部署的大致步骤概述[^1]。