deepseek在本地部署并微调

DeepSeek 本地部署及微调方法
安装 Ollama 和依赖项
为了使 DeepSeek 能够在本地环境中顺利运行，安装 Ollama 是必要的第一步。这一步骤提供了适合大型语言模型（LLM）的本地执行环境，确保了 DeepSeek 的正常运作[^1]。
pip install ollama
登录后复制
准备微调所需的库和配置文件
对于希望进一步优化 DeepSeek 性能的研究者来说，在完成基础设置之后还需要准备用于微调过程中的工具和支持包。特别是 deepspeed 库被推荐用来加速训练流程，并提高资源利用率。通过指定特定路径下的 Deepspeed 配置 JSON 文件来调整训练参数可以有效提升效率[^2]。
pip install deepspeed
登录后复制
在 Python 训练脚本中加入如下代码片段：
from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
output_dir='./results',
num_train_epochs=3,
per_device_train_batch_size=8,
save_steps=10_000,
save_total_limit=2,
prediction_loss_only=True,
deepspeed="./configs/deepspeed_config.json"
)
登录后复制
启动推理服务并应用微调成果
当完成了上述准备工作后，下一步就是利用已经过微调处理过的模型来进行实际的任务测试或是提供在线咨询服务。此时可以通过命令行界面启动基于 C++ 实现高性能推断引擎 llama.cpp 来加载经过改进后的权重文件，从而实现在真实场景下快速响应用户请求的目的[^3]。
llama.cpp -m ./Qwen2.5-3B-Instruct/model.bin -n 2048 -b 8
登录后复制