llama -factory微调deepseek

使用 DeepSeek 对 Llama-Factory 进行微调
为了使用 DeepSeek 对 Llama-Factory 进行微调，需遵循特定流程来准备环境、加载预训练模型以及执行实际的微调过程。
准备工作
确保安装了必要的依赖库。通常情况下，这涉及到 PyTorch 及其相关工具包：
pip install torch transformers datasets deepspeed
登录后复制
加载预训练模型
通过指定 model_name_or_path 参数可以加载由 LLaMA Factory 提供的预训练中文对话模型[^2]。这里假设路径为 "unsloth/llama-3-8b-Instruct-bnb-4bit":
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("unsloth/llama-3-8b-Instruct-bnb-4bit")
model = AutoModelForCausalLM.from_pretrained("unsloth/llama-3-8b-Instruct-bnb-4bit")
登录后复制
数据集处理
对于微调而言，准备好适当的数据集至关重要。数据应当被转换成适合输入给定模型的形式，并且可能还需要根据具体应用场景调整标签格式。
from datasets import load_dataset

dataset = load_dataset('path_to_your_custom_dataset')
tokenized_datasets = dataset.map(lambda examples: tokenizer(examples['text']), batched=True)
登录后复制
配置优化器与学习率调度器
选择合适的优化算法和参数设置有助于提高最终效果。考虑到资源消耗问题，在此推荐采用混合精度训练技术以加速计算并减少内存占用。
import deepspeed

optimizer = deepspeed.DeepSpeedOptimizer(model.parameters(), lr=5e-5)

scheduler = get_linear_schedule_with_warmup(
optimizer,
num_warmup_steps=0,
num_training_steps=len(tokenized_datasets)*num_epochs//batch_size
)
登录后复制
执行微调
最后一步就是定义训练循环来进行迭代更新权重直至收敛或达到预定的最大轮次限制。
for epoch in range(num_epochs):
for step, batch in enumerate(dataloader):
outputs = model(**batch)
loss = outputs.loss

optimizer.zero_grad()
loss.backward()

optimizer.step()
scheduler.step()

if (step + 1) % log_interval == 0:
print(f'Epoch [{epoch+1}/{num_epochs}], Step[{step+1}/{len(dataloader)}], Loss: {loss.item()}')

# Save the fine-tuned model and tokenizer after training is complete.
model.save_pretrained('./output_dir/')
tokenizer.save_pretrained('./output_dir/')
登录后复制