pycharm微调DeepSeek

在 PyCharm 中微调 DeepSeek 模型
为了在 PyCharm 中对 DeepSeek 进行微调，环境配置和具体操作流程如下：
配置开发环境
确保安装了必要的依赖库。通常情况下，这包括但不限于 transformers 和 datasets 库。可以通过命令行执行 pip 安装语句来完成这些包的下载与部署。
pip install transformers datasets torch
登录后复制
加载预训练模型
利用 Hugging Face 提供的接口加载指定版本的 DeepSeek 模型。这里假设使用的是最新的 V3 版本[^1]。
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_name = "deepseek-v3"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
登录后复制
准备数据集并定义训练参数
准备用于微调的数据集，并设置超参数如批量大小、学习率等。对于特定任务（比如情感分析），可以采用相应的公开数据集或自定义收集的数据。
import datasets
from transformers import TrainingArguments, Trainer

dataset = datasets.load_dataset('glue', 'mrpc') # 使用 GLUE 数据集中 MRPC 子集作为例子
training_args = TrainingArguments(
output_dir='./results',
evaluation_strategy="epoch",
learning_rate=2e-5,
per_device_train_batch_size=8,
per_device_eval_batch_size=8,
num_train_epochs=3,
weight_decay=0.01,
)

def tokenize_function(examples):
return tokenizer(examples['sentence1'], examples['sentence2'], truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)
small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select([i for i in list(range(100))])
small_eval_dataset = tokenized_datasets["validation"].shuffle(seed=42).select([i for i in list(range(100))])

trainer = Trainer(
model=model,
args=training_args,
train_dataset=small_train_dataset,
eval_dataset=small_eval_dataset,
)
登录后复制
开始微调过程
通过上述设定好的 Trainer 对象启动实际的微调工作流。
trainer.train()
登录后复制
测试效果评估
最后，在测试集上验证调整后的模型表现情况，以确认改进的有效性和稳定性。
eval_results = trainer.evaluate()
print(f"Evaluation results: {eval_results}")
登录后复制