huggingface模型训练保存

如何在 Hugging Face 平台上进行模型训练并保存
使用 Hugging Face Transformers 库进行模型训练
为了在 Hugging Face 上训练模型，通常会使用 Transformers 和 datasets 这两个库。下面是一个简单的例子来展示如何定义、训练以及保存一个基于 Transformer 的模型。
from transformers import BertForSequenceClassification, Trainer, TrainingArguments
from datasets import load_dataset

# 加载数据集
dataset = load_dataset('glue', 'mrpc')

# 初始化预训练模型 BERT 用于序列分类任务
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

# 定义训练参数
training_args = TrainingArguments(
output_dir='./results',
num_train_epochs=3,
per_device_train_batch_size=8,
per_device_eval_batch_size=8,
warmup_steps=500,
weight_decay=0.01,
logging_dir='./logs',
)

# 创建 Trainer 实例来进行训练过程管理
trainer = Trainer(
model=model,
args=training_args,
train_dataset=dataset['train'],
eval_dataset=dataset['validation']
)

# 开始训练
trainer.train()
登录后复制
这段代码展示了怎样利用 Hugging Face 提供的工具快速搭建起一套完整的训练流程[^1]。
将训练好的模型保存到本地或上传至 Hugging Face Model Hub
完成训练之后，可以通过调用 save_pretrained() 方法将模型及其配置文件保存下来：
# 保存模型到指定路径
model.save_pretrained('./my_model_directory')
登录后复制
如果希望分享自己的成果或将模型托管在线上，则可以直接推送到 Hugging Face 的 Model Hub 中去：
transformers-cli login
huggingface-cli repo create my-model-name --organization=my-org
cd ./my_model_directory
git init && git lfs install
git add . && git commit -m "Add new model"
git remote add origin https://huggingface.co/my-org/my-model-name.git
git push origin main
登录后复制
上述命令行操作可以帮助用户将自己的模型发布出去，并且能够方便地与其他研究者共享资源[^2]。