transformers trainer保存log

在Hugging Face的Transformers库中，`Trainer` 类是训练模型的核心组件之一。当你使用它训练模型时，会自动记录训练过程的相关信息，包括损失、准确率等指标到日志文件。这个日志通常称为"检查点"或"logging"，存储在用户指定的路径下。

要保存和查看这些日志，你需要配置`Trainer` 的`logging_dir` 参数，它指定了保存日志的位置。例如：

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir='./results',          # 输出目录
    logging_dir='./logs',            # 日志文件位置
    report_to='tensorboard',        # 使用TensorBoard报告进度
)

trainer = Trainer(model=model, args=training_args, train_dataset=train_dataset, eval_dataset=val_dataset)

训练过程中，`trainer.train()` 会实时更新并保存日志到`logging_dir`下的`metrics.json` 和 `tr_loss.log` 文件，以及TensorBoard事件文件（`.tfevents`）。你可以通过命令行运行 `tensorboard --logdir=./logs` 来查看实时的训练日志。

如果你需要在训练结束后访问所有的日志，可以在`trainer.save_metrics()` 或者 `trainer.save_state()` 后，加载`logging_dir`下的`state_dict` 和 `metrics` 文件。