huggingface lora模型 训练

PEFT 是 Hugging Face 的一个开源库，它可以帮助我们高效地将预训练语言模型适配到各种下游应用。使用 PEFT，我们可以为 LoRA 模型进行训练。下面是训练 LoRA 模型的步骤：

1. 首先，我们需要定义 LoRA 的配置（LoraConfig）。配置包括一些参数，如 r（LoRA 的卷积核大小）、lora_alpha（控制 LoRA 正则化的超参数）、target_modules（指定要应用 LoRA 的模块）等。

2. 然后，我们可以使用 PEFT 提供的函数 prepare_model_for_int8_training(model) 来准备模型进行 int-8 训练。

3. 接下来，我们可以使用 get_peft_model(model, lora_config) 函数为模型添加 LoRA 适配器。这将根据配置参数对模型进行修改，并为其添加 LoRA 相关的层。

4. 最后，可以使用 model.print_trainable_parameters() 打印出模型的可训练参数数量、总参数数量和可训练参数所占比例。