大模型微调lAdapter

### LoRA 方法简介

Low-Rank Adaptation (LoRA) 是一种高效的微调技术，通过冻结预训练模型的权重并引入低秩矩阵来适应新任务。这种方法不仅减少了可训练参数的数量，还保持了较高的模型质量，在许多情况下性能优于或等于全量微调的结果[^1]。

### 实现细节

具体来说，LoRA 的实现方式是在原有网络结构的基础上增加一些小型的、可学习的模块。这些模块通常被设计成具有较低维度的形式，从而显著减少需要更新的参数数量。对于每一层中的权重 \( W \)，可以将其分解为两个较小矩阵 \( A \times B \) 的乘积形式：

\[ W' = W + UBV^T \]

其中 \( U \in R^{d\times r} \),\( V\in R^{r\times d'}\) 和 \( B \in R^{r\times r}\)，这里 \( r << min(d,d') \)。

这种做法使得即使在资源有限的情况下也能有效地调整大规模语言模型以执行新的下游任务。

### Python代码示例

下面是一个简单的例子展示如何应用LoRA到Hugging Face Transformers库中的`BertForSequenceClassification`:

from transformers import BertTokenizer, BertConfig, get_linear_schedule_with_warmup
import torch.nn as nn
import torch.optim as optim


class LoraLinear(nn.Module):
    def __init__(self, in_features, out_features, rank=4):
        super().__init__()
        self.linear = nn.Linear(in_features, out_features)
        self.lora_A = nn.Parameter(torch.randn(rank, in_features))
        self.lora_B = nn.Parameter(torch.randn(out_features, rank))

    def forward(self, x):
        base_output = self.linear(x)
        lora_output = self.lora_B @ self.lora_A * x.unsqueeze(-2)
        return base_output + lora_output.sum(dim=-2)


def apply_lora_to_model(model_class=BertForSequenceClassification, config=None, num_labels=2, adapter_rank=4):
    if not isinstance(config, BertConfig): 
        raise ValueError('config must be an instance of `BertConfig`.')
    
    class ModelWithLora(model_class):
        def __init__(self,*args,**kwargs):
            super(ModelWithLora,self).__init__(*args,**kwargs)

            # 替换最后一层为带有LoRA机制的新一层
            old_classifier = getattr(self,'classifier')
            setattr(
                self,
                'classifier',
                LoraLinear(old_classifier.in_features,old_classifier.out_features,r=adapter_rank),
            )

    return ModelWithLora.from_pretrained(pretrained_model_name_or_path='bert-base-uncased',num_labels=num_labels,config=config)


tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model_config = BertConfig()
fine_tuned_bert = apply_lora_to_model(BertForSequenceClassification,model_config,num_labels=2,adapter_rank=8)

optimizer = optim.AdamW(fine_tuned_bert.parameters(), lr=5e-5)
scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=0, num_training_steps=1000)

# 训练过程...