大模型领域的LoRA

大模型领域中的LoRA（Local Response Normalization，局部响应归一化）是一种深度学习层技术，最初由Google团队在2016年提出。LoRA主要用于自然语言处理和计算机视觉等场景，目的是为了提高模型的性能和稳定性。它通过对每个特征向量进行归一化操作，减小了激活函数输出的尺度变化，有助于缓解过拟合问题，同时保持了模型表达能力。

LoRA不是像Transformer那样的自注意力机制，而是通过局部窗口内的统计信息对输入进行调整，这种操作通常在卷积神经网络（CNN）或某些结构化的模型中应用。它的计算复杂度相对较低，对于一些资源有限的场景是有利的。