transformer编码器改进点

Transformer编码器的改进点包括以下几个方面：
1. Efficient Transformer：通过使用低秩卷积、共享权重、局部注意力等技术，减少了计算和参数量，从而提高了Transformer的效率和速度。
2. Fixed Patterns：引入了一些固定的注意力模式，如距离相关的注意力、多头注意力等，以减少网络学习的复杂性，同时保持了模型的表达能力。
3. Combination of Patterns：通过将不同的注意力模式组合在一起，可以捕获不同尺度的信息，提高模型的表示能力。
4. Learnable Patterns：引入了可学习的注意力模式，使得网络能够自适应地学习各种复杂的注意力分布，提高了模型的表达能力。