transformer降参

引用[1]中提到了RMS Norm在Transformer中的应用，并且通过比较实验显示出了其优越性。因此，未来RMS Norm有可能取代Layer Normalization成为Transformer的标配。引用[2]和[3]中介绍了Inception Transformer（iFormer）这一新的Transformer架构，它通过灵活移植Inception的卷积和最大池化操作，并采用通道拆分机制和频率斜坡结构来处理高频和低频信息，以提高Transformer对局部信息的捕捉能力。所以，通过引入新的架构和优化方法，Transformer的性能可以得到进一步提升。