transformer RAM

在深度学习中，"transformer RAM"指的是一种基于变压器（transformer）和RAM（Residual Attention Module）的模型结构。这种结构将变压器的自注意力机制与残差模块相结合，用于图像分割任务。

具体来说，transformer RAM由两个编码器组成，一个基于CNN的残差网络和一个基于Swin变压器。这两个编码器通过RAM传递信息，并利用残差结构获取细化后的特征。RAM模块由三个主要组成部分组成：Channel依赖P、变形卷积和细化特征。

首先，Channel依赖P是作为权重与变形卷积运算的结果相乘，从而得到细化的特征。然后，将细化后的特征与残差结构相连接，形成RAM的输出特征Tn。

通过使用transformer RAM，可以充分获取遥感图像的判别特征，并进一步提高Swin变压器的性能。这种结构在图像分割任务中被广泛应用，并取得了良好的效果。

引用：
相应组成部分：ST-UNet是Swin transformer和UNet的混合体，它继承了UNet的优良结构，采用跳跃式连接层连接编码器和解码器。ST-UNet构造了由基于CNN的残差网络和Swin变压器组成的双编码器，通过RAM传输信息，充分获取遥感图像的判别特征。
我们将Channel依赖P作为权值与变形卷积运算的结果相乘，得到了细化的特征。最后，将细化后的特征与残差结构相连接，形成RAM的输出特征Tn。