swim transformer讲解

Swim-transformer是一种基于transformer的神经网络结构，可以提取多尺度的信息，并将时间复杂度降至线性。相比于基于Vit的网络结构，Swim-transformer可以更好地处理多尺度信息，并在各种任务上达到了SOTA的精度，包括视觉任务、视频动作识别、自监督学习和图像复原等。Swim-transformer的网络结构包括Encoder和Decoder两部分，其中Encoder用于提取特征，Decoder用于生成输出。Decoder的输入分为训练时的输入和预测时的输入，输出则通过线性变换层和Softmax层将解码组件产生的向量投射到一个比它大得多的、被称作对数几率（logits）的向量里，最终输出概率最高的单元格对应的单词作为输出。