AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION
时间: 2023-11-19 17:17:17 浏览: 111
pso-mlp:MLP神经网络的粒子群优化
AS-MLP(Axial Shifted MLP)是一种用于视觉任务的MLP架构,由上海科技大学和腾讯优图实验室合作发表的研究论文提出。该架构解决了传统MLP网络架构在全局信息交流方面的问题,忽视了局部信息的收集。在计算机视觉中,局部特征对于识别和分割等任务非常重要。
AS-MLP的关键思想是通过沿空间轴向对特征图进行shift操作,使得不同位置的特征处于相同的通道中。然后使用Channel Projection来融合不同位置的特征,实现局部性信息的交流。这种思想类似于ShuffleNet。AS-MLP是首个将MLP架构迁移到下游任务的网络,与Swin的骨干思想基本一致,通过对token进行叠加来实现下采样。
AS-MLP在ImageNet数据集上取得了比其他MLP架构更好的性能,在COCO检测和ADE20K分割任务上与以Swin为骨干相当(略弱)的性能。这表明AS-MLP在视觉任务中具有很好的应用潜力。
未来的工作中,研究人员将进一步研究AS-MLP在自然语言处理中的有效性,并探索其在其他下游任务中的性能。 <span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
阅读全文