可分离transformer
时间: 2023-09-05 12:07:37 浏览: 47
可分离Transformer是一种高效的Transformer架构,用于图像识别任务。它通过将整个图像分割为多个Patches,并将每个Patch作为一个Token提供给Transformer来捕获图像的局部和全局依赖关系。然而,由于计算效率低下的Self-Attention,基于Patch的Transformer在实际部署中面临困难。为了解决这个问题,提出了一种名为可分离Vision Transformers (SepViT)的高效Transformer Backbone。SepViT的关键设计是深度可分离的Self-Attention模块,它可以在单个Transformer块中实现窗口内的局部信息通信和窗口之间的全局信息交换。这种架构能够有效地提高计算效率,并在图像识别任务中取得良好的性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [SepViT:可分离视觉Transformer](https://blog.csdn.net/amusi1994/article/details/124263651)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]