卷积与transformer结合
时间: 2023-08-28 20:05:56 浏览: 89
在最近的研究中,有一种新的架构名为卷积视觉转换器(CvT)将卷积与transformer结合起来。这种方法通过在视觉转换器(ViT)中引入卷积,以获得更好的性能和效率。CvT的设计包括两个主要修改:在transformer层次结构中引入了新的卷积令牌嵌入,以及利用卷积投影的卷积transformer块。这些修改将卷积神经网络(CNN)的优点(如平移、缩放和失真不变性)引入到ViT架构中,同时保留了transformer的优点(如动态关注、全局上下文和更好的泛化)。实验证明,CvT在ImageNet-1k数据集上表现出比其他Vision transformer和resnet更先进的性能,并且参数更少,计算量更低。此外,通过在更大的数据集上进行预训练并对下游任务进行微调,CvT的性能也得到了提高。该论文还指出,删除位置编码这一关键组件,并结合卷积,可以简化更高分辨率视觉任务的设计。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [读论文之transformer系列-CvT:将卷积引入transformer](https://blog.csdn.net/dear_queen/article/details/122302336)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
相关推荐
![pptx](https://img-home.csdnimg.cn/images/20210720083543.png)
![pptx](https://img-home.csdnimg.cn/images/20210720083543.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)