transformer NAS
时间: 2023-08-31 12:13:11 浏览: 179
transformer
Transformer NAS是指利用神经结构搜索(Neural Architecture Search,NAS)技术来改进Transformer模型的设计。在计算机视觉任务中,特别是结合Vision Transformer(ViT)模型时,Transformer NAS被用来提高ViT的性能。通过结合CNN中的设计技术和NAS技术,比如权重共享NAS,可以改进ViT的结构参数,如Attention head和Transformer Block的数量,从而进一步提高ViT的性能。ViT-ResNAS是一种结合了CNN的设计技术和NAS技术的多阶段ViT结构,它具有残差空间缩减的特点,并使用了NAS进行设计。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [NAS+CNN+Transformer=ViT-Res!MIT团队重磅开源ViT-Res,精度高于DeiT-Ti8.6%](https://blog.csdn.net/moxibingdao/article/details/120278965)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
阅读全文