CVPR transformer NAS

CVPR transformer NAS(Computer Vision and Pattern Recognition Transformer Neural Architecture Search)是一种在计算机视觉和模式识别领域中进行Transformer神经网络架构搜索的方法。根据引用，尽管one-shot NAS的范式已经在TAS领域中应用，但其仍需要大量地计算代价去训练一个超网用于不同ViT架构的性能估计。另外，由于ViT搜索空间的范围比CNN的大很多，且ViT需要更多的训练epochs，因此目前的one-shot-based TAS的搜索效率仍然不够高效。为了提升搜索效率，引用提出了MAS的synatic diversity和MLP的synaptic saliency作为VIT的评价代理，并将TF-NAS与其他ViT搜索空间或TFS方法结合来进一步提升搜索效率。

另外，根据引用的理论分析，网络剪枝在CNN和Transformer中都展示出了巨大的潜力。已有研究证明，Transformer中的不同模块展示了不同程度的冗余性，并尝试对Transformers的各个维度进行剪枝。在这方面，TAS关注于搜索不同的维度，例如注意力头的数量、MSA和MLP的比例等。因此，CVPR transformer NAS的目标是通过剪枝和搜索不同的ViT维度来优化Transformer神经网络架构，以提高计算机视觉和模式识别任务的性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [[NAS2](2022CVPR)TF-NAS: Training Free Transformer Architecture Search](https://blog.csdn.net/m0_37412775/article/details/125758410)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]