首页transformer in vision a survey

transformer in vision a survey

时间: 2023-09-27 22:09:12 浏览: 107

vision_transformer

视觉变压器作者：Alexey Dosovitskiy *†，Lucas Beyer *，Alexander Kolesnikov *，Dirk Weissenborn *，翟小华*，Thomas Unterthiner，Mostafa Dehghani，Matthias Minderer，Georg Heigold，Sylvain Gelly，Jakob Uszkoreit和Neil Houlsby *†。（*）等于技术贡献，（†）等于建议。由Andreas Steiner准备的开源发行版。注意：此存储库是从分支和修改的。介绍在此存储库中，我们从论文释放模型，这些模型已在（ imagenet21k ）数据集上进行了预训练。我们提供用于微调 / 已发布模型的代码。模型概述：我们将图像分割成固定大小的块，线性地嵌入每个块，添加位置嵌入，然后将所得的矢量序列馈送到标

"Transformers in Vision: A Survey"是一篇综述文章，讨论了将Transformer模型应用于计算机视觉问题的研究。该文章涵盖了多个方面的内容，包括基本的自注意力机制、自我监督预训练、Transformer模型、双向表示等。在视觉任务中，自注意力机制可以应用于单头注意力机制和多头注意力机制，例如在卷积神经网络架构中使用自注意力机制、作为独立原始的自我注意力，以及使用Transformer进行目标检测、图像分割和生成。这篇综述文章探讨了Transformer模型在计算机视觉问题中的潜力和应用。123 #### 引用[.reference_title] - *1* *3* [Transformers in Vision: A Survey](https://blog.csdn.net/amusi1994/article/details/112288273)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [深度学习-Transformers in Vision: A Survey（视觉任务中的Transformer综述）](https://blog.csdn.net/ssshyeong/article/details/121192976)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

阅读全文