transformer优点 全局

Transformer的优点之一是能够捕获全局信息。相比于CNN，CNN的感受野有限，很难捕获全局信息，而Transformer通过自注意力机制可以有效获取全局信息，并且多头机制可以将其映射到多个空间，提高模型的表达能力。

另外，Transformer在模态融合方面也具有很好的能力。对于图像，可以将通过卷积或直接对像素操作得到的初始嵌入输入到Transformer中，而无需保持特定的特征图结构。类似于位置嵌入，只要可以编码的信息，都可以轻松地利用进来。

此外，Transformer还具有多任务学习的能力。通过注意力机制，网络可以对不同的任务进行不同的学习，可以通过添加任务ID的嵌入来实现。这意味着一个Transformer可以执行多个任务，提高了模型的灵活性和适应性。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [轻量化混合（卷积和transformer）网络，发论文的热点](https://download.csdn.net/download/weixin_43424450/87411939)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [Transformer在CV领域的优缺点](https://blog.csdn.net/PETERPARKERRR/article/details/125635190)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]