cross-attention module
时间: 2023-10-31 22:06:45 浏览: 30
引用和提到了cross-attention module。这个模块是在自监督学习中使用的一种新的测试指标,用于动态地选择适合图像分类的信息。在这个模块中,会使用一个简单的cross-attention module和一个linear classifier。cross-attention module是由一系列的attention机制组成,其中query是masked patch的表征,而key和value是全部patch的表征。通过计算query-key的相似度,并引入每个patch对应的位置编码,模块会不断更新masked patch的表征,并且能够关注到图像的主体物体。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [更好的性能,新型自监督学习方法 CAE 了解一下](https://blog.csdn.net/qq_39967751/article/details/124671712)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]