自注意力机制的核心思想

自注意力机制的核心思想是通过使用（key, query, value）的三元组来捕捉全局上下文信息。在序列模型中，自注意力机制取得了很大的进步。它通过计算查询(query)与键(key)之间的相似度，然后使用这些相似度来加权计算与值(value)的加权和。这样，模型可以根据输入序列中不同位置的信息来自适应地调整权重，从而更好地利用全局上下文信息。自注意力机制在很多视觉任务中都能起到关键作用，比如语义分割和目标检测。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [【论文阅读】注意力综述（自注意力）](https://blog.csdn.net/qq_36182852/article/details/121525989)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *3* [CBAM: Convolutional Block Attention Module](https://download.csdn.net/download/weixin_42991437/86427945)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]