NAM注意力机制的作用

NAM（Normalized Attention Module）是一种基于归一化的注意力模块，其作用是抑制不太显着的特征，从而提高模型的压缩效率。 该模块通过对注意力模块应用权重稀疏惩罚，使其在保持相似性能的同时具有更高的计算效率。 相比于在ResNet和MobileNet上使用的其他三种注意力机制，NAM方法可以提供更高的准确性。 这种注意力机制的实现代码可以在 https://github.com/Christian-lyc/NAM 上公开访问。 NAM的作用是通过抑制不太显着的特征来提高模型的压缩效率，从而在模型压缩方面具有重要的应用价值。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [【第23篇】NAM：基于标准化的注意力模块](https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/122092352)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *3* [NAM：基于归一化的注意力模块](https://blog.csdn.net/qq_41897154/article/details/123819791)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]