simam 注意力模块结构图
时间: 2024-06-16 19:06:09 浏览: 167
SimAM(Simultaneous Attention Module)是一种用于计算机视觉任务的注意力模块,它可以同时学习并应用多个注意力机制。SimAM的结构图如下所示:
```
+-------------------+
| |
| Query |
| |
+-------------------+
|
|
v
+-----+
| |
| Key |
| |
+-------------------+
|
|
v
+-------------------+
| |
| Value |
| |
+-------------------+
|
***---+
| |
| Attention |
| Mechanism |
| |
+-------------------+
|
|
v
+-----+
| |
| Output |
| |
+-------------------+
```
SimAM的输入包括Query、Key和Value,其中Query表示需要关注的目标,Key表示用于计算注意力权重的参考信息,Value表示需要被加权组合的特征向量。通过Attention Mechanism计算得到注意力权重,然后将Value与注意力权重进行加权组合得到输出。
阅读全文