SimAM注意力机制结构

SimAM（Similarity-based Attention Mechanism）是一种注意力机制，用于计算序列中每个位置的注意力权重。SimAM可以用于自然语言处理任务，如语言模型、机器翻译和文本分类等。相比于其他注意力机制，SimAM更加简洁且易于实现。

具体来说，SimAM的结构包括两个关键部分：查询向量和键值对。查询向量用于指定当前需要计算的位置，而键值对则表示序列中每个位置的特征向量。通过计算查询向量与键值对之间的相似度，可以得到每个位置的注意力权重。在计算相似度时，SimAM使用了一个可学习的矩阵，该矩阵通过训练学习得到。

相关问题

simam 注意力机制结构图

SIMAM (Squeeze-and-Interpolate Multi-head Attention) 是一种改进的注意力机制，结合了squeeze操作（低秩分解）和interpolate操作（线性插值），以提高计算效率和模型性能。它在Transformer架构中被用来处理序列数据，特别是在自然语言处理任务中。

SIMAM 结构图通常包括以下几个关键组件：
1. **Squeeze操作**：将原始的高维查询、键和值矩阵压缩成低秩形式，通过矩阵分解减少计算量，同时保留关键信息。
2. **Multi-head Attention**：将低秩的查询、键和值分别进行多头注意力计算，每头注意力负责关注输入的不同方面。
3. **Interpolate操作**：对每头注意力的输出进行线性插值，然后将所有头的结果拼接起来，生成最终的上下文向量。
4. **Scale和Masking**：通常还包括注意力得分的缩放（如除以查询和键的维度之平方根）以及可能的自注意力掩码，以处理序列内的依赖关系。

simam注意力机制结构图

### SimAM注意力机制架构

SimAM是一种简单且无参数的注意力模块，旨在提升卷积神经网络(CNNs)的表现力。该方法通过引入一种新的激活函数来实现自适应调整特征的重要性[^3]。

#### 架构描述

SimAM的核心思想是在不增加额外可训练参数的情况下，利用局部响应归一化的思想，在空间和通道两个维度上动态地分配权重给不同的神经元。具体来说：

- **输入特征图**：假设有一个形状为 \(H \times W \times C\) 的输入张量。

- **计算相似度矩阵**：对于每一个位置 (h,w)，计算其与邻近区域内的其他像素之间的欧氏距离平方差之和作为相似度得分 S(h,w):
\[
S_{hw}=\sum_c\left(x_{c,hw}-m_c\right)^{2}
\]

- **生成注意力掩码**：基于上述得到的相似度分数构建一个二值化的掩码 M，其中大于某个阈值 λ 的位置会被标记为有效关注点:

\[
m_{hw}=I\left(\frac{\exp (-S_{hw})}{\lambda}>r\right), r \sim U(0,1)
\]

- **应用注意力掩码**：最后将此掩码应用于原始特征图 X 上获得最终输出 Y:

\[
y=m * x+(1-m)*f(x)
\]

这里 f 表示某种非线性变换操作，比如 ReLU 函数。

import torch
from torch import nn


class SimAM(nn.Module):
    def __init__(self, lambda_param=0.01):
        super().__init__()
        self.lambda_param = lambda_param
    
    def forward(self, x):
        b, c, h, w = x.size()
        
        # Compute similarity score
        sim_score = ((x - x.mean(dim=[2, 3], keepdim=True)) ** 2).mean(dim=1)

        # Generate binary mask based on thresholding
        max_val = sim_score.max(-1)[0].max(-1)[0].unsqueeze(-1).unsqueeze(-1)
        exp_sim = torch.exp(-self.lambda_param * sim_score / max_val)
        rand_mask = torch.rand_like(exp_sim)
        mask = (exp_sim > rand_mask).float()

        # Apply the generated mask to input tensor
        output = mask * x + (1-mask) * F.relu(x)
        
        return output