自注意力加权池化 词向量

### 自注意力加权池化在词向量中的应用

自注意力机制（Self-Attention Mechanism）通过计算输入序列中不同位置之间的关系来增强模型的表现力。对于词向量而言，这种机制能够捕捉词语间的依赖关系，从而生成更加丰富的语义表示。

#### 实现过程

为了实现基于自注意力的加权池化操作，通常会经历以下几个核心阶段：

1. **构建查询、键和值矩阵**
首先定义三个线性变换函数 \( W_Q \)，\( W_K \)，以及 \( W_V \)[^1]。这些权重矩阵分别用于映射原始嵌入到对应的查询(Query)、键(Key) 和 值(Value)空间。

2. **计算注意力分数**
使用点积或其他相似度衡量方法得到每一对单词间的重要性得分\[ S(i,j)=\frac{Q_i K_j^\top}{\sqrt{d_k}} \] ，其中 \( d_k \) 是键维度大小，这一步骤有助于量化各个词汇在整个句子内的相对重要程度。

3. **softmax 归一化处理**
对上述获得的关注力度表施加 softmax 函数以确保所有概率之和等于 1 ：\[ A=\text {softmax}(S / \sqrt{d_{k}})\ ]

4. **加权求和获取最终特征**
将归一化的注意力建模结果乘以相应的 Value 向量并累加以形成新的上下文感知型词嵌入表达形式：\[ C=A V \]

import torch
import torch.nn as nn

class SelfAttentionPooling(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super(SelfAttentionPooling, self).__init__()
        
        # 定义 Q,K,V 的投影层
        self.query_proj = nn.Linear(input_dim, hidden_dim)
        self.key_proj = nn.Linear(input_dim, hidden_dim)
        self.value_proj = nn.Linear(input_dim, hidden_dim)

    def forward(self, inputs, mask=None):
        queries = self.query_proj(inputs)
        keys = self.key_proj(inputs).transpose(1, 2)
        values = self.value_proj(inputs)

        scores = torch.bmm(queries, keys) / (keys.size(-1)**0.5)
        if mask is not None:
            scores.masked_fill_(mask.unsqueeze(1), float('-inf'))
            
        attention_weights = F.softmax(scores, dim=-1)
        context_vector = torch.bmm(attention_weights, values)
        
        return context_vector.mean(dim=1)


# 示例用法
input_tensor = torch.randn((batch_size, seq_len, embedding_dim))
model = SelfAttentionPooling(embedding_dim, hidden_dim)
output_embedding = model(input_tensor)

该模块可以作为神经网络架构的一部分，在自然语言处理任务如文本分类、问答系统等领域发挥重要作用。