自注意力和多头注意力机制

自注意力（Self-Attention）和多头注意力机制（Multi-Head Attention）是深度学习中用于处理序列数据的重要组件，尤其在自然语言处理任务中被广泛应用。

自注意力是一种机制，用于计算序列中每个元素与其他元素之间的关联权重。它通过对序列中的每个元素进行注意力计算，来捕捉元素之间的依赖关系。在自注意力中，每个元素都会与其他元素进行相似度计算，得到一个权重分布，用于加权求和其他元素的表示。这种计算方式允许模型在不同位置上关注不同程度的上下文信息，从而更好地捕捉序列中的长距离依赖关系。

多头注意力机制是对自注意力的扩展，通过使用多个注意力头并行地进行计算，来增加模型的表达能力。每个注意力头都有自己的权重矩阵，可以学习不同的关注模式。在计算过程中，多个头的注意力结果会被拼接或求平均，然后传递给后续的层进行处理。多头注意力机制允许模型同时关注不同的相关性，并从不同角度对序列进行建模，提高了模型的表示能力和泛化能力。

自注意力和多头注意力机制在Transformer模型中得到了广泛应用，特别是在机器翻译、文本生成等任务中。它们能够充分捕捉序列中的上下文信息，并建模元素之间的依赖关系，从而提升模型的性能和效果。

相关问题

自注意力机制与多头注意力机制与多头自注意力机制

自注意力机制、多头注意力机制和多头自注意力机制是深度学习中的三种常见的注意力机制。

自注意力机制是指在一个序列中，每个位置都可以与序列中的其他位置产生关联，然后根据这些关联计算该位置的表示。自注意力机制将输入序列中的每个元素作为查询，键和值，并计算每个元素在序列中的权重，从而产生输出序列。

多头注意力机制是指将自注意力机制进行扩展，将原始输入元素分成多个头（头数是超参数），每个头都使用自注意力机制来计算权重。最后将每个头的输出拼接在一起，形成最终的输出。

多头自注意力机制将自注意力机制和多头注意力机制结合起来，即在一个序列中，每个位置都可以与序列中的其他位置产生关联，并且每个位置可以分成多个头，每个头都使用自注意力机制来计算权重。

这些注意力机制在自然语言处理任务中得到广泛应用，例如机器翻译、文本摘要等。

自注意力机制和多头自注意力机制

### 自注意力机制与多头自注意力机制

#### 3.1 自注意力机制 (Self-Attention Mechanism)

在自然语言处理领域，自注意力机制是一种用于捕捉序列数据内部依赖关系的技术[^1]。该方法允许模型关注输入序列的不同位置，从而更好地理解上下文信息。

具体来说，在计算过程中，对于给定的一个词向量 \( q \)，通过线性变换得到查询向量（Query）、键向量（Key）以及值向量（Value），即：

\[ Q = W_q X, K = W_k X, V = W_v X \]

其中 \( W_q, W_k, W_v \) 是可学习参数矩阵；\( X \) 表示输入嵌入表示。接着利用这些向量来计算注意力权重分布:

\[ Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d}})V \]

这里 \( d \) 是特征维度大小，除以根号下 \( d \) 的目的是为了缩放点积结果，防止梯度消失或爆炸问题的发生。

这种设计使得每一个单词都可以与其他所有单词建立联系，并根据其重要程度赋予不同权重，进而形成新的加权求和后的表征形式。

import torch.nn as nn
import math

class ScaledDotProductAttention(nn.Module):
    def __init__(self, temperature):
        super().__init__()
        self.temperature = temperature
    
    def forward(self, q, k, v):
        attn = torch.matmul(q / math.sqrt(self.temperature), k.transpose(-2,-1))
        output = torch.matmul(attn.softmax(dim=-1), v)
        return output

#### 3.2 多头自注意力机制 (Multi-Head Self-Attention Mechanism)

多头自注意力机制是对单个自注意力层的一种扩展方式，它能够并行执行多个独立的自注意力操作并将它们的结果拼接起来作为最终输出。这样做不仅增加了模型容量，还让网络可以联合提取来自不同子空间的信息。

每个“头”都对应着一组不同的投影矩阵 \(W^{(i)}_q\)、\(W^{(i)}_k\) 和 \(W^{(i)}_v\) ，因此可以在各自的空间里自由探索最合适的映射关系。最后再经过一个全连接层汇总各个头部产生的特征图谱，实现更丰富的表达能力。

\[ MultiHead(Q,K,V) = Concat(head_1,...,head_h)W_o \]
\[ head_i=Attention(QW^{(i)}_q ,KW^{(i)}_k,VW^{(i)}_v ) \]

这种方法有效地提高了系统的灵活性和鲁棒性，尤其适用于复杂场景下的任务需求。

class MultiHeadedAttention(nn.Module):
    def __init__(self, n_head, d_model, dropout=0.1):
        super().__init__()

        assert d_model % n_head == 0
        
        self.d_k = d_model // n_head
        self.h = n_head
        self.linears = clones(nn.Linear(d_model, d_model), 4)
        self.attn = None
        self.dropout = nn.Dropout(p=dropout)
        
    def forward(self, query, key, value):
        nbatches = query.size(0)
        
        # 将输入张量拆分为多个头
        query, key, value = \
            [l(x).view(nbatches, -1, self.h, self.d_k).transpose(1, 2)
             for l, x in zip(self.linears, (query, key, value))]
            
        # 应用缩放点乘法注意力函数
        x, _ = attention(query, key, value, mask=None, 
                         dropout=self.dropout)
        
        # 使用另一个线性转换重组所有的头
        x = x.transpose(1, 2).contiguous() \
             .view(nbatches, -1, self.h * self.d_k)
        del _
        return self.linears[-1](x)