多头注意力机制 PPT

### 多头注意力机制介绍

多头注意力机制是一种用于处理序列数据的强大工具，在自然语言处理和其他领域得到了广泛应用。该机制允许模型关注输入的不同部分，从而提高性能和表达能力。

#### 单头注意力 vs. 多头注意力

单头注意力机制仅能在一个特定维度上捕捉特征之间的关系。相比之下，多头注意力通过多个并行的注意层来捕获不同子空间内的模式[^1]：

import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super(MultiHeadAttention, self).__init__()
        assert d_model % num_heads == 0
        
        self.d_k = d_model // num_heads
        self.num_heads = num_heads
        ...

#### 工作原理

- **查询（Q）、键（K）和值（V）矩阵**：这些向量分别代表待匹配的信息、要寻找的目标以及最终提取的内容。
- **缩放点积注意力**：计算Query与Key之间相似度得分，并据此加权求和Value获得输出表示。
- **多头设计**：将原始特征拆分为若干个小尺寸嵌入，各自独立执行上述过程后再拼接起来形成完整表征。

#### 应用场景

多头注意力广泛应用于各种NLP任务中，如机器翻译、文本摘要生成等。此外，在计算机视觉等领域也有着不俗表现，能够有效提升模型对于复杂结构的理解力。