多头注意力机制的超参数有哪些

多头注意力机制（Multi-Head Attention, MHA）是Transformer架构中的核心组件，它通过并行处理多个头部来增强模型的表示能力。它的超参数主要包括以下几个：

1. **头的数量（Number of Heads）**：指注意力机制中独立的注意力子空间数量，每个子空间处理输入的不同方面，通常选择8、16或32。

2. **键值向量的维度（Key and Value Embedding Dimension）**：也称为注意力维度，它决定了每个注意力头的维度大小，与模型的总嵌入维度有关，通常设置为总嵌入维度除以头的数量。

3. **注意力窗口大小（Attention Window Size）**：在自注意力计算中，限制了查询和键对之间的上下文考虑范围，有助于控制模型大小和计算复杂度。

4. **注意力分数的缩放因子（Scaling Factor for Attention Scores）**：通常是将输入向量长度的平方根，用于确保注意力分数在训练过程中保持可学习的范围。

5. **残差连接和层归一化（Residual Connections and Layer Normalization）**：虽然不是MHA特有的超参数，但它们是整个Transformer块的组成部分，对于稳定性和性能至关重要。

6. **前馈神经网络（Feedforward Network）的隐藏层大小（Feedforward Network Hidden Dimension）**：在MHA之后的FFN部分，通常会有一个线性变换，其宽度也是可调整的。

7. **dropout率（Dropout Rate）**：在模型中用来防止过拟合的技术，如在注意力权重或FFN层后应用。

8. **学习率和优化器设置**：这些是训练过程中的全局超参数，可能会影响MHA的学习效果。

相关问题：
1. 头的数量如何影响模型性能？
2. 为什么不同注意力头会有不同的维度？
3. 自注意力窗口大小与哪些因素有关？