如何计算Transformer中的QKV？

Transformer中的QKV计算是通过将输入的特征向量分别映射为查询（Q）、键（K）和值（V）向量，然后通过计算注意力权重来获取最终的输出。下面是计算Transformer中的QKV的步骤：

1. 映射输入特征向量为查询（Q）、键（K）和值（V）向量[^1][^2]。
- 首先，通过线性变换将输入特征向量映射为查询向量Q、键向量K和值向量V。这个线性变换可以使用矩阵乘法和偏置项来实现。
- 例如，在自然语言处理任务中，输入特征向量可以是词嵌入向量，通过线性变换将其映射为查询向量Q、键向量K和值向量V。

2. 计算注意力权重[^1]。
- 使用查询向量Q和键向量K计算注意力权重。注意力权重表示了查询向量与键向量之间的相关性。
- 通过计算查询向量Q和键向量K的点积，然后除以一个缩放因子（如向量维度的平方根），再经过softmax函数得到注意力权重。

3. 使用注意力权重加权求和得到输出。
- 将注意力权重与值向量V相乘，然后对结果进行加权求和，得到最终的输出向量。
- 这个输出向量可以作为下一层的输入，或者作为模型的最终输出。

下面是一个示例代码，演示了如何计算Transformer中的QKV：

import torch
import torch.nn as nn

# 定义一个Transformer模型
class Transformer(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(Transformer, self).__init__()
        self.linear_q = nn.Linear(input_dim, output_dim)
        self.linear_k = nn.Linear(input_dim, output_dim)
        self.linear_v = nn.Linear(input_dim, output_dim)

    def forward(self, x):
        q = self.linear_q(x)
        k = self.linear_k(x)
        v = self.linear_v(x)

        # 计算注意力权重
        attention_weights = torch.softmax(torch.matmul(q, k.transpose(-2, -1)) / torch.sqrt(torch.tensor(q.size(-1))), dim=-1)

        # 使用注意力权重加权求和得到输出
        output = torch.matmul(attention_weights, v)

        return output

# 创建一个Transformer模型实例
input_dim = 512
output_dim = 256
transformer = Transformer(input_dim, output_dim)

# 输入特征向量
x = torch.randn(10, input_dim)

# 计算Transformer中的QKV
output = transformer(x)
print(output)