transformer QKV维度变换

在Transformer中，QKV维度变换是指将输入的query、key、value三个向量分别进行线性变换，得到新的query、key、value向量，以便进行后续的注意力计算。具体来说，假设输入的query、key、value向量维度均为d_model，那么我们可以定义三个矩阵W_q、W_k、W_v，它们的维度分别为(d_model, d_k)、(d_model, d_k)、(d_model, d_v)，其中d_k和d_v是自定义的维度大小，通常情况下d_k=d_v=d_model/num_heads。然后，我们将输入的query、key、value向量分别与这三个矩阵相乘，得到新的query、key、value向量，它们的维度分别为(num_heads, seq_len, d_k)、(num_heads, seq_len, d_k)、(num_heads, seq_len, d_v)，其中seq_len是输入序列的长度，num_heads是多头注意力机制中头的数量。