transformer中的wq wk wv

Transformer中的WQ、WK、WV是三个权重矩阵，用于将输入的词汇转换为向量。具体来说，对于每个输入的词汇，这三个权重矩阵分别将其转换为三个向量q、k、v。其中，q代表查询向量，k代表键向量，v代表值向量。这三个向量在自注意力机制中起到了重要的作用。

WQ、WK、WV的具体作用如下：
- WQ将输入的词汇转换为查询向量q，用于计算注意力分数。
- WK将输入的词汇转换为键向量k，用于计算注意力分数。
- WV将输入的词汇转换为值向量v，用于计算加权和。

在自注意力机制中，首先通过WQ、WK、WV将输入的词汇转换为查询向量q、键向量k和值向量v，然后计算注意力分数，最后将值向量v加权求和得到输出向量。这个过程可以用以下代码表示：

import torch.nn as nn

class MultiheadAttention(nn.Module):
    def __init__(self, d_model, n_head):
        super(MultiheadAttention, self).__init__()
        self.d_model = d_model
        self.n_head = n_head
        self.d_k = d_model // n_head
        
        self.WQ = nn.Linear(d_model, d_model)
        self.WK = nn.Linear(d_model, d_model)
        self.WV = nn.Linear(d_model, d_model)
        
    def forward(self, Q, K, V):
        Q = self.WQ(Q).view(batch_size, -1, self.n_head, self.d_k).transpose(1,2)
        K = self.WK(K).view(batch_size, -1, self.n_head, self.d_k).transpose(1,2)
        V = self.WV(V).view(batch_size, -1, self.n_head, self.d_k).transpose(1,2)
        
        # 计算注意力分数
        scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k)
        attn = nn.Softmax(dim=-1)(scores)
        
        # 计算加权和
        context = torch.matmul(attn, V)
        context = context.transpose(1,2).contiguous().view(batch_size, -1, self.n_head * self.d_k)
        
        return context