weights.unsqueeze(1), values.unsqueeze(-1)

这两个操作都是在 PyTorch 中对张量进行维度扩展的方法。其中 weights.unsqueeze(1) 是在第二个维度上增加一个维度，而 values.unsqueeze(-1) 是在最后一个维度上增加一个维度。

例如，如果 weights 的形状为 (batch_size, num_heads, seq_len), 那么 weights.unsqueeze(1) 的形状就会变成 (batch_size, 1, num_heads, seq_len)。而如果 values 的形状为 (batch_size, seq_len, hidden_size)，那么 values.unsqueeze(-1) 的形状就会变成 (batch_size, seq_len, hidden_size, 1)。

这两个操作通常用于在进行矩阵乘法时，将两个张量的维度对齐。例如，在进行注意力机制计算时，需要将 query 和 key 进行矩阵乘法，而这两个张量的形状分别为 (batch_size, num_heads, seq_len, hidden_size) 和 (batch_size, num_heads, hidden_size, seq_len)，需要将 key 的最后一个维度和 value 的第二个维度进行匹配，因此需要对 key 进行 values.unsqueeze(-1) 操作。