详细举例torch.matmul()的用法

`torch.matmul()` 是 PyTorch 中的一个函数，用于矩阵乘法操作，它主要用于张量之间的点积（dot product），即当第一个张量的第二个维度和第二个张量的第一个维度相同时，它们可以相乘。下面是一个详细例子来说明它的用法：

import torch

# 创建两个张量，注意它们的形状要求
tensor1 = torch.tensor([[1, 2], [3, 4]])
tensor2 = torch.tensor([[5, 6], [7, 8]])

# 使用 torch.matmul()
matrix_product = torch.matmul(tensor1, tensor2)

# 结果将会是：
# tensor([[19, 22],
#         [43, 50]])
# 这是因为第一行和第二列的元素进行了点积（[1*5+2*7, 3*5+4*7] 和 [1*6+2*8, 3*6+4*8]）

# 如果你想进行广播（broadcasting）计算，比如一个标量和一个矩阵相乘，可以这样做：
scalar = torch.tensor(2)
product_with_scalar = torch.matmul(scalar, tensor1)

# 结果会是：
# tensor([[2, 4],
#         [6, 8]])
# 每一行的每个元素都乘以了标量2。

相关问题

attention层的运用代码举例

下面是使用PyTorch实现的一个简单的self-attention层的示例代码：

import torch
import torch.nn as nn

class SelfAttention(nn.Module):
    def __init__(self, hidden_size):
        super(SelfAttention, self).__init__()
        
        self.hidden_size = hidden_size
        self.query = nn.Linear(hidden_size, hidden_size)
        self.key = nn.Linear(hidden_size, hidden_size)
        self.value = nn.Linear(hidden_size, hidden_size)
        self.softmax = nn.Softmax(dim=-1)

    def forward(self, inputs):
        # inputs shape: [batch_size, seq_len, hidden_size]
        
        Q = self.query(inputs)  # shape: [batch_size, seq_len, hidden_size]
        K = self.key(inputs)  # shape: [batch_size, seq_len, hidden_size]
        V = self.value(inputs)  # shape: [batch_size, seq_len, hidden_size]
        
        # 计算注意力分数
        attention_scores = torch.matmul(Q, K.transpose(-2, -1)) / (self.hidden_size ** 0.5)  # shape: [batch_size, seq_len, seq_len]
        
        # 对注意力分数进行softmax归一化
        attention_probs = self.softmax(attention_scores)  # shape: [batch_size, seq_len, seq_len]
        
        # 使用注意力权重加权求和
        attention_output = torch.matmul(attention_probs, V)  # shape: [batch_size, seq_len, hidden_size]
        
        return attention_output

在这个示例中，我们定义了一个`SelfAttention`模块，构建时需要指定隐层维度`hidden_size`。在`forward`方法中，我们通过`nn.Linear`定义了三个线性层分别作为query、key和value的变换矩阵。然后，我们根据query、key和value计算注意力分数，对分数进行softmax归一化，最后使用注意力权重加权求和得到attention输出。

unsqueeze(1)有什么用并举例

unsqueeze(1)可以将一维数组或向量转换为二维数组或矩阵，并在第一维度上添加一个维度。这通常用于将一个向量转换为一个单列矩阵，以便进行矩阵乘法或其他相似的操作。

例如，对于以下一维张量：

import torch

a = torch.tensor([1, 2, 3, 4])

我们可以使用unsqueeze(1)将其转换为一个二维张量：

b = a.unsqueeze(1)
print(b)

输出：

tensor([[1],
        [2],
        [3],
        [4]])

可以看到，向量a变成了一个4x1的矩阵，其中第一维度为4，第二维度为1。这可以很方便地用于矩阵乘法，例如：

c = torch.tensor([[1, 2, 3], [4, 5, 6]])
d = torch.matmul(b, c)
print(d)

输出：

tensor([[ 1,  2,  3],
        [ 8, 10, 12],
        [ 9, 12, 15],
        [16, 20, 24]])

可以看到，d是一个4x3的矩阵，其中每行都是向量a与矩阵c的乘积。这只是unsqueeze(1)的一个示例用法，它还有其他许多用途。