pytorch中的广播

在PyTorch中，广播（Broadcasting）是一种机制，它允许不同形状的张量进行数学运算，而无需显式地扩展维度或复制数据。广播可以使得张量的形状自动适应运算所需的形状，从而简化了代码的编写。

具体来说，广播规则如：
1. 如果两个张量的维度数不同，那么较低维度的张量会通过在前面插入大小为1的维度来进行扩展，直到两个张量的维度数相同。
2. 如果两个张量在某个维度上的大小不同，但其中一个张量的大小为1，那么可以将该维度上的大小为1的张量进行复制，使得两个张量在该维度上的大小相同。
3. 如果两个张量在某个维度上的大小既不相同也不为1，则无法进行广播，会抛出错误。

下面是一个示例，展示了如何使用广播进行张量运算：

import torch

# 创建两个张量
a = torch.tensor([[1, 2, 3]])
b = torch.tensor([[4], [5], [6]])

# 进行加法运算
c = a + b

print(c)

输出结果为：

tensor([[5, 6, 7],
        [6, 7, 8],
        [7, 8, 9]])

在这个例子中，张量a的形状是(1, 3)，张量b的形状是(3, 1)。根据广播规则，可以将张量a扩展为(3, 3)，将张量b复制为(3, 3)，然后进行加法运算。