pytorch手写神经网络层例子

下面是一个简单的PyTorch手写神经网络层的例子，包含前向计算和反向传播：

import torch

# 定义一个全连接层
class LinearLayer(torch.nn.Module):
    def __init__(self, in_features, out_features):
        super(LinearLayer, self).__init__()
        self.weight = torch.nn.Parameter(torch.randn(out_features, in_features))
        self.bias = torch.nn.Parameter(torch.randn(out_features))
        
    def forward(self, x):
        output = torch.matmul(x, self.weight.t()) + self.bias
        return output

# 测试代码
x = torch.randn(16, 32)  # 输入张量
layer = LinearLayer(32, 64)  # 创建一个全连接层
output = layer(x)  # 前向计算
print(output.shape)  # 输出张量的形状

# 反向传播
loss = torch.sum(output)  # 定义一个损失函数
loss.backward()  # 反向传播
print(layer.weight.grad)  # 输出权重的梯度
print(layer.bias.grad)  # 输出偏置的梯度

在这个例子中，我们定义了一个全连接层LinearLayer，它有两个可学习的参数，即权重和偏置。在前向计算中，我们使用torch.matmul函数计算输入x和权重self.weight的乘积，再加上偏置self.bias，得到输出output。在反向传播中，我们定义了一个损失函数loss，然后调用loss.backward()方法进行反向传播，计算权重self.weight和偏置self.bias的梯度。在输出梯度时，我们可以通过layer.weight.grad和layer.bias.grad来获取权重和偏置的梯度。