用代码举例pytorch的自动求导

下面是一个简单的例子，用 PyTorch 的自动求导功能计算 y = x^2 在 x = 3 处的导数：

import torch

# 创建一个张量 x，值为 3
x = torch.tensor(3.0, requires_grad=True)

# 计算 y = x^2
y = x**2

# 对 y 进行反向传播，自动求导
y.backward()

# 输出 x 在 x = 3 处的导数
print(x.grad)

输出结果为：

tensor(6.)

说明 x 在 x = 3 处的导数为 6。在上面的代码中，我们创建了一个张量 x，并将 requires_grad 参数设置为 True，表示需要对它进行自动求导。然后，我们计算了 y = x^2，并对 y 进行了反向传播，自动求导。最后，我们输出了 x 在 x = 3 处的导数，即 y 对 x 的导数。

相关问题

补充以下代码for epoch in range(num_epochs): for i, (images, labels) in enumerate(train_loader): # 批处理 # Convert torch tensor to Variable images = Variable(images.view(-1, 28 * 28)) labels = Variable(labels) # 实验一：前向和反向传播算法的代码 # Forward + Backward + Optimize optimizer.zero_grad() # zero the gradient buffer #梯度清零，以免影响其他batch # 前向传播 # import pdb # pdb.set_trace() # loss # 后向传播，计算梯度 # 实验一：运行代码并查看梯度的变化 # 梯度更新 # 举例：观察FC1的权重梯度变化 if (i + 1) % 100 == 0: print('Epoch [%d/%d], Step [%d/%d], Loss: %.4f' % (epoch + 1, num_epochs, i + 1, len(train_dataset) // batch_size, loss.item()))

这段代码是一个典型的PyTorch训练模型的代码框架。该框架中包含两个循环：外层循环是训练的epoch数，内层循环是每个epoch中的batch数。

在内层循环中，首先将数据(images和labels)转换为PyTorch中的Variable，这是一个可自动求导的变量。然后使用optimizer.zero_grad()将所有参数的梯度清零，以免影响其他batch的训练。接下来进行前向传播，计算模型输出和真实标签之间的损失loss。再进行后向传播，计算所有变量的梯度。最后使用optimizer.step()函数对所有变量进行更新。

在每个epoch的每个batch训练完成后，打印出当前的loss值，以便观察模型的训练情况。