dropout应用示例

以下是一个使用dropout的示例：

假设我们有一个拥有两个隐藏层的神经网络，其中第一个隐藏层有256个神经元，第二个隐藏层有128个神经元。我们想要在训练时使用dropout来防止过拟合。

代码示例：

import torch
import torch.nn as nn

# 定义神经网络
class MyNet(nn.Module):
    def __init__(self):
        super(MyNet, self).__init__()
        self.fc1 = nn.Linear(784, 256)
        self.fc2 = nn.Linear(256, 128)
        self.fc3 = nn.Linear(128, 10)
        self.relu = nn.ReLU()
        self.dropout = nn.Dropout(p=0.5) # dropout概率为0.5

    def forward(self, x):
        x = x.view(-1, 784)
        x = self.fc1(x)
        x = self.relu(x)
        x = self.dropout(x) # 在第一个隐藏层后应用dropout
        x = self.fc2(x)
        x = self.relu(x)
        x = self.fc3(x)
        return x

# 定义损失函数和优化器
net = MyNet()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.01)

# 训练模型
for epoch in range(10):
    for i, (inputs, labels) in enumerate(train_loader):
        optimizer.zero_grad()
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

# 测试模型
correct = 0
total = 0
with torch.no_grad():
    for inputs, labels in test_loader:
        outputs = net(inputs)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy on test set: %.2f %%' % (100 * correct / total))

在上面的代码中，我们在第一个隐藏层后应用了dropout。在训练时，dropout会随机将一些神经元的输出置为0，以减少神经元之间的相互依赖性，从而减少过拟合的风险。在测试时，我们不应该使用dropout，因为我们需要得到神经网络的完整输出。因此，我们可以使用torch.no_grad()上下文管理器来关闭梯度计算和dropout。