pytorch中残差连接怎么用

在PyTorch中使用残差连接（Residual Connection）是一种常见的神经网络设计技巧，特别是在深度神经网络中。残差连接通过将输入直接加到输出上，帮助解决深度网络中的梯度消失问题。以下是使用残差连接的示例代码：

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super(ResidualBlock, self).__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)
        
    def forward(self, x):
        identity = x  # 保存输入以便后续相加
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += identity  # 残差连接
        out = self.relu(out)
        return out

# 使用示例
if __name__ == "__main__":
    x = torch.randn(1, 64, 32, 32)  # 假设输入特征图大小为(1, 64, 32, 32)
    block = ResidualBlock(64)
    output = block(x)
    print(output.shape)  # 输出应为(1, 64, 32, 32)

在这个示例中，`ResidualBlock`类定义了一个基本的残差块。输入`x`通过两个卷积层和批归一化层后，得到输出`out`。然后，将输入`x`直接加到输出`out`上，形成残差连接。最后，再经过一个ReLU激活函数，得到最终的输出。