给一段跳跃连接的代码示例

以下是一个简单的示例，跳跃连接的代码可以用于实现多层感知机（MLP）或残差网络（ResNet）：

import torch.nn as nn

class JumpConnection(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super(JumpConnection, self).__init__()
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1)
        self.bn2 = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)
        self.stride = stride

        if in_channels != out_channels or stride != 1:
            self.downsample = nn.Sequential(
                nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride),
                nn.BatchNorm2d(out_channels)
            )
        else:
            self.downsample = None

    def forward(self, x):
        identity = x

        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)

        if self.downsample is not None:
            identity = self.downsample(x)

        out += identity
        out = self.relu(out)

        return out

在这个示例中，我们定义了一个名为 JumpConnection 的类，它继承自 nn.Module。该类包含两个卷积层，两个批归一化层和一个 ReLU 激活函数。如果输入和输出的通道数不相等或者步长不为1，我们使用一个 1x1 的卷积层来改变维度。

在 forward 方法中，我们首先将输入保存在变量 identity 中，然后将输入 x 通过第一个卷积层、批归一化层和 ReLU 激活函数进行处理。接着，我们再将处理后的输出通过第二个卷积层和批归一化层进行处理，最后将 identity 加到输出上，并通过 ReLU 激活函数进行处理，得到最终的输出。

这个示例中的 JumpConnection 类是一个基本的跳跃连接模块，可以用于实现多层感知机或残差网络。