ResNet残差 缩放因子

ResNet 中残差缩放因子的作用与实现
残差缩放因子的概念及其重要性
在ResNet架构中，引入了残差连接（skip connections），使得深层网络训练更加稳定有效。然而，在非常深的网络中，梯度传播仍然可能存在问题。为了缓解这一情况并增强模型的表现力，一些改进版本的ResNet引入了可学习的缩放因子。
这些缩放因子通常被应用于跳跃连接处，即残差路径上，用于调整来自捷径分支的信息强度。通过这种方式，网络可以在前向传递过程中动态地控制原始输入信号的比例，从而更好地融合不同层次特征，并有助于优化过程中的参数更新[^1]。
缩放因子的具体实现方法
一种常见的做法是在每个残差单元内部加入一个额外的学习参数α(α)，这个参数乘以前一层输出后再加上当前层经过变换后的结果：
[ y = F(x, W_i) + \alpha * x ]
其中(F(\cdot))代表标准卷积操作及相关激活函数组成的映射；而(\alpha)则是一个标量变量，它会随反向传播算法一同迭代求解最优值。对于更复杂的场景，也可以考虑使用逐通道或空间位置变化的形式来定义这样的权重系数[^2]。
下面是基于PyTorch框架的一个简单示例代码片段展示如何实现带缩放因子的残差块:
import torch.nn as nn

class ScaledResidualBlock(nn.Module):
expansion = 1

def __init__(self, inplanes, planes, stride=1, downsample=None):
super(ScaledResidualBlock, self).__init__()

# 定义基本组件
self.conv1 = conv3x3(inplanes, planes, stride)
self.bn1 = nn.BatchNorm2d(planes)
self.relu = nn.ReLU(inplace=True)
self.conv2 = conv3x3(planes, planes)
self.bn2 = nn.BatchNorm2d(planes)

# 初始化缩放因子为1
self.scale_factor = nn.Parameter(torch.ones(1))

self.downsample = downsample

def forward(self, x):
identity = x

out = self.conv1(x)
out = self.bn1(out)
out = self.relu(out)

out = self.conv2(out)
out = self.bn2(out)

if self.downsample is not None:
identity = self.downsample(x)

scaled_identity = self.scale_factor * identity
out += scaled_identity
out = self.relu(out)

return out
登录后复制
在这个例子中，nn.Parameter()创建了一个需要参与梯度计算并与其余网络一起训练的新参数——这里就是所说的缩放因子。每次调用forward()时都会应用此因素到identity connection之上[^4]。