可变形卷积 resnet

可变形卷积在ResNet中的应用及实现
应用背景
常规卷积操作能够处理固定的几何变换，但在面对复杂的空间变化时表现有限。为了增强模型对于空间变换的学习能力，可变形卷积（DCN）应运而生[^1]。
实现细节
在ResNet结构中引入可变形卷积主要体现在两个方面：

位置偏移(offset) 的学习：不同于传统卷积核固定的位置采样，在可变形卷积中加入了额外的分支来预测每个采样点相对于原位移的偏移量。这些偏移值由一个小网络生成，并加到标准网格坐标上形成新的采样位置。

幅值调制(modulation) ：除了控制采样的位置外，还可以进一步调整各采样点的重要性程度。这通过引入一个额外的乘法因子完成，该因子同样是由另一个子网估计得出[^2]。

具体来说，在ResNet的不同阶段逐步增加更多层次上的可变形组件。最初仅限于最后几个残差块内的某些特定层(如Conv5)，后续版本则扩展到了更早更深的部分(Conv3, Conv4)。
import torch.nn as nn

class DeformableConvBlock(nn.Module):
def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1):
super().__init__()

self.offset_conv = nn.Conv2d(
in_channels=in_channels,
out_channels=kernel_size * kernel_size * 2, # 2 for x,y offsets
kernel_size=kernel_size,
stride=stride,
padding=padding,
bias=True
)
self.deform_conv = ModulatedDeformConvPack(
in_channels=in_channels,
out_channels=out_channels,
kernel_size=kernel_size,
stride=stride,
padding=padding,
deformable_groups=1,
no_bias=True
)

def forward(self, input_tensor):
offset = self.offset_conv(input_tensor)
output = self.deform_conv(input_tensor, offset)
return output
登录后复制
此代码片段展示了如何构建一个带有可变换单元的基础模块。ModulatedDeformConvPack 是一种包含了上述提到的位置偏移和幅度调节机制的具体实现形式之一。
预训练策略
当利用ResNet作为骨干网络并结合可变形卷积技术时，通常会先基于大规模图像分类任务（例如ImageNet）对整个框架进行预训练，然后再迁移到目标检测或其他视觉识别任务上去[^4]。