SegNet

SegNet 架构详解
SegNet 是一种用于图像分割任务的深度学习模型，采用了编码器-解码器框架[^1]。该网络结构的设计灵感来源于卷积神经网络（CNN），特别是 VGG16 的架构。
编码器部分
编码器由一系列卷积层组成，这些卷积层负责提取输入图像中的特征。每一层都会减少空间维度并增加通道数量，从而捕捉更复杂的模式。具体来说：

使用标准的卷积操作和最大池化来逐步降低分辨率。
每次池化时保存索引位置以便后续上采样阶段使用。

class Encoder(nn.Module):
def __init__(self, input_channels, output_channels):
super(Encoder, self).__init__()
self.conv = nn.Conv2d(input_channels, output_channels, kernel_size=3, padding=1)
self.pool = nn.MaxPool2d(kernel_size=2, stride=2, return_indices=True)

def forward(self, x):
out = F.relu(self.conv(x))
unpooled_shape = out.size()
out, indices = self.pool(out)
return out, indices, unpooled_shape
登录后复制
解码器部分
解码器的任务是从低维表示恢复原始尺寸的地图。为了实现这一点:

利用之前存储的最大池化的索引来执行无损反向最大池化。
应用转置卷积或者简单的双线性插值来进行放大处理。

值得注意的是，在 SegNet 中，编码路径与解码路径是对称设计的，这意味着两者具有相同数量但相反顺序的操作层数量。
class Decoder(nn.Module):
def __init__(self, input_channels, output_channels):
super(Decoder, self).__init__()
self.unpool = nn.MaxUnpool2d(kernel_size=2, stride=2)
self.conv = nn.ConvTranspose2d(input_channels, output_channels, kernel_size=3, padding=1)

def forward(self, x, indices, output_shape):
x = self.unpool(x, indices=indices, output_size=output_shape)
x = F.relu(self.conv(x))
return x
登录后复制
跳跃连接机制
跳跃连接允许来自早期层的信息直接传递给后期对应的位置，这有助于保留更多细节信息，并改善梯度传播问题。通过这种方式，即使在网络较深的情况下也能保持良好的性能表现。
for i in range(num_layers):
encoded_features[i], pool_indices[i], shapes[i] = encoders[i](input_tensor)

# ...中间省略...

for j in reversed(range(num_layers)):
decoded_output = decoders[j](
concatenated_input,
pool_indices[j],
shapes[j]
)
登录后复制