深度学习图像分割：FCN与两类方法对比

第九章主要探讨了图像分割这一关键的计算机视觉技术，它是通过预测图像中每个像素的类别或对象来实现图像分析的重要手段。本章节主要聚焦于两种类型的深度学习图像分割算法：语义分割和实例分割。 **9.1 图像分割算法分类** - **语义分割**：这是图像分割的基础类型，它为图像中的每个像素分配一个预定义的类别，比如区分不同的物体、背景等。这种方法强调全局理解，通过CNN（卷积神经网络）对像素块进行分类，每个像素都有独立的类别预测。例如，VGG和ResNet这样的网络结构，虽然能够识别整体图像类别，但无法直接给出每个像素的类别信息。 - **实例分割**：相较于语义分割，实例分割更为精细，不仅识别类别，还能区分同一类别内的不同实例，类似于目标检测，但输出的是掩码（mask）而非边界框，提供了更精确的像素级别信息。 **9.2 传统的基于CNN的分割方法的缺点** - 存储开销大：由于需要处理大量的图像块（如15x15像素），并且在图像上进行滑动窗口操作，随着窗口大小和移动次数增加，存储需求剧增。 - 效率低：重复计算：每个像素块都要单独通过CNN，造成大量计算上的浪费，特别是对于相邻像素，特征提取具有高度冗余。 - 感受野受限：传统的CNN结构中，像素块大小有限，导致模型只能捕获局部特征，限制了分割的精度和全局理解能力。 **9.3 FCN（全卷积网络）** - **改变之处**：FCN的关键创新在于将全连接层替换为卷积层，使得网络可以输出二维的特征映射，每个像素对应一个类别预测。这解决了传统方法中全局分类与像素级分割的矛盾，使得模型可以直接在像素级别上进行分类，显著提升了分割效果。 - **网络结构**：FCN的核心结构包括卷积层、池化层和反卷积层。卷积层用于提取特征，池化层有助于减少计算量和参数，而反卷积层则负责从高层抽象特征恢复到原始分辨率的像素级分类结果。FCN使用softmax函数为每个像素生成对应的类别概率，从而实现了像素级别的语义分割任务，如图4所示。 总结来说，第九章深入剖析了图像分割领域的两种主要策略及其局限性，重点介绍了全卷积网络（FCN）如何通过革新网络结构解决传统方法的问题，提供了一种有效的像素级图像分析工具。这对于计算机视觉、自动驾驶、医学影像分析等领域具有重要意义。