历史最新的语义分割文献综述报告

摘要：语义图像分割是计算机视觉中重要的领域之一，其广泛的应用于机器人、

道路场景解析、医学图像分割等领域。深度学习的发展为语义图像分割提供了更

加有效、更准确的解决办法。现有的很多基于深度学习的网络架构在图像分割性

能方面不断提升，但其推理效率较低。自动驾驶领域的飞速发展也迫使图像分割

领域的研究转向了如何有效的实现快速推理及计算效率的实时语义分割研究之

中。为了解决这个问题，利用轻量化网络作为基本框架中成为了提取特征的主要

方法。同时，文中阐述了实时语义分割的发展进程以及一些实时图像分割的改进

effective and accurate solution for semantic image segmentation. Many existing

network architectures based on deep learning improve the performance of image

segmentation, but their reasoning efficiency is low. The rapid development of the field

of automatic driving also forces the research of image segmentation to turn to the

research of how to effectively achieve fast reasoning and computational efficiency of

real-time semantic segmentation. In order to solve this problem, using lightweight

network as the basic framework becomes the main method of feature extraction. At

the same time, this paper describes the development process of real-time semantic

segmentation and some improved network of real-time image segmentation, and

makes a comparative analysis of them.

1. 引言

1.1 语义分割史

语义分割早期的方法是阈值法，其目的是将图像划分为连个区域，即目标与

背景。在灰度级图像中，通过使用单个阈值就能很好的实现灰度图像的分类。为

了更好地捕捉图像特征，该技术采用了局部阈值和全局阈值。第二种技术涉及具

现有的边缘检测方法被证明能够有助于图像完成分割。包括 Roberts 边缘检

测，Sobel 边缘检测，和 Prewitt 边缘检测等在内的线性边缘检测方法均利用不同

的二维 masks，当它们与图像进行卷积时，会将边缘突出出来。

第三种方法是条件随机场，条件随机场（CRF）

据的概率框架，在图像分割中得到了广泛的应用。

1.2 研究背景、目的及意义

近年来，以深度学习为中心的机器学习技术引起了人们的关注。比如自动

原始数据提供的图像，在这一过程中，应用到了语义分割技术。早期，计算机视

仅通过全像素语义分割的创造来理解像素级的图像，它将属于同一目标的图像部

分聚集在一起，从而扩展了语义分割的应用场景。识别每个像素或分组像素一起

语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据（例如，平

面图像）作为输入并将它们转换为具有突出显示的感兴趣区域的掩模。许多人使

用术语全像素语义分割（full-pixel semantic segmentation），其中图像中的

每个像素根据其所属的感兴趣对象被分配类别 ID。早期的计算机视觉问题只发

现边缘（线条和曲线）或渐变等元素，但它们从未完全按照人类感知的方式提供

像素级别的图像理解。语义分割将属于同一目标的图像部分聚集在一起来解决这

个问题，从而扩展了其应用领域。但与其它基于图像的任务相比，语义分割是完

全不同的且先进的。

语义分割作为计算机视觉中的核心，其在地理信息系统、医疗影像分析、机

器人、卫星图像处理、自动驾驶

被提上日程，计

机硬件、网络参数、访问成本代价等因素，导致很难将其应用于移动设备上。如

何通过有效的网络设计使其应用于实际，是现阶段应研究的热点。

在本文中，我们对以实时语义分割为重点的网络提供了一个全面的总结。一

些研究者对实时网络的研究使得将语义分割应用于移动设备成为可能。未来语义

分割对智能化的发展一定会做出巨大贡献，基于实时性的语义分割应用于自动驾

驶、道路解析等方向在未来也会成为这些领域需要迫切需要的研究。

2. 国内外研究现状

卷积神经网络（CNN）

[8,9,10,11]

极大的推进了计算机视觉领域的发展，语义分

割作为计算机视觉的核心领域，其飞速的发展得益于 CNN。基于卷积神经网络

些网络首先对输入的图像进行处理，通过增加滤波器以获取更多特征，再经过池

化降低分辨率，最后一个卷积层将其向量化。该向量化的特征与 Softmax 分类器

以全连接的方式输出每个类别的概率值。在 FCN

[12]

层将二维的图像降维为一维会损失特征的空间信息，故在这篇文章中作者将全连

接层替换为允许对图中每个像素分类的层（见图 1），这也为图像级别的分类进

一步延伸到像素级别的分类。使用卷积替换全连接层有两个显著的优势：（a）它

允许输入网络的图像是任意分辨率；（b）卷积层替换全连接层大大降低了网络参

数，使得网络可以更快的训练与推理。这个全新的方法在多个图像分割领域都产

生了里程碑式的意义，它们依靠该思想产生了最先进的结果，并被认为是该领域

响说的 FCN 的缺点）方法中，送入反卷积的特征图十分稀疏，并且反卷积过程

又很粗糙，会导致输入图片中的空间信息会有严重损失。他们提出了如下图 2

所示的结构。

图 2：DeconvNet 网络结构图

这里，多层反卷积网络均可被学习。训练好的网络通过使用全连接的 CRF，

并将其应用于 individual object proposals，得到实例级的分割结果，并将这些分割

结果组合起来进行最终的语义分割。与反卷积网络类似，解码器/编码器架构也

用于医疗方面

[14]

。该作者提出了一种在训练数据较少（30 幅图像）的情况下，

图 3：UNet 网络结构图

在 SegNet

[15]

码器的骨干网络，去除了全连接层，并采用了对称的解码结构。与 Unet

要不同之处在于其解码部分采用了与编码层相对应的最大池化索引。在解码过程

中重用最大池化索引有以下几个的优点：1）有利于边界的划分；2）不仅能够实