元学习在深度学习图像分割中的应用及未来发展趋势

认知机器人1（2021）83-91MetaSeg：图像分割元学习综述嘉兴市孙玉杰，李扬州大学信息工程学院，扬州，中国aRT i cL e i nf o保留字：深度学习图像分割元学习a b sTR a cT大数据驱动的深度学习方法已广泛用于图像或视频分割。然而，在实际应用中，训练深度学习模型需要大量的标记数据，这很难实现。元学习作为人工智能领域最有前途的研究领域之一，被认为是实现人工智能的关键工具。 总情报局与传统的深度学习算法相比，元学习可以快速更新学习任务，用更少的数据完成相应的学习。据我们所知，目前在基于元学习的视觉分割方面的研究很少。为此，本文总结了基于元学习的图像或视频分割技术的算法和现状，并指出了元学习的未来发展趋势。元学习具有基于半监督或无监督学习的图像分割特点，本文综述了近年来各种新的分割方法。对各种算法的原理、优缺点进行了比较和分析。1. 介绍近年来，深度学习[1，80，81，83]发展迅速，促进了图像或视频分割（简称视觉分割）技术的快速发展。图像分割是计算机视觉领域的一个难题。在计算机视觉中，视觉分割是图像分析和模式识别的第一步。有效地利用图像所包含的内容信息，结合图像的中级和高级语义来提高图像分割效果，已成为近年来的研究热点这类方法不是简单地将图像分割归类为边界检测或区域搜索，而是利用图像或区域的内容信息，如图像语义，确定图像中图像分割的任务是将图像分割成互不相交的连通区域。图像语义分割是指能够将图像中的前景和背景分开，并识别出每个前景对象的类别如图1所示，示出了图像分割的两个示例。例如，在医学图像处理[6]中，我们经常需要定位各种组织的异常，如肿瘤[7]，特定器官[8]。其他应用程序，例如，自动驾驶、人脸识别[9]和弱目标检测，通常使用视觉分割。完成上述任务的最经典的方法总结在[2，10-11]中传统的分割方法主要有阈值法[3]、区域法[4]、边缘检测法[5]等。虽然它们的原理各不相同，但大多数都是基于图像的底层语义，如像素的纹理、颜色等。如何利用图像的中级和高级语义来提高不同场景下的图像分割效果，已成为近年来图像分割领域的一个热门话题。图像分割的方法有很多种。经典的分类大致如下。第一种是基于聚类的分割方法，例如使用k-means [69，78，79]进行特征提取。[70]提供了一种基于模糊边界的解决方案∗ 通讯作者。电子邮箱：1749968700@qq.com（J. Sun）、yzyjli@yzu.edu.cn（Y. Li）。https://doi.org/10.1016/j.cogr.2021.06.003接收日期：2021年4月25日;接收日期：2021年5月28日;接受日期：2021年6月7日2021年6月22日在线提供2667-2413/© 2021作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）可在ScienceDirect上获得目录列表认知机器人期刊首页：http://www.keaipublishing.com/en/journals/cognitive-robotics/J.Sun和Y. 李认知机器人1（2021）8384Fig. 1. 图像语义分割图二. 基于深度学习的图像分割。集. 构造模糊边界与现有关系的算法（清晰）分层图像分割问题.[71]建议将图像处理分为学习和分割阶段，以便于使用支持向量机（SVM）分类器的主成分分析的应用。在文献[72]中，图像的主成分（PC）分割是利用分形理论进行的。[73]提出了用于捕获自然场景图像中的非线性依赖关系的ICA方法。该方法是线性ICA方法的扩展，并且建立在分层表示的基础上。第二种是基于水平集的分割方法。例如，[74]是基于Chen-Vese方法。在水平集框架下，提出了一种基于混合拟合的活动轮廓模型能源提出。[75，76]基于Snake方法进行图像分割。[77]提出了一种结合K-means聚类（KmGAC）方法的几何活动轮廓模型。该算法采用聚类方法完成数据的二次采样以及初始中心确定。第三种是基于深度学习的分割方法。图2中示出了示例。例如，[12，20]基于特征编码器。[27]提出了SegNet网络来解决自动驾驶汽车和智能机器人的图像分割问题。U-Net[22]主要用于处理医学图像。深度学习用于医学图像处理的挑战之一是提供的样本通常很小，而U-Net在此限制下仍然表现良好。第四是基于元学习的分割方法。例如，少次学习（FSL）[40，41，82]可以通过有限的学习和新任务来整合先验知识以监督信息。还有模型不可知的元学习（MAML）[54]，它不仅继承了使用固定优化作为学习规则的优秀特性，而且还保留了完整的表达能力。本文在分析了现有文献资料的基础上，本文综述了基于元学习和基于点的图像或视频分割技术的算法和现状，元学习的未来趋势元学习是近年来的一个热门话题。元学习是指从学习任务或元数据中学习。它可以学习新的比其他传统的深度阅读学习方法更快。这大大加快和改进了当前网络架构的设计。随着人工智能在数据密集型应用中的快速发展，新的问题正在出现，例如 机器在有限数据下学习的能力。众所周知，深度学习是机器学习发展的一个非常重要的里程碑，并取得了优异的成绩。然而，大多数深度模型都有大量的参数，这不仅需要大量的手动调优，还需要大量的标记数据进行训练。大量的标记数据通常是非常昂贵和难以获得的。能否仅用少量的标注数据就能得到好的模型，已经成为这是这个领域的一个新问题。为了解决这个问题，元学习应运而生。元学习的目的是让机器学习在只给出少量样本甚至不给出样本的情况下进行学习，并且可以根据不同的任务训练不同的系统。然后利用这些经验更快地学习新任务。这不仅改进了机器学习神经系统的结构，而且使机器学习方法的使用无需手动设计算法。本文将对近年来出现的元学习算法进行分析和总结。J.Sun和Y. 李认知机器人1（2021）8385与其他同类文献相比，本文的主要贡献在于：（1）对视觉分割算法进行了较为全面的描述和分析;（2）对元学习这一新兴领域的算法进行了总结;（3）指出了视觉分割和元学习存在的问题和未来的发展趋势2. 图像语义分割方法在将深度学习引入计算机视觉领域方面取得了巨大成功，特别是对于基于卷积神经网络（CNN）的对象检测，图像分类的效果[12-13]是重要的。相关工作考虑在此基础上进行像素级图像语义分割。针对早期网络结构算法存储开销大、计算效率低的问题，LongJ et al.在2014年提出了全卷积网络（FCN）[14]。它兼容任何大小的图像，并在完全监督学习中执行图像语义分割FCN使用卷积层取代传统CNN中的全连接层，并采用跨层的跳跃结构将图像级分类扩展到piX el级分类。它将最初用于图像分类的网络应用于图像分割。FCN能够对图像中的像素进行分类，极大地促进了图像分割技术的发展。但是，FCN存在分割结果粗糙、分割边界不连续等缺点为此，研究者们对FCN进行了改进，提出了一系列的方法。DeepLab[15]是由Google团队提出的用于图像语义分割的深度学习模型。DeepLab仍然使用FCN的完整卷积结构，但与之不同的是，DeepLab没有使用FCN跨层架构。DeepLab在FCN的末尾添加了一个完全连接的条件随机场（FCCRF），以优化图像分割边界的粗略结果。此外，DeepLab还提出了一种[17]提出了DeepLab-V2网络。该网络是DeepLab网络的改进。它优化了定位精度降低和特征图分辨率降低的问题。DeepLab-V2网络使用atrous卷积，而不是之前的上采样。该方法不仅增加了感受野的大小，而且还获得具有更高像素像素的分数图。其次，该网络使用全连接的CRF，并使用底层的详细信息来优化分类部分。最后，DeepLab-V2网络使用atrous空间金字塔池（ASPP），而不是原始图像。精确调整大小的方法允许图像以任何比例输入，而无需在神经网络中检查全连接层的输入大小。[18]提出了DeepLab-V3网络。DeepLab-V3网络是基于 对上述两种网络进行了改进，并进行了部分改进。它可以在多个尺度上分割图像。实验结果表明，DeepLab-V3网络分割的准确性是准确的。这是由于上述两个网络。场景分析一直是计算机视觉领域的一项具有挑战性的任务如果使用FCN网络来解决这个问题，在场景分析中，由于FCN缺乏对上下文的理解能力，会导致误分类，或者由于过度分割而导致类别。PSPNet的出现[19]成功地解决了这个问题，取得了很好的效果。PSPNet网络的主要部分由ResNet101网络修改[20]。与DeepLab网络一样，PSPNet也使用扩张卷积来提取密集的特征图，并在通过双线性插值进行池化之前最终上采样到大小。把所有的特征图拼接在一起。这不仅使网络能够更好地理解图像的上下文信息，而且还初步解决了与FCN相比的类别混淆等问题。RefineNet[21]使用CNN最后一层的特征来生成对象分割的软边界。在DeepLab算法中，通过不规则卷积来避免该问题。RefineNet提出了一个新的网络组件：链式残差池。网络不同层的特征用于实现高分辨率的语义分割，RefineNet的所有组件都使用带有身份映射的剩余连接来确保有效的端到端训练。RefineNet增加了很多层，使网络变得复杂，提高了效率，但它太复杂了。Girshick等人在2014年提出了R-CNN（regions with CNN）[23]方法。该算法用于图像目标检测和语义分割。首先，该算法使用选择性搜索方法[24]从原始图像中提取候选区域集，然后将每个区域转换为固定大小的RGB图像，使用CNN提取每个区域的特征，最后，使用提取的特征和训练标签来为每个对象类构造支持向量机（SVM）分类器。 该方法借鉴了迁移学习的思想，提高了图像分割的准确性。Hariharan等人提出了同时检测和分割（SDS）[25]方法，该方法也可用于语义分割任务。先用 MCG算法[26]从每个图像生成一组候选区域，其中每个区域是对象的边界框然后，使用CNN提取特征并训练CNN。利用这些特征，使用SVM对每个候选区域进行分类。最后，利用非最大值约束将掩模和原始区域候选集进行融合，提高分割效果。[27]提出了SegNet网络来解决自动驾驶汽车和智能机器人的图像分割问题。该网络基于先验概率计算每个像素的分类，这是一个像编码和解码过程一样的对称结构网络。当使用CNN进行图像语义分割时，尽管CNN特征图并能整合图像的背景信息，但仍存在特征图分辨率低和丢失部分像素空间位置的问题。为此，[28]通过添加不同的扩展速率和提出的扩展卷积来优化卷积运算。这样，通过扩展卷积将不同的区间添加到连续卷积运算中。尺寸由膨胀率决定。这样做的好处是提高了分割的准确性而不增加计算量和分辨率损失。但是这样做还是会有一些问题，因为在使用膨胀卷积的过程中，容易产生空间间隙，导致一些信息丢失，不一致的信息。在此基础上，[29]不再使用扩张卷积，而是使用混合扩张卷积（HDC）。HDCJ.Sun和Y. 李认知机器人1（2021）8386具有许多具有不同膨胀率的膨胀卷积，不仅保持了局部信息。相关性也增加了感知范围，有效地避免了前面提到的问题。[30]提出了BoX Sup网络，它使用MCG算法[26]获得初步的目标候选区域，然后将目标候选区域输入到FCN中作为已知的监督信息进行优化和更新。在候选区域的准确性之后，将输出的目标候选区域重新输入到FCN中进行训练。重复此迭代，直到准确率收敛。[31]提出了ScribbleSup方法，使用Gra Botti方法进行图像标注，使用具有Gra Botti线的图像作为训练样本。该方法分为自动标注阶段和图像训练阶段。自动标注阶段首先根据图像上的gra plotti线生成piXel块，然后将每个piXel块用作图中的节点 模型，然后使用GraphCut算法建模，自动完成所有训练图像的标记。在图像训练阶段，将前一阶段完成的标记图像发送到FCN进行训练，并得到分割结果。[32]建议STC（simple to complex）方法，可以将分割结果从简单到复杂逐步转换。这种方法首先利用显著对象检测算法检测显著区域，融合像素之间的语义关系，进行区域特征提取，CNN生成一组显著区域图。然后，一组迭代机制从简单到复杂重复几次，以逐步提高分割精度。[33]使用帧级标记和图像级标记一起进行基于DeepLab网络的训练。对于给定的帧级标记图像，首先使用CRF自动分割，然后对分割结果进行全面监督同时，这种方法也试图结合一个小的具有许多弱标记图像的piXel级标记图像的数量，以训练和预测未标记 piX el的类别，以及分割结果与DeepLab网络的完全监督学习非常接近在[34]中，将上下文信息引入图像语义分割，通过CNN对CRF点对的势能进行建模，捕捉相邻图像块之间的语义关系，称为“补丁上下文”。据此，可以改善粗略的预测结果。同时，使用多尺度图像作为输入。通过卷积层得到多尺度特征图后，采用滑动金字塔池化技术连接多尺度特征图。 该方法可以对“斑块背景”进行建模，提高了分割精度。[35]介绍了半监督学习的思想，将分类和分割相结合，提出了一种由分类网络和分割网络组成的DecoupledNet网络。在训练过程中，DecoupledNet首先使用许多图像级注释训练分类网络，然后使用一个小的像素级注释训练分割网络。该方法不需要迭代过程和迭代收敛，具有良好的可扩展性。递归神经网络（RNN）由一系列神经网络模块组成，每个部分执行类似的任务，可以合理利用图像上下文之间的连续信息。由于RNN具有递归的特点，以及循环处理信息和历史存储器，适用于处理与时空序列相关的图像信息或捕获上下文信息。[36]使用复合损失函数进行图像语义分割，并提出了SEC（种子，扩展和约束）方法。该方法中的复合损失函数由3个不同的目标损失函数组成。当训练CNN时，3个不同的目标损失函数完全不同的分割任务。 在[37]中，结合 CNN和RNN，提出了一种ReSeg网络，它是RNN的衍生网络。ReSeg使用四个RNN序列模型来取代CNN中卷积层的卷积层和池化层。分别在水平和垂直方向上对图像进行切割，并对它们的空间依赖性进行建模。输入图像经过VGG-16网络后，得到图像的局部特征，然后从特征映射图中逐步提取图像的上下文信息和全局特征。最后，恢复特征图像的分辨率，利用合成的上采样层输出分割结果反卷积网络该网络平衡了内存使用和计算负载，具有很高的自适应性和可扩展性。生成对抗网络（GAN）[38]是深度学习领域的新秀GAN模型由两部分组成生成模型和判别模型。生成模型意味着我们可以从根据任务输入数据，通过模型训练。判别模型用于区分产生的图像的真假。GAN网络可以看作是两个人之间的游戏。在训练中，两种模式相互对抗，相互促进。在[39]中，提出了一种用于图像分割的新方法。首先，在CNN组成的网络中，将输入的原始图像转换为分割结果，然后将分割结果输入到GAN中，从而使GAN网络可以判断它是否真实。这两个网络相互竞争，相互学习。经过多次迭代，可以提高网络的分割精度。 虽然GAN网络会减少分割带来的问题CNN和其他电视网，它也将有新的问题。由于GAN是一种对抗性网络，其模型在优化过程中不稳定，特别是在处理多幅图像时，其扩展性能有待提高。3. 元学习元学习是近年来的研究热点。其目的是在少量未标记数据的基础上实现快速有效的学习。通过首先学习与类似任务匹配的内部表示，元学习为机器提供了一种方法，以少量样本快速适应新任务。表1显示了基于深度学习和Meta学习的经典图像分割方法。有两种元学习方法：基于模型的元学习[40，62]和模型不可知元学习（MAML）[54]。基于模型的元学习方法主要利用少量带有任务标签的样本来调整模型参数，使模型能够生成新的方法来完成新的任务。这种方法最大的问题是 设计一种适合于未知任务的元学习方法是非常困难的。与模型无关的元学习方法是由Chelsea Finn研究小组首次提出[54]。通过初始化模型参数并执行一些梯度更新步骤，可以成功完成新任务J.Sun和Y. 李认知机器人1（2021）8387表1基于深度学习和Meta学习的经典图像分割方法分类经典算法方法特点方法根据深度学习方法根据Meta学习DeepLab DeepLab使用的是FCN的全卷积结构，但与之不同的是，DeepLab没有使用FCN跨层架构。SegNet SegNet采用编解码器结构。去除完整的连接层使得SegNet比其他结构小得多，并且更容易训练。U-Net U-Net主要用于处理医学图像。利用跳跃连接结构可以很好地分割小图像。PSPNet PSPNet使用扩张卷积来提取密集特征图。与FCN相比，它更好地理解了图像的上下文信息，初步解决了类别混淆等问题MAML MAML主要使用少量带有任务标签的样本来调整模型参数，使模型能够生成新的方法来完成新的任务。引导网络引导网络可以从任意数量的监督中提取潜在的任务表示，并优化端到端的架构，以实现快速准确的多个分割。MetaSegNet MetaSegNet使用线性分类器而不是非线性层来有效地在几个语义分割中训练深度模型。E EscientLab E EscientLab是一个用于参数效率和快速学习的神经网络架构。学习学习它可以以无监督的方式有效地学习视觉效果的内部表示，并使用这些知识来区分图像中的人和地面。元学习的相应概念是少拍学习（FSL）[40，41，60，61]。FSL可以通过对新任务的有限学习和先验知识的整合来FSL在现实生活中有许多应用，例如字符识别[42]。在这种情况下，它需要计算机程序来分类，分析和生成少量新的手写字符。FSL促进了机器人技术的发展[43]，就像人类学习方法[44]一样。FSL还可以帮助减少数据密集型应用中的数据收集，例如手势识别[45]，图像检索[46]，语言建模和图像分类[47]，对象跟踪[48]，图像标题和视觉问题解决[49]，视频事件检测[50]。微调经常用于机器学习。它将大数据训练模型的值降低到自适应集[51]。一般来说，我们没有适当的参数进行微调。即使有，也需要许多手动参数。相反地，我们可能有许多与模型参数学习相关的任务，例如人脸识别，但并非所有的识别模型都可用。因此，可以在初始化时选择相应的模型组合来调整参数。 Bart等人。[52]考虑了一类新图像的图像分割分类。通过使用从新类中获得的相似特征来替换学习类中的特征，并重用其分类器参数，我们可以为新类构建一个分类器。仅调整阈值分类，以避免与同类混淆。预训练的CNN适合处理[53]中的新类。这种方法减少了一定的工作量。E-X- S参数是从大规模数据集训练的，因此它们可以包含对当前FSL任务有帮助的一般信息。由于直接微调容易过拟合，采用正则化方法进行微调，基于现有参数进行正则化或修改。然而，找到正确的参数并不容易。此外，往往需要搜索许多现有的参数来找到相关的参数，这也伴随着巨大的计算成本。还有一些元学习方法通过梯度下降来细化。模型独立元学习（MAML）[54]是代表性的方法。与以往的元学习方法不同，该方法侧重于获得可传递的表示，而不是良好的学习规则。由于MAML方法的表示可以控制更新规则，因此该方法既继承了使用固定优化作为学习规则的优良特性，又保留了完整的表达能力。像其他元学习方法一样，MAML需要在各种任务上进行训练。这种方法需要学习和训练一种能够快速适应新任务的方法，并且在适应过程中只需要几个梯度步骤。Meta学习器希望找到一个初始化，它不仅能适应多个问题，而且能适应快速（少量的梯度步骤）和高效。（少量样品）。这种方法非常简单，而且有很多优点。MAML方法没有假设模型的形式。它非常有效，因为它没有为元学习引入其他参数，并且学习器的策略使用已知的优化过程（如梯度下降），而不是从头开始构建一个。因此，这种方法可以应用于许多领域，包括分类，回归和强化学习。考虑到不确定性，以完善。 使用少量的学习必然会导致高度的不确定性 在模型中[55]。Andrychowicz等人[56]用在多个先前任务上训练的LSTM替换优化过程，例如随机梯度下降。在每一步中，Meta学习器根据前一步学习到的模型权重和当前性能梯度，选择估计的权重更新，以最小化优化对象的损失后来，Chen et al.[57]总结了利用梯度下降训练综合函数的优化方法。这优化了Meta学习器，即使它不能使用梯度。同时，Li等人[58]从强化学习的角度提出了学习优化算法的框架。它将任何特定的优化算法表示为策略，然后通过指导策略搜索来学习策略。后来，Li等人[59]展示了如何使用这种方法来学习神经网络的优化算法。在神经结构搜索领域还有许多其他的方法，可以建立神经网络性能模型， 具体任务。[63]提出了引导网络，它可以从任何数量的监督中提取潜在的任务表示，并优化 该架构端到端，以实现快速和准确的几个分割。如图3所示。这种方法可以在没有进一步优化的情况下切换任务，并且可以在更多指导下快速更新。 这种方法不仅显示实时交互式视频分割，而且还传播piX el注释整个空间的交互式分割，视频分割J.Sun和Y. 李认知机器人1（2021）8388∑∑=0������1���=0图三. 引导网络。指导的意思。在时间范围内，以及场景之间的语义分割。这种方法弥补了标准方法的刚性和注释负担。[64]提出了一种基于元学习的新框架MetaSegNet。此方法使用线性分类器代替在几个语义分割中有效地训练深度模型。可以通过场景训练机制进行端到端训练。此外，新的嵌入式模块可以结合全局上下文和局部信息，以更好地分割。同时，线性分类模型结合新的嵌入模块，可以有效地训练多对象语义分割的分割框架。[65]提出了一个通用框架，用于交替训练方案的几个镜头的分割语义。该框架基于原型学习和度量学习。该方法将少镜头语义分割问题从单路（类）表述为N路（类）。[66]建议一种新的几个镜头的框架分割的体积医学图像只有几个注释切片。该方法主要用于缺乏预先训练的网络和医学扫描的体积性质。该模型可以在不依赖于预先训练的模型的情况下执行图像分割，而预先训练的模型通常不适合医学扫描。此外，该方法提出了一种有效的卷分割策略，通过优化匹配的支持量的几个切片与所有切片的查询量。[67]提出了一种新的神经网络结构，用于参数有效性和快速学习，文章称之为EschercientLab。一一种不需要收集许多模型或关系网络的可扩展的潜在方法是元学习初始化。作者研究了深度神经网络初始化的一阶元学习。对于任何数量的训练数据，给定一个新的任务，深度神经网络必须产生密集的结构化预测。本文通过推广和实验分析，一阶模型无关元学习算法（包括FOMAML和Reptile）的图像分割，正式元学习算法的泛化错误，以及使用它来减少不可见任务的错误。 用于图像分割的元学习初始化为规范的少数学习问题和较大的数据集提供了价值。[68]提出了一个“学习学习”的方法，图-地面图像分割通过探索特定视觉效果的丰富网络图像，该方法可以以无监督的方式有效地学习视觉效果的内部表示，并使用这些知识将图像中的人与地面区分开来。该方法将元学习过程转化为合成图像编辑任务，学习模仿某种视觉效果并获得相应的内部表征。该生成过程可以帮助实例化基本图形背景概念，并使系统能够完成预期的图像分割。其性能相对优于现有的无监督分割任务的方法。4. 图像分割在图像分割中通常有许多度量这里我们只简单介绍常用的几种。为了便于解释，我们给出了以下标签的含义：我们假设总共有10+ 1个类（从10到10，包括空类或背景），10个类属于10个类，但被归类到10个类中。������换句话说，代表正确分类的正例数量，其他值也类似。������������4.1. 像素精度（PA）像素精度（PA）用于计算正确分割的像素的数量与图像像素的总数的比率计算方法见式（1）。PA =∑Σ���������（一）���=0���=0 ���������4.2. 平均像素精度（MPA）平均像素精度（MPA）是PA的一个稍微改进的版本正确分类像素的比例按类别计算，最后按类别总数平均，其计算方法如式（2）所示���MPa=1 ∑∑���������（二）���������J.Sun和Y. 李认知机器人1（2021）83891 ∑∑=0=0∑������∑1=0=04.3. 平均交并平均交并（MIoU）表示分割结果与原始图像的真实值之间的重叠程度，即计算两个集合的交集与并集的比率。计算方法见公式（三）、���MIoU =���+ 1������������������������+∑������������−���������（三）4.4. 频率加权交并频率加权交集大于并集（FWIoU）改进了MIoU，每个类都按重要性加权。 计算方法见式（4）。���FWIoU =���=0������������（四）5. 结论���=0���=0 ��������� ���=0∑������������+∑������������−���������在本文中，我们对自深度学习以来的图像分割算法进行了全面的回顾。虽然很多算法都取得了很好的性能，但图像分割领域仍有很大的发展空间，图像类别的准确分割仍是一个艰巨的挑战。虽然元学习只有几年的历史，还有很多地方可以探索。未来的元学习应该更加智能化。竞争利益提交人声明，他没有已知的竞争性经济利益或个人关系，可能会出现在本文报告的工作中引用[1] GE Hinton，RR.Salakhutdinov，Reducing the dimensionality of data with neural networks，Science 313（5786）（2006）504 -507，doi：10.1126/science.1127647.[2] Garcia-Garcia，A.Orts-Escherano，S.，Oprea，S.，VillenaMartinez，V.，Garcia-Rodriguez，J. 深度学习技术在语义分割中的应用综述。arXiv预印本arXiv：1704.06857（2017）[3] N. Otsu，一种基于灰度直方图的阈值选择方法，IEEE Trans.系统 Man Cybernetics 9（1）（1979）62 -66，doi：10.1109/tsmc.1979.4310076.[4] R亚当斯湖Bischof，种子区域生长，IEEE Trans.模式肛门。马赫内特尔 16（6）（1994）641 -647，doi：10.1109/34.295913。[5] D Ziou，S. Tabbone，A study of edge detection techniques for segmentation computing approaches，（1）（2010）35 -41，doi：10.5120/993-25。[6] G. 利琴斯T.Kooi，B.E.，英国石油公司贝诺迪协会塞蒂奥湾琼皮，M。贾富利安van der Laak，B.Van Ginneken，C. I.Sanchez，“关于医学图像分析中深度学习的调查。图像肛门。42（2017年）第60[7] B.H. Menze，A. Jakab，S.作者：J.作者：J.Burren，N.作者：J.Wiest等人，多模态脑肿瘤图像分割基准（brats），IEEE Trans.Med. Imaging 34（10）（2015）1993[8] G.- Q. Wei，K. Arbter，G. Hirzinger，腹腔镜手术的实时视觉伺服。用彩色图像分割控制机器人运动，IEEE Eng.Med.Biol.Mag.16（1）（1997）40-45。[9] A.阿尔比奥尔湖Torres，E.J. Delp，一种用于人脸检测应用的无监督彩色图像分割算法，图像处理，2001年。诉讼 2001年国际会议，2，IEEE，2001年，pp。681-684.[10] 总质量 Liang，J.N. Ca，X.F. liu等人[1]李文，李文，等. 中国资讯Sci. 59（4）（2016）043401。[11] J.L. 王永祥<英>香港实业家。 卢，J.B. liu等人一种鲁棒的大规模城市场景识别的三阶段方法，Sci. 中国INF. Sci. 60（10）（2017）103101.[12] Simonyan K.，齐瑟曼用于大规模图像识别的非常深的卷积网络2014，arXiv：1409.1556.[13] C. Szegedy，W.Liu，Y.Jia等人，深入卷积，在：IEEE计算机视觉和模式识别会议论文集，2015年，pp.一比九[14] E.作者：J.Darrell，用于语义分割的完全卷积网络，IEEE Trans. Pattern Anal.马赫内特尔39（4）（2014）640 -651，doi：10.1109/TPAMI.2016.2572683。[15] 陈立昌，帕潘德里欧G.，科基诺斯岛墨菲·K Yuille A.L.使用深度卷积网络和完全连接的CRF进行语义图像分割。arXiv 预印本arXiv：1412.7062，2014年。[16] Yu F.科尔通五世基于扩张卷积的多尺度上下文聚合arXiv：1511.07122vz。[17] LC Chen，G Papandreou，I Kokkinos，K Murphy，AL. Yuille，Deeplab：Semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs，IEEE Trans.模式肛门。马赫内特尔 40（4）（2018）834 -848，doi：10.1109/TPAMI.2017.2699184。[18] 陈良庆，帕潘德里欧G，施罗福，亚当H.重新思考用于语义图像分割的atrous卷积arXiv预印本arXiv：1706.05587，2017。[19] Zhao H，ShiJ， Qi X，et al.金字塔场景解析网络。arXiv预印本arXiv，2016：1612.01105。[20] K He，X Zhang，S Ren，et al.，Deep residual learning for image recognition，in：Proceedings of IEEE Conference on Computer Vision and PatternRecognition， 2016年，页770-778[21] G. Lin，L.米兰角申岛Reid，Refinenet：用于高分辨率语义分割的多路径细化网络，IEEE计算机视觉会议 和模式识别（CVPR），2017年。[22] O.放大图片作者：J. BroX，U-net：用于生物医学图像分割的卷积网络，见：医学图像计算和计算机辅助干预国际会议，Springer，2015年，pp. 第234-241页。[23] RGirshick，J Donahue，T Darrell，J. Malik，Rich feature hierarchies for accurate object detection and semantic segmentation，in：Proc. 第27届IEEEComputer Society Conf.关于CVPR，IEEE计算机协会，华盛顿，2014年，pp. 580 -587，doi：10.1109/cvpr.2014.81。[24] JRR Uijlings，KEAVD Sande，T Gevers，AWM. Smeulders，Selective search for object recognition，Int'l Journal of Computer Vision 104（2）（2013）154-171，doi：10.1007/s11263-013-0620-5。[25] B Hariharan，EZP Arbel，R Girshick，J.Malik，同时检测和分割，在：第13届欧洲计算机视觉会议上，Springer Int'l Publishing，2014年，pp. 297-312，doi：10.1007/978-3-319-10584-0_20。∑∑J.Sun和Y. 李认知机器人1（2021）8390[26] P Arbelaez，JPonttuset，JBarron，F Marques，J.Malik，Multiscale combinatorial grouping，in：Proc. of the 27th IEEE Conf. on CVPR，IEEEComputer Society，Washington，2014，pp. 328-335，doi：10.1109/cvpr.2014.49.[27] V.巴德里纳拉亚南，A.肯德尔河，巴西-地Cipolla，Segnet：a deep convolutional encoder-decoder architecture for image segmentation，IEEE Trans. PatternAnal.马赫内特尔39（12）（2017年）第2481-2495页。[28] Yu F.科尔通五世基于扩张卷积的多尺度上下文聚合arXiv预印本arXiv：1511.07122，2015。[29] 王鹏，陈鹏，袁毅，刘东，黄正，侯晓，G. Cottrell，理解用于语义分割的卷积，在：Proc. Of the IEEE Winter Conf. on Applications of Computer Vision，2018，pp. 1451 -1460，doi：10.1109/WACV.2018.00163.[30] J.Dai，K He， J.Sun，Bo X Sup：E X利用边界来监督卷积网络进行语义分割，在：Proc. IEEE计算机视觉，2015年，pp。1635-1643，doi：10.1109/ICCV.2015.191.[31] DLin，J Dai，J Jia，K He，J. Sun，ScribbleSup：Scribble-supervised convolutional networks for semantic segmentation，Proc. 在IEEE Conf.计算机视觉和模式识别，IEEE，2016年，pp。3159-3167，doi：10.1109/CVPR.2016.344。[32] 魏燕，梁晓，陈燕，沈晓，程敏，冯俊，赵燕，S。Yan，STC：a simple to complex framework for weakly-supervised semantic segmentation，IEEE Trans. 模式肛门。马赫内特尔 39（11）（2017）2314 -2320，doi：10.1109/TPAMI.2016.2636150。[33] Papandreou G，Chen LC，Murphy K，Yuille AL.用于语义图像分割的DCNN的弱监督和半监督学习。arXiv预印本arXiv：1502.02734，2015年。[34] G Lin，C Shen，I.Reid，Eccient piecewise training of deep structured models for semantic segmentation，Proc.第29届IEEE Conf.关于CVPR，IEEE计算机协会，华盛顿，2016年，pp.3194-3203，doi：10.1109/CVPR.2016.348。[35] S Hong，H Noh，B. Han，Decoupled deep neural network for semi-supervised semantic segmentation，in：Proc.