涂鸦注释下的神经特征降低不确定性的语义分割方法

7416基于神经表征不确定性降低和神经特征空间潘志毅1姜鹏1王云海1屠长河1安东尼G. 科恩2，11中国山东大学2英国利兹大学{panzhiyi1996，sdujump，cloudseawang，changhe.tu} @ gmail.coma.g. leeds.ac.uk摘要Scribble-supervised语义分割最近获得了很多关注，因为它具有良好的性能，无需高质量的注释。由于缺乏监督，通常很难获得可靠和一致的预测。通常，人们通过采用具有良好标记的数据集的辅助任务或将图形模型与对涂鸦注释的附加要求结合来处理这些问题相反，这项工作旨在以实现语义分割的涂鸦注释直接没有额外的信息和其他限制。具体来说，我们提出了整体操作，包括最小化熵和网络嵌入随机游走的神经表示，以减少不确定性。给定随机游走的概率转移矩阵，我们进一步在其神经特征空间上训练具有自我监督的网络，以在相关图像之间的预测上施加一致性。综合实验和烧蚀研究验证了所提出的方法，它显示出优于其他人;它甚至可以与一些全标签监督的方法相媲美，并且在涂鸦被随机缩小或丢弃时工作得很好。1. 介绍近年来，神经网络的使用，特别是卷积神经网络，极大地改善了语义分类，检测和分割[16]。作为理解场景的最细粒度的方式之一，通常，语义分割需要具有高质量注释的大规模数据来馈送网络。然而，用于语义分割的像素级注释过程是昂贵且繁琐的，限制了其在需要快速部署的一些任务上的灵活性和可用性[18]。因此，更容易获得的潦草注释变得流行。scribble-supervised semantic seg的主要困难*通讯作者图1.从左至右：图像、潦草注释、地面实况、我们的预测。从上到下：分别使用常规、缩小和丢弃的潦草注释对样本进行了分析。心理状态存在于两个方面。(1)潦草的注释是稀疏的，并且不能为网络提供足够的监督以进行可靠的预测。（2）图像之间的涂鸦注释不同，这使得网络难以产生一致的结果。因此，[18]采用经典的图形模型作为后处理，以获得最终的稠密预测。一些作品[25，28]转向使用标记良好的数据集进行辅助任务，但这实际上并没有消除注释的负担，而只是转移了它。为了避免后处理和对另一个标记良好的数据集的依赖，[24]设计了一个具有正则化损失的图形模型，以使预测在外观相似的邻域内保持一致，但没有考虑语义相似性。此外，它们需要标记图像中的每个对象，这对于数据集准备来说太严格了。我们通过一种更灵活的方法来解决这项任务，在这项工作中引入辅助监督和约束当一些对象上的涂鸦被随机丢弃甚至缩小到斑点时，该方法可以正常工作。几个代表性结果如图所示。1.针对上述问题，我们提出了两种创新的解决方案。为了减少不确定性时，缺乏监督，我们利用两个事实相关的语义分割。第一个是每个像素只属于一个类别（确定性），并且7417只是起主导作用的输出神经表征的一个通道。第二个是在内部对象区域内的神经表征应该是均匀的因此，我们在这里提出，第一次，一个解决方案，涉及神经表示，其中包括两个特定的操作，最小化熵，鼓励确定性预测和网络嵌入随机游走模块，以促进统一的中间体。的转移矩阵使用伪标签进行tic分割。2)单阶段方法[23，24]，通过特定的损失函数和网络结构使用涂鸦注释虽然两阶段方法可以被公式化为常规的语义分割，但单阶段方法通常被定义为最小化以下函数：L= Σc（s（x）p，yp）+λΣu（s（x）p，s（x）q），（1）随机游走对于一致性增强也是有用的。稍后。 总的来说，我们弥补了监管的不足--p∈ΩLp，q∈Ω通过利用两个先验，确定性和一致性，与潦草的注释的解决方案。我们建议在训练过程中采用自我监督作为第二种解决方案，用于解决因图像之间的涂鸦注释不同而导致的不一致结果，这在某些输入变换之前和之后对神经表示施加了一致性[15]。然而，在整个神经表示上的一致性通常对于语义分割是不必要的，特别是对于属于背景类别的区域，其通常是语义异构的。当这些区域在变换后发生严重扭曲和变化时，网络很难产生一致的输出，并且在某些情况下可能会混淆网络。考虑到这一点，并给出了一个随机游走的过渡矩阵，我们建议设置自我监督的图像的主要部分，通过强加一致的损失上的特征空间的过渡矩阵。该想法受到谱方法[26]的启发，其中已经观察到拉普拉斯矩阵的特征向量具有区分图像中的主要部分的能力，并且一些方法使用该属性进行聚类[20]和显着性检测[12]。由于转移矩阵的特征空间与拉普拉斯矩阵的特征空间有着密切的关系该方法在一个常见的涂鸦数据集上表现出一致的优越性，甚至可以与一些完全监督的方法相媲美。此外，我们还进一步进行了当涂鸦逐渐缩小和下降时的实验。所提出的方法仍然可以合理地工作，即使当涂鸦缩小到一个点或显着下降。进行了仔细的消融研究，以验证每次手术的有效性。最后，代码和数据可在https://github.com/panzhiyi/URSS上获得。2. 相关工作涂鸦监督语义分割旨在仅在稀疏涂鸦的情况下产生密集预测。现有的基于深度学习的作品通常可以分为两组：1）两阶段方法[18，25]，首先通过操纵涂鸦符号获得完整的掩码伪标签，然后像往常一样使用语义训练网络。其中，i是一个点集，i是一个具有潦草符号的点集，s（x）i表示给定输入x时在点i处的预测，yi是相应的地面真值。第一项用潦草的注释来测量误差，并且通常是交叉熵的形式第二项是成对正则化，以帮助生成统一的预测。这两项通过权重参数λ协调。对于潦草监督的语义分割，图形模型已经在用于生成伪标签的两阶段方法或用于损失设计的一阶段方法中被普遍采用 [18]通过图形模型迭代地进行标签细化和网络优化。[25]通过使用从另一个标记良好的数据集学习的边缘检测器优化图形模型，这两项工作需要迭代优化或辅助数据集。相反，[24]将软图模型正则化添加到损失函数中，并显式避免图模型优化。这些方法中的一些只在每个对象都至少有一个涂鸦标记的数据集上工作得很好。一般来说，现有的作品还没有提供一个灵活和有效的解决方案，以涂鸦监督语义分割。3. 方法涂鸦监督的语义分割通常由于缺乏监督和从图像到图像的不同注释而遭受不确定和不一致的预测。 在这项工作中，我们提出了两个解决方案，即。神经表示的不确定性降低和神经特征空间的自我监督来解决这些问题。与其他方法相比，我们不依赖于具有良好标记的数据集的辅助任务和注释准备的额外要求。3.1. 神经网络表示的不确定性降低为了减少神经表征的不确定性，我们利用神经表征对于每个语义对象应该是确定性和统一的先验。因此，开发了整体操作并将其施加到神经表示上，包括最小化熵和网络嵌入随机游走。7418−BΣ图2.网络管道。我们使用蓝色和橙色流分别表示涂鸦监督训练和自我监督训练。给定一个图像及其变换，我们将它们传递给ResNet以提取神经表示f（x）L−1，相似性度量模块（SMM）从中计算转换矩阵。然后在f（x）L−1上进行随机游走。结果f（x）L用于分类。同时，通过伪边界最小化软熵来降低神经元表示的不确定性，并在转移矩阵之间设置自监督损失，实现神经元特征空间的自监督在推理过程中，只有蓝色流被激活。最小熵神经表示上的熵被定义为：但动机和实现方式不同。据我们所知，最小熵是采用涂鸦监督语义分割的不确定性1EΩ=−Σ Σs（x）i，j，c·log（s（x）i，j，c）、（2）这是第一次减少。|（i，j）∈ Ω c|(i,j)∈ Ω c其中s（x）表示给定输入x的预测。s（x）i，j，c表示位置（i，j）处的像素属于第c个类别的概率熵表示系统的随机性。根据经典热力学原理：最小化熵导致系统的最小随机性。因此，最小化神经表示上的熵将减少不确定性并迫使网络产生确定性预测。然而，不确定的预测是不可避免的地方，如对象的边界，和无差别熵最小化将导致网络训练冲突。相应地，我们建议最小化神经表示上的熵，排除对应于对象边界的位置，从而产生软熵：网络嵌入随机游走随机游走操作被定义为：z=αPy+（1−α）y，（4）y是初始状态向量，α是控制随机游走程度的参数，P是衡量每两个位置之间转移可能性的转移矩阵，我们通常设置转移可能性较大的相似位置[26]。根据Eq的定义。如图4所示，随机游走之后的输出状态z对于相似位置将具有更多相似状态，从而导致相似语义/外观区域内的均匀状态。受随机游动的特点启发，我们提出将这种操作嵌入到网络中，神经表征，EΩ−B1=−| Ω| （i，jΣ）∈Ω−Bs（x）Ci，j，c·log（s（x）i、j、c）f（x）L=αPf（x）L−1 +f（x）L−1、（五）（三）其中，B-B是排除对象边界的点集。以这种方式，最小化软熵将减少不确定性并避免对象边界上的潜在冲突由于难以获得准确的边界，因此我们仅通过基于无学习的超像素方法SLIC [1]使用伪边界。我们注意到熵已经被用于一些视觉任务，例如物体检测[27]，7419其中f（x）L-1是输入x在层L-1中的神经表示，f（x）L是在层L中随机游走后的神经表示，它们都是维度[M，N，K]（M，N和K表示长度，宽度和通道数）。我们将α设置为在训练期间要获取的可学习参数，并将概率转移矩阵P定义为：P=softmax（f（x）L−1Tf（x）L−1），（6）7420−图3.熵图颜色越冷表示熵越小。其中f（x）L−1 被展平为[MN，K] ，f（x）L−1Tf（x）L−1将产生一个维数为[MN，MN]的矩阵。通过水平方向上的softmax，我们生成合适的概率转移矩阵P，其中所有单元都是正的，并且矩阵的每行和为1。随机游走经常用于语义分割任务[5，11，2，3]。然而，它们中的大多数使用随机游走来扩散伪标签或细化初始预测。相反，我们在神经表示上使用随机游走，以在以下情况下减少均匀和不确定性只给出潦草的注释。不确定度降低验证在这一部分中，我们验证了如何通过上述两种操作来降低不确定度给定几个随机选择的样本，我们测量像素级熵图的基线，网络与建议的操作单独（+熵，+软熵，+随机游走）和一起（+不确定性降低（UR））获得的预测。结果如图1D所示。3.如所预期的，熵通过所提出的两个操作而减小，并且使用它们两者导致最小熵，尽管对象边界仍然不确定。稍后将给出3.2. 神经元特征空间自我监督计算网络的输入和变换中间体之间的失配，这迫使网络产生一致的输出。自监督已被用于无监督学习任务以提供无监督损失[15，19]。我们采用自我监督，以解决不一致的结果所造成的不同的涂鸦注释从图像到图像的问题。在这项工作中应用自我监督损失时需要考虑几个问题：（一）涉及自我监督的;（2）如何计算自我监督损失;（3）采用什么样的变换。我们在下面解决这些问题。自我监督实现自我监督的最直接的方法是计算神经代表和神经元代表之间的差异输入及其变换的表示：ss（x，）=l（T（f（x）），f（t（x），（7）其中t表示以为参数的x上的变换操作，而T对应于f（x）上的变换操作（t和T是用于自我监督的一对对应变换）。l是度量差异的度量我们将这种相容性表示为ss（x，）。 有几个明显的地方可以应用自我监督，例如。 神经表示f（x）L−1和f（x）L。神经元特征空间然而，对于具有自我监督的语义分割任务，我们认为直接计算整个神经表征的损失是没有必要的，并且可能不是最佳的。当图像在变换后严重失真时，其神经表示的某些部分将发生很大变化，因此最小化等式（1）。7将是艰难的，甚至模棱两可。在这项工作中，给定的转移矩阵P的随机行走在秒。3.1中，我们提出在P的神经特征空间上应用自监督。转移矩阵P的本征空间和非-具体化的拉普拉斯矩阵L具有密切的关系[26]。证明了ΛP=1ΛL和UP=UL（Λ表示以特征值为元素的对角矩阵，U表示以特征向量为列的矩阵）.根据[13，12]，U_L的列具有区分图像的主要部分的能力。因此，UP也将继承该属性。我们在图4中可视化P的几个特征向量。可以看出，与原始神经表示f（x）L−1和f（x）L相比，P的一些特征向量能够更好地区分主要部分和其他部分，并忽略一些细节，尽管P也是从神经表示计算的。基于以上分析，我们将自我监督定义为，ss（x，）=l（UP（T（f（x），UP（f（t（x）（8）+l（Λ P（T（f（x），Λ P（f（t（x）.图4. (a)从上到下：潦草的注释和地面实况。(b)从上到下：随机游走前后的神经表征。(c)转移矩阵的首特征向量。7421∈软特征空间自监督当量8需要显式特征分解，这是耗时的，特别是在深度神经网络上下文内。虽然已经提出了一些近似方法[8，29，22]，但它们的效率和稳定性仍然远远不能令人满意。为此，我们开发了软特征空间自监督，避免显式特征分解。首先，考虑到矩阵的迹等于其特征值之和，我们通过计算与P的迹的差tr（P）来度量Λ上的一致性。其次，给出了在Λ上的一致性，提出了通过度量P上的一致性来间接地得到一致性U。换句话说，软特征空间自监督损失被定义为：ssP（x，）=la（T（P（x）），P（t（x）+ γ*lb（tr（T（P（x），tr（P（t（x），（九）图5.本征空间自监督的预定义计算矩阵。其中P（x）表示输入x的P，tr（P（x））是P（x）。由于P（X）是概率转移矩阵，我们将Ia定义为Kullback-Leibler散度，并且对Ib使用L2范数。γ是控制两项的权重计算效率我们设置了两个线性变换操作用于自我监督，（水平翻转，平移）。与影响神经表征的变换相比，任何变换都将导致P上的复杂变化并且使计算复杂然而，由于所有变换操作都是线性的，因此变换后的概率转移矩阵可以表示为原始P与预定义的计算矩阵的乘积，以便于等式（1）。9计算。分类器，严格遵循等式5与学习的α，控制随机游走的程度。相似性测量模块计算任何神经表示元素对之间的内积距离，并将概率转移矩阵P形成为等式（1）。六、我们使用预训练的ResNet [10]和膨胀[7]作为主干来提取初始神经表示。我们工作中的总损失定义为：L=Σc（s（x）p，yp）+ω1EΩ−B+ω2∝ssP（x，），T（P（x））可以定义为：p∈ΩL（十一）T（P（x））=Tr·P（x）·Tc，（10）其中Tr和Tc是用于变换矩阵的预定义计算矩阵。图5、可视化了软特征空间自监督时水平翻转和垂直平移的计算4. 执行网络如图所示。2，包括两个模块（ResNet提取特征，和相似性度量模块（SMM）计算概率转移矩阵），一个特定的过程（随机游走），和三个损失函数（软熵，自我监督，和交叉熵）。这些组件实现了神经表征的不确定性降低和神经特征空间的自监督随机游走被嵌入到网络的计算流中其中ω1和ω2是预定义的权重。第一项测量在具有潦草的位置处的预测与地面实况的偏差。第二项计算不包括伪边界的区域内的熵。第三项是特征空间上的自监督。通过最小化Eq.11，我们正在训练网络，以便在涂鸦可用时拟合涂鸦网络中嵌入的随机游走也将有助于生成均匀的中间体。因此，我们克服了困难的涂鸦监督语义分割时，稀疏和随机的注释。培训过程有两个步骤。起初，只有前两个术语参与。此时，网络的初始性能可能不佳，自我监督不会带来好处，反而会阻碍优化。在网络获得合理的性能之后，整个Eq. 11已激活7422图6.（a）具有0.1至0.5的涂写滴率和不同设置下的mIoU分数的涂写滴的代表性样品(b)涂鸦收缩的代表性样本，涂鸦收缩率为0至1（点），不同设置下的mIoU评分。(Zoom以获得更好的可视化效果）5. 实验5.1. 实验设置数据集我们在常用的scribble-annotated数据集scribblesup [18]上进行实验。该数据集有21个类（包括忽略类别），图像中的每个然而，我们的方法可以在没有先决条件的情况下发挥作用验证超参数所有训练图像都被随机缩放（0.5到2），旋转（-10到10），用大小为（5，5）的高斯核模糊，标准差为1.1，并翻转以进行数据增强，然后在馈送到网络之前裁剪到[465，465]。 f（x）L−1和f（x）L具有空间维度[59，59]。所有计算都在两个NVIDIA TITAN RTXGPU上进行。补充材料详细说明了γ、ω1、ω2的设置以及包括学习率、批量大小和历元在内的训练参数我们的优势，我们进一步准备两个变种的scrib-in。blesup具有相同的训练和验证分区。第一个是涂鸦丢弃，其中图像中的每个对象随机丢弃（即删除）所有涂鸦。第二个是scribble-shrink，图像中的每个涂鸦都随机缩小（甚至缩小到一个点）。我们测试许多设置的下降和收缩率。图图6示出了几个代表性的涂写-滴落和涂写-收缩样品。减少不确定Miou比较方法我们比较最近提出的涂鸦监督的方法包括乱涂乱画[18]、[25]第二十五话NCL [23]， [24]和BPG-PRN [28]， 并且还其他弱监督方法，如点监督（What'sPoint [4]），边界框监督（SDI [14]，BCM [21]）和图像级标签监督（CIAN [9]，FickleNet [17]，SCE [6]）。此外，还比较了全标签监督方法（DeepLabV2 [7]）。我们使用mIoU作为主要指标来评估这些方法和我们的。当与其他人比较时，我们使用他们报告的分数。表1.消融研究以降低不确定性。5.2. 消融研究在这一部分中，我们调查了SEC中涉及的所有操作。3.我们使用Scribblesup数据集进行训练和验证。首先，我们做了一个消融研究的手术在第二。3.1.从基线（ResNet50）开始，我们逐渐添加熵最小化，边界排除和随机游走，获得具有不同组合的网络。我们在Tab中报告 mIoU1.一、第一行是基线。我们可以观察到，所有操作都可以获得更好的性能，并且使用它们都会导致最佳性能。我们得到熵边界随机游走66.8✓✓✓✓✓✓✓69.369.470.0七十点九7423|−|||||在不同的地方进行监督。与f（x）L−1和f（x）L相比，P（x）在背景区域的变化较小。这一现象表明，P（x）上的自监督可以集中于主要部分，避免了语义不稳定的背景范畴的训练冲突，减轻了训练负担。F（x）L−1f（x）LP（x）翻转平移52.8%百分之三十七点五6.7%百分之七点五12.0%百分之三点五表2.自我监督消融研究图7.不同的自我监督的变化。(a)输入图像，（b）地面实况，（c）（d）（e）分别为f（x）L−1、P（x）和f（x）L上的变化。第一行示出了翻转操作的变型，而第二行用于平移操作。通过降低神经表示的不确定性，总体改善了4.1%。其次，对高中生自我监督进行了消融性研究。3.2.从网络在Tab中获得最高分数（70.9%）开始。1中，我们比较了在f（x）L−1，f（x）L和P（x）的特征空间上通过不同变换操作进行自我监督进一步训练后的网络。我们在Tab中报告mIoU二、我们注意到，并非所有人都愿意表3.同一变换操作下的变化比较5.3. 定量结果我们得到了mIoU 73。0%，ResNet50和74。6%与ResNet101在Scribcup数据集上。当与其他人比较时，我们也报告了CRF的性能。选项卡. 4列出了比较方法的所有评分。除了涂鸦监督的方法，我们还展示了其他标签类型的方法，如点和全标签。该方法达到国家的最先进的性能相比，其他涂鸦监督的方法，甚至可以 与 全 标 签 之 一 。 所 报 告 的 全 标 签 方 法（DeepLabV2）另外在COCO数据集上进行预训练。补充材料通过不同的标签类型具有更多的结果。自我监督f（x）L与transla-操作甚至使性能恶化然而，对P（x）的特征空间的自监督一致地提高了性能，并且随机选择变换操作实现了最佳性能。我们得到2。1%（从70.9%到73.0%）的改善，通过自我监督的神经特征空间。P的特征空间是位于f（x）L−1之后和f（x）L之前的特征。为了深入研究特征空间上的自我监督优于其他人的原因，在Tab。3，我们显示了f（x）L−1，f（x）L和表4.Scribblesup验证集上的性能。注释类型（Ann.）表示：P-应当注意，一些方法，例如[18，25，相同变换下的P（x）（不应用自监督然而）。 用相对误差T（f）f ′/（T（f）+f ′）（f：神经表征，f ′：变换后的神经表征）来衡量变化。可以看出，相同的变换将总是导致P自我监督sionMiou变换操作位置f（x）L−172.5翻转f（x）L72.5特征空间72.9f（x）L−171.9翻译f（x）L70.0特征空间72.6f（x）L−172.4方法Ann.骨干wo/CRF使用CRF什么BCMCIANFickleNetSCEDeepLabV2PBBIIIFV GG16ResNet101ResNet101ResNet101ResNet10146.0--64.164.964.876.4-69.470.267.3-66.177.7乱涂乱画RAWKSNCLKCLBPG-PRNSSssSV GG16ResNet101ResNet101ResNet101-59.572.873.071.463.161.474.575.0-我们的-ResNet50SSResNet50ResNet10173.074.674.776.17424（x）上的较小变化。图7、我们为自我形象化变异24]，要求每个对象都被标记。但是，我们的没有这个限制。在图6中，我们示出了在潦草丢弃和潦草收缩数据集上的不同丢弃和收缩率下的性能。可以看出，利用我们提出的解决方案，当丢弃率和收缩率增加时，即使所有涂鸦都收缩为斑点，我们也表现良好。7425图8.我们和其他人的视觉对比。P（M）M（MB）S（它/秒）基线41.722015.54.21+减少不确定性+1.24+37.2+0.32+自我监督+0分+10.8+0分图9.所提出的方法在训练之后的结果具有不同丢弃率的涂鸦丢弃图10.所提出的方法在训练之后的结果scrible-shrinkdataset具有不同的收缩率。5.4. 定性结果图8显示了NCL、KCL和我们在scribblesup测试集的三张图像上的视觉比较。随着提出的不确定性降低（UR）和自我监督（SS），结果逐渐完善，并显示出显着的促进基线和其他。(The本节中的结果和分数均来自验证集。）图9和图10进一步证明了我们关于涂鸦-跌落和涂鸦-收缩的结果。可以看出，训练集上的涂鸦在逐渐缩小的过程中丢失了一些细节，但主要部分得到了很好的保留。对于随机跌落，我们的方法表现出很好的鲁棒性。当每个涂鸦在训练期间以50%的概率被丢弃时，预测不会降低太多。5.5. 消耗的计算资源消耗的资源在Tab中测量。5.自我监督不需要保留中间体，也没有额外的参数，只在训练时采用。然-表5.参数（P）、存储器（M）、推理速度（S）。DOM遍历仅需要适度的空间来保存转移矩阵。因此，所提出的解决方案的成本似乎是可接受的。6. 结论在这项工作中，我们认识到，语义分割只给出潦草的注释将导致不确定和不一致的预测。因此，我们开发了两个创造性的解决方案，减少不确定性的神经representation，产生自信的结果，和自我监督的神经特征空间的一致性输出。不需要注释准备的额外信息和要求。彻底的消融研究和中间可视化已经验证了所提出的解决方案的有效性最后，我们达到国家的最先进的性能与其他人相比，甚至媲美全标签监督的。此外，所提出的方法仍然工作时，涂鸦随机下降或缩小。确认本 工 作 得 到 了 国 家 自 然 科 学 基 金 （ 61702301 ，61772318，62072284）和欧盟7426引用[1] Radhakrishna Achanta ， Appu Shaji ， Kevin Smith ，Aurelien Lucchi，PascalFua和SabineSüsstrunk。切片超像素与最先 进 的 超 像 素 方 法 的 比 较 。 IEEE Transactions onPattern Analysis and Machine Intelligence，34（11）：2274[2] 安智云和郭淑华。学习像素级语义亲和力与图像级监督弱监督语义分割。在IEEE计算机视觉和模式识别会议论文集，第4981-4990页[3] 尼基塔·阿拉斯拉诺夫和斯特凡·罗斯图像标签的单阶段语义分割在IEEE计算机视觉和模式识别会议论文集，2020年6月。[4] Amy Bearman，Olga Russakovsky，Vittorio Ferrari和LiFei-Fei。重点是什么欧洲计算机视觉会议。施普林格，2016年。[5] Gedas Bertasius，Lorenzo Torresani，Stella X Yu，andJianbo Shi.用于语义图像分割的卷积随机游走网络。在IEEE计算机视觉和模式识别会议论文集，第858-866页[6] 张玉婷，王乔松，洪伟智，罗宾逊·皮拉穆图，蔡义轩，杨明轩。通过子类别探索的弱监督语义分割。在IEEE/CVF计算机视觉和模式识别会议论文集，第8991-9000页[7] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence，40（4）：834[8] Zheng Dang，Kwang Moo Yi，Yinlin Hu，Fei Wang，Pascal Fua，and Mathieu Salzmann.具有零特征值损失的深 度 网 络 的 无 特 征 分 解 在 欧 洲 计 算 机 视 觉 会 议（ECCV）的会议记录中，第768-783页[9] 范俊松、张兆祥、谭铁牛、宋春风、肖军。Cian：用于弱监督语义分割的跨图像亲和网络。在AAAI人工智能会议论文集，2020。[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[11] Peng Jiang，Fanglin Gu，Yunhai Wang，Changhe Tu，and Baoquan Chen. Difnet：通过扩散网络进行语义分割。神经信息处理系统的进展，第1630-1639页，2018年[12] 彭江，潘志毅，涂长河，努诺·瓦斯康塞洛斯，陈宝泉，彭景良.显著目标检测的超扩散。IEEE Transactionson Image Processing，29：2903[13] Peng Jiang，Nuno Vasconcelos，and Jingliang Peng.基于扩散的显著对象检测的通用推广。IEEE InternationalConference on Computer Vision （ ICCV ） ， 2015 年 12月。[14] Anna Khoreva 、 Rodrigo Benenson 、 Jan Hosang 、Matthias Hein和Bernt Schiele。简单做到：弱监督实例和语义分割。在IEEE计算机视觉和模式识别会议论文集，第876-885页[15] Samuli Laine和Timo Aila用于半监督学习的时间集成arXiv预印本arXiv：1610.02242，2016。[16] Yann LeCun，Yoshua Bengio，and Geoffrey Hinton.深度学习nature，521（7553），2015.[17] Jungbeom Lee、Eunji Kim、Sungmin Lee、Jangho Lee和Sungroh Yoon。Ficklenet：Weakly and semi-supervisedse-mantic image segmentation using stochastic inference.在IEEE计算机视觉和模式识别会议论文集，第5267-5276页[18] Di Lin，Jifeng Dai，Jiaya Jia，Kaiming He，and JianSun. Scribblesup：用于语义分割的Scribble-supervised卷积 网 络 在 Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，pages 3159[19] Sudhanshu Mittal、Maxim Tatarchenko和Thomas Brox。具有 高、 低层次 一致 性的半 监督 语义分 割。IEEETransactionsonPatternAnalysisandMachineIntelligence，2019。[20] Andrew Y Ng、Michael I Jordan和Yair Weiss。关于谱聚类：分析和算法。神经信息处理系统进展，第849-856页，2002年[21] 宋春风、黄燕、欧阳万里、王良。用于弱监督语义分割的框驱动类区域掩蔽和填充率引导损失在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2019年6月。[22] 孙建、徐宗本。基于神经扩散距离的图像分割。神经信息处理系统的进展，第1443-1453页，2019年[23] Meng Tang ， Abdelaziz Djelouah ， Federico Perazzi ，Yuri Boykov，and Christopher Schroers.弱监督cnn分割的归一化割损。在IEEE计算机视觉和模式识别会议集，第1818-1827页[24] Meng Tang ， Federico Perazzi ， Abdelaziz Djelouah ，Ismail Ben Ayed ， Christopher Schroers ， and YuriBoykov.弱监督cnn分割的正则化损失。在欧洲计算机视觉会议（ECCV）的会议记录中，第507-522页[25] 保罗·韦尔纳扎和曼莫汉·钱德拉克。学习弱监督语义分割的随机游走标签传播。在IEEE计算机视觉和模式识别会议论文集，第7158-7166页，2017年。[26] Ulrike Von Luxburg 光 谱 聚 类 教 程 Statistics andcomputing，17（4）：395[27] 方晚，魏鹏旭，焦建斌，韩振军，叶七娘弱监督的最小熵潜在模型7427目标检测在IEEE计算机视觉和模式识别会议论文集，第1297- 1306页[28] Bin Wang，Guojun Qi，Sheng Tang，Tianzhu Zhang，Yunchao Wei，Linghui Li，and Yongdong Zhang. 边界感知引导：一个涂鸦监督语义分割方法。在IJCAI，第3663-3669页[29] Wei Wang，Zheng Dang，Yinlin Hu，Pascal Fua，andMath- ieu Salzmann.反向传播友好的特征分解。神经信息处理系统进展，第3162-3170页，2019年