基于图像子类探索的弱监督语义分割方法

1基于子类探索的张玉婷1王乔松2洪伟智1毕拉穆图2蔡义轩3杨铭轩1，42eBay Inc.3NEC美国实验室4谷歌研究摘要现有的弱监督语义分割方法使用图像级注释通常依赖于初始响应来定位对象区域。然而，由于网络不需要整个对象来优化目标函数的事实，由分类网络生成的这种响应图通常集中于有区别的为了让网络关注对象的其他部分，我们提出了一种简单而有效的方法，通过利用子类信息来引入自监督具体来说，我们对图像特征进行聚类，以在每个带注释的父类中生成伪子类标签，并构建子类目标，以将网络分配给更具挑战性的任务。通过迭代地聚类图像特征，训练过程不会将其自身限制在最具辨别力的对象部分，从而提高了响应图的质量。我们进行了广泛的分析，以验证所提出的方法，并表明我们的方法对国家的最先进的方法表现良好。1. 介绍语义分割的目标是为图像中的每个像素分配一个语义类别。它一直是计算机视觉中最重要的任务之一，在图像编辑和场景理解等方面有着广泛的应用。最近，已经开发了基于深度卷积神经网络（CNN）的方法[16，5，42然而，这样的方法依赖于需要逐像素注释的学习监督模型，这需要大量的努力和时间。为了减少标注像素级地面真值标签的工作量，提出了许多弱监督方法，使用各种类型的标签，如图像级标签[1，22，29，32]，视频级标签[1，22，29，32]level [6，45，35]、边界框[28，8，20]、point-level [2]和基于涂鸦的标签[26，37]在这项工作中，我们专注于使用图像级标签，可以毫不费力地获得图1：现有的基于图像级监督的弱监督语义分割方法通常应用类激活图（CAM）来获得响应图作为初始预测。然而，这个反应图只能突出物体的区别部分（顶部）。我们提出了一个通过子类别探索的自监督任务，以加强分类网络学习更好的响应图（底部）。但在监管不力的情况下这是一个更具挑战性的案子现有算法主要包括三个顺序步骤来对图像级标签执行弱监督训练：1）预测初始类别响应图以定位对象，2）将初始响应细化为伪地面实况，以及3）基于伪标签训练分割虽然最近的方法已经取得了有希望的结果[1，18，38，40]，他们中的大多数集中在改善第二和第三步。因此，这些方法可能遭受在第一步骤中生成的不准确的预测，即，初步反应。在这里，我们的目标是提高性能的初始预测，这将有利于后续步骤。为了预测每个类别的初始反应图，已经开发了许多基于类别激活图（CAM）模型的方法[46]。本质上，这些方法训练分类网络，并使用其在分类器中学习的权重作为计算的线索89918992特征图的加权和，其可以被视为响应图。然而，这样的响应图可能仅聚焦于对象的一部分，而不是定位整个对象（参见图1的顶部）。一种解释是分类器的目标不需要这削弱了分类器我们的技术的核心是对网络施加一个更具挑战性的任务，以学习更好的表示，同时不危及原始目标。为此，我们提出了一种简单而有效的方法，即引入一个自我监督的任务，以无监督的方式发现子类别，如图1. 具体来说，我们的任务包括两个步骤：1）对从分类网络中提取的用于每个注释的父类的图像特征执行聚类（例如，PASCAL VOC 2012数据集上的20个父类[11]），以及2）使用每个图像的聚类分配作为伪标签来优化子类别目标。一方面，父分类器通过有监督的训练建立特征空间，作为无监督子类聚类的指导。另一方面，子类别目标提供额外的梯度来增强特征表示，并利用原始特征空间的子空间因此，分类模型承担了更具挑战性的任务，并且不限于仅学习父分类器的更容易的目标此外，为了保证更好的收敛性，我们迭代地改变特征聚类和伪训练子类别目标的两个步骤。我们在PASCAL VOC 2012数据集[11]上进行了广泛的实验，以证明我们的方法在生成更好的初始响应图以定位对象方面因此，我们的方法导致对国家的最先进的弱监督approaches的最终语义分割结果的良好性能。此外，我们提供了广泛的消融研究和分析，以验证我们的方法的鲁棒性。有趣的是，我们注意到网络能够区分子类别，这些子类别的对象大小/类型，上下文以及与其他类别的共存。本文的主要贡献概括如下：• 我们提出了一个简单而有效的方法，通过自我监督的任务，以提高特征表示，分类网络。这也改进了弱监督语义分割的初始类激活图。• 我们探索了子类别发现的想法，通过迭代地执行无监督聚类和伪训练的子类别目标，在一个自我，监督时尚• 我们提出了广泛的研究和分析，以显示该方法的有效性，显着提高了初始响应图的质量，并导致更好的语义分割结果。2. 相关工作在这项工作的背景下，我们讨论了使用图像级标签的弱监督语义分割（WSSS）的方法，包括专注于初始预测和改进以生成伪地面真值的方法。此外，本节还讨论了与非监督表示学习相关的算法。WSSS的初始预测。初始线索对于分割任务是必不可少的，因为它可以为生成分割图提供可靠的先验知识类激活图[46]是一种广泛使用的定位对象的技术。它可以突出显示作为初始提示的类特定区域。然而，由于CAM模型是由分类任务训练的，因此它倾向于激活对象的小区分部分，从而导致不完整的初始掩码。已经开发了几种方法来缓解这个问题。许多方法[34，39]故意隐藏或删除对象的区域，迫使模型寻找更多样化的部分。然而，这些方法要么随机隐藏已经提出了许多变体[44，25最近，SeeNet方法[17]应用自擦除策略来鼓励网络同时使用对象和背景线索，这可以防止注意力包含更多的背景区域。FickleNet方法[24]引入随机特征选择以获得特征图上位置的不同组合，而不是使用通过聚合定位图，它们获得包含对象的较大区域的初始提示。与通过迭代步骤发现互补区域或合并注意力地图来缓解问题的方法不同，我们提出的方法旨在加强网络的学习能力。通过自我监督的子类别探索来完成更具挑战性的任务，从而增强特征表示并改进响应图。WSSS的响应优化。提出了许多方法[1，12，13，18，22，38，40]来通过扩展注意力图的区域来细化初始提示。SEC方法[22]提出了一个损失函数，该函数约束全局加权秩池和低级边界，8993图2：用于生成类激活映射的建议框架给定输入图像I，我们首先将它们馈送到特征提取器E中以获得它们的特征f。然后，我们采用f上的无监督聚类，并获得每个图像的子类别伪标签Ys接下来，我们训练分类网络以使用用于父类的真实标签Yp联合优化父分类器Hp，并且使用在聚类阶段中获得的子类别伪标签联合优化子类别分类器Hs通过迭代地对图像特征执行无监督聚类并伪训练分类模块，我们使用联合优化的分类网络来产生最终的激活图M。展开本地化地图。为了改进网络训练，MCOF方案[38]使用自下而上和自上而下的框架，该框架交替地扩展对象区域并优化分割网络，而MDC方法[40]通过采用具有不同膨胀率的卷积层的多个分支来扩展种子。此外，DSRG方法[18]通过在分割网络的训练其他方法是通过亲和学习开发的例如，Affini- tyNet[1]考虑逐像素亲和性以将局部响应传播到附近区域，而[12，13]探索跨图像关系以获得可以推断预测的补充信息。然而，初始种子仍然是从CAM方法中获得的。如果这些种子仅来自对象的可区分部分，则难以将区域扩展到非可区分部分。此外，如果初始预测产生错误的关注区域，则应用细化步骤将覆盖甚至更不准确的区域。在这篇文章中，我们专注于改进初始预测，这导致更准确的对象定位，并有利于细化步骤。无监督表示学习。无监督学习在计算机视觉领域得到了广泛的研究。一个优点是学习更好的图像表示，并将学习到的特征应用于注释并不总是可用的任何特定域或数据集自监督学习[9]利用借口任务直接用“伪标签”替换人类注释从原始输入数据计算。开发了许多方法[27，30，31为了减少领域知识需求，Coates和Ng [7]验证了具有K-means的特征学习系统可以是一个可扩展的无监督学习模块，可以训练未标记数据的模型以提取有意义的特征。此外，最近的一种方法[3]采用聚类框架来提取有用的视觉特征，方法是在聚类图像描述符和通过预测聚类分配来更新CNN的权重之间交替在这项工作中，我们提出学习一种自我监督的方法，探索分类网络中的子类别，即，使用无监督信号来增强特征表示，同时改进弱监督语义分割的初始响应图。3. 弱监督语义分割在本节中，我们描述了我们的弱监督语义分割框架，包括我们如何探索子类别以改进初始响应图并生成最终语义分割结果的细节3.1. 算法概述为了获得初始响应，我们遵循训练分类网络的常见做法，并利用CAM方法[46]获得我们的基线模型。CAM方法通常仅在有区别的对象部分上激活，这对于图像分类8994CpSpSYppS任务为了解决这个问题，我们建议在目标中纳入一项更具挑战性的任务：自我监督的子类别发现，以强制网络从更多的对象部分学习。首先，对于每个带注释的父类，我们通过对图像特征应用K-均值聚类来确定K个子类别。根据聚类结果，我们为每幅图像分配一个伪标签，作为子类别的索引。最后，我们构造一个子类别目标来共同训练分类网络。通过迭代地更新特征提取器、两个分类器和子类别伪标签，增强的特征表示导致更好的分类，从而逐渐产生达到对象的更完整区域的响应图整个过程如图2所示。然后，我们使用[1]中的方法来扩展响应图，这些响应图被用作伪地面实况来训练分割网络。还要注意的是，我们的方法专注于初始预测，因此它不限于某些区域扩展或分割训练方法。准备工作：通过CAM进行初始响应。我 们 采用以无监督的方式发现子类别对于每个父类p c，我们定义K个子类s k，其中k={1，2，K}。对于每个带有父标签的图像I，{0，1}c中的Yc，类别c表示为{0，1}k中的Yc，k。我们还注意到，如果一个父类的标签不存在（即，Y c=0），则所有子类别的标签也将为0，即，Y c ，k=0，k={1，2，...，K}。我们的目标是学习一个用θs参数化的子类别分类器Hs，同时与Hp共享相同的特征提取器E。类似于父分类损失Lp，我们采用标准的多-标签分类损失Ls，具有较大的细粒度标签空间Ys。子类别发现。 由于不存在子类别的真实标签来直接优化上述子类别目标Ls，因此我们通过无监督聚类生成伪标签。具体来说，我们执行聚类对于每个父类，基于从特征提取器E提取的图像特征。每个类别c的聚类目标可以写为：ΣNcCAM使用典型的类生成初始响应1minMin||f−T Yc||2，s.t. ，Yc1=1，（2）sification网络，其结构由卷积，D∈Rd×kNcCi=1sS2sk作为特征提取器E，接着是全局平均池化（GAP）和一个全连接层Hp作为输出分类器。给定输入图像I，使用多标签类用图像级标签Yp训练网络[46 ]第46话：After training, the activa- tion map M foreach category c can be obtained via directly在特征图f=E（I）上应用分类器Hp：Mc （ x ， y ） =θc<$f （ x ， y ） ，（1）其中θc是类别c的分类器权重，并且f（x，y）是像素（x，y）处的特征。响应地图是其中T是D× K质心矩阵，Nc是包含类别c的图像的数量，f=E（I）∈RD是提取的特征。我们使用每个图像的聚类分配Yc作为子类别伪标签来优化LS。联合训练。在从上述聚类过程获得子类别伪标签Y s之后，我们联合优化特征表示f=E（I）和两个分类器，即，Hp和Hs：1ΣN进一步由Mc中的最大值归一化。3.2. 子类别探索minθp，θsNi=1Lp（Hp（fi），Yp）+λLs（Hs（fi），Ys），（3）使用（1）的每个图像的激活图通常仅突出显示有区别的对象部分。然而，从分类器的角度来看，对象的最有区别的部分已经足以优化分类中的损失函数Lp。由于学习目标是基于分类得分的，因此CAM模型不可避免地会生成不完整的注意力图。为了解决这个问题，我们整合了一种自我监督方案，用于增强特征表示f，同时通过探索子类别信息来改进响应图，其中f似乎是通过（1）计算激活图的重要线索。子类别目标。为了给分类模型分配一个更具挑战性的问题，我们引入了一个任务，其中N是图像的总数，λ是权重平衡两个损失函数。在该方法中，部分分类器通过Lp的监督训练学习特征空间，而子类别目标Ls探索特征子空间并提供额外的梯度。用于增强特征表示f，其用于通过（1）计算CAM。迭代优化。（2）中提出的无监督聚类方案依赖于特征f来发现子类别伪标签。因此，仅经由目标Lp学习的特征对于集群的目的。 为了缓解这个问题，我们采用了迭代训练方法，交替更新（2）和（3）。因此，特征f首先通过子类别目标被增强，并且反过来促进聚类8995S算法1学习CAM的子类别发现输入：图像I;父标签Yp;类别编号C;子类别编号K输出：类激活图Mc模型：特征提取器E;父分类器（Hp;θp）;子类别分类器（Hs;θs）优化{E，Hp}，其中Yp通过Lp虽然培训通过f=E（I）提取特征forC←1toCdo通过f生成伪标签Yc（2）通过（3）用{Yp，Ys}优化{E，Hp，Hs过程以生成更好的伪地面真值，然后用于在网络训练中学习更好的特征表示。算法1总结了生成最终类别激活标测图的总体优化。3.3. 实现细节在本节中，我们描述了所提出的框架的实现细节和以下过程，以产生最终的语义分割结果。所有的源代码和训练模型都可以在https：//github.com/Juliachang/SC-CAM网站。分类网络。在这项工作中，ResNet-38架构[41]用于CAM模型，训练过程与[1]中的训练过程相似。 该网络由38个具有宽通道的卷积层组成，随后是一个具有512个通道的3×3卷积层，用于更好地适应分类任务，一个用于特征聚合的全局平均池化层，以及两个用于图像和子类别分类。该模型在ImageNet [10]上进行预训练，然后在PASCAL VOC 2012数据集上进行微调。我们使用基于水平翻转、随机裁剪和颜色抖动操作的典型技术来增强训练数据集。我们还随机缩放输入图像，以在网络中施加尺度不变性。我们使用PyTorch实现了所提出的框架，并在具有12GB内存的单个Titan X GPU上进行训练。为了训练分类网络，我们使用Adam优化器[21]，初始学习率为1 e-3，权重衰减为5e-4。在实践中，我们使用λ=5和K=10，所有实验，除非另有说明。用于迭代训练，我们经验性地发现模型在训练3轮后收敛在实验部分，我们展示了K的选择和迭代训练结果的研究。表1：在PASCAL VOC训练和确认集上评估激活标测图的性能比较（mIoU（%））。训练集验证集方法凸轮CAM+RW凸轮CAM+RWAffinityNet [1]48.058.146.857.0我们50.963.449.661.2语义分割生成。基于算法1中的方法生成的响应图，我们采用通过亲和度的随机游走方法[1]将图细化为用于语义分割的逐像素伪地面真值此外，作为一种常见的做法，我们使用密集条件随机场（CRF）[23]来进一步细化响应，以获得更好的对象边界。为了训练分割网络，我们利用Deeplab-v2框架[5]和ResNet-101架构[15]作为骨干模型。4. 实验结果在这一节中，我们首先介绍我们的方法产生的初始响应的主要结果和其次，我们展示了PASCAL VOC数据集[11]上的最终语义分割更多的结果可以在柔软的材料中找到。4.1. 评估的数据集和指标我们在PASCAL VOC 2012语义分割基准[11]上评估了所提出的方法，该基准包含21个类别，包括一个背景类。每个图像包含一个或多个对象类。根据之前的弱监督语义分割方法，我们使用[14]中存在的增强的10，528个训练图像为了评估训练集，我们使用没有增强的集合，其中有1，464个示例。我们在验证集中采用了1，449张图像，在测试集中采用了1，456张图像，将我们的结果与其他方法进行比较。对于所有实验，使用平均交叉与联合（mIoU）比率作为评价指标。测试集的结果从官方PASCAL VOC评估网站获得。4.2. 改进初始响应在表1中，我们显示了在训练集和验证集上使用CAM计算的片段的平均IoU我们在将细化步骤应用于激活图之后呈现结果，即，CAM+随机游走+ RW）。表1显示，我们的方法使用AffinityNet [1]将IoU显著提高了近3%，8996图3：初始响应的样本结果。我们的方法通常生成覆盖对象的更大区域的响应图（即，注意力集中在动物的身体上），而CAM [46]产生的反应图倾向于突出小的区分部分。表2：PASCAL VOC 2012验证集上不同轮培训的初始响应的分割质量。我们发现mIoU和F-Score指标都有逐步改善轮mIoU（%）↑F评分↑#0（CAM）46.865.1#148.065.6#248.766.6#349.667.0图4：K的消融研究 我们证明了亲-提出的方法相对于K表现稳健，并且始终优于未应用聚类来发现子类别的原始CAM我们标记原始CAM的mIoU在K=1时的值，并给出改进的mIoU。CAM和CAM+RW大于4%。改进的初始响应图有助于下游任务生成逐像素伪地面实况，用于训练语义分割模型。在图3中，我们显示了通过常规分类损失Lp[46]和通过算法1中总结的子类别发现的提议方法生成的CAM的比较。可视化结果表明，我们的方法是能够以定位更完整的对象区域，而原始CAM仅关注有区别的对象部分。我们还注意到，这对于将响应图作为输入的细化阶段至关重要。4.3. 消融研究和分析为了演示我们的方法如何帮助改进特征表示，并通过利用子类别信息让网络更多地关注其他对象部分，我们在本节中进行了广泛的分析。在这里，所有的实验结果都是基于PASCAL VOC验证集子类别数K的影响。我们首先研究子类别数K如何影响所提出的方法的性能在图4中，我们使用K={5，10，20，50}，并表明所提出的方法在具有相对于K（在宽范围内）并且始终优于原始CAM方法（即，K=1）。研究结果也验证了使用更多子类别（即，K >1），以生成更好的响应图。考虑到效率和准确性，我们在所有实验中对每个父类使用K=10作为未来的工作，开发一种自适应方法来确定子类别数[33]，这可以减少冗余子类别并使该方法更有效，这是非常有趣的迭代改进。 为了证明我们的迭代训练过程的有效性，我们在表2中显示了片段质量的逐步改善。我们给出了mIoU和F-Score的结果，它们解释了召回率和精确率测量，其中它们是验证激活图是否能够覆盖对象部分的重要线索。与第0轮（原始CAM）的结果相比，我们的方法随着训练更多轮而逐渐8997图5：最后一轮模型的聚类结果（#3）。我们为每个父类显示了3个集群，并证明了我们学习的特征能够根据对象的大小（飞机，鸟，牛），上下文（飞机，鸟，人），类型（船，鸟），姿势（牛）以及与其他类别（人）的交互对对象进行图6：基于t-SNE方法的权重的可视化，其示出了父分类器和人子类别分类器之间的语义级关系。我们发现，一个人的子类别通常是接近一个父类，因为他们经常共同出现在同一个图像中，如两侧的示例图像所示。聚类结果。由于子类别没有地面真值标签，我们在图5中展示了聚类结果的可视化来衡量质量，其中每个父类显示了3个示例聚类。我们的方法是能够聚类对象的大小（飞机，鸟，牛），上下文（飞机，鸟，人），类型（船，鸟），姿势（牛），并与其他类别的互动（人）。例如，具有不同类别的人，例如，马、摩托车和船被分成不同的组。这在视觉上验证了我们学习的特征表示通过子类别目标以无监督的方式增强。补充材料中提供了更多的视觉比较。重量可视化。为了理解我们的学习机制如何提高聚类质量，我们可视化了分类器权重的分布，即，θp和θs，通过t-SNE [36]。因此，我们能够找到父分类器Hp和子类别模块Hs之间的关系。图6显示了权重的可视化，其中我们将person的子类别（表示为黄色的十字符号）作为例子，因为人category与其他父类有更多的交互（以实心圆圈表示）。它说明了一个人子类别通常接近于一个父类，例如，子类别人和父类别自行车，这是有意义的，因为这两个类别通常共同出现在同一图像中（参见图6中两侧的示例图像）。4.4. 语义分割性能在生成伪地面实况作为表1中的结果（即，CAM +RW），我们用它们来训练语义分割网络.我们首先将我们的方法与最近使用ResNet-101主干或表4中其他类似强大主干的工作进行比较。在验证集和测试集上，所提出的算法对最先进的方法表现我们还注意到，大多数方法都专注于改进细化阶段或网络训练，而我们改进了初始步骤以生成更好的对象响应图。在表3中，我们显示了验证集上每个类别的详细结果。我们比较了两组结果8998方法BKG 航空自行车鸟船瓶 总线车猫 牛椅桌 狗 一种马机车人植羊沙发训练器电视 Miou图7：PASCAL VOC 2012验证集的定性结果（a）输入图像。（b）基本真相。（c）我们的成果。表3：PASCAL VOC 2012验证集的语义分割性能底部组包含CRF细化的结果请注意，11/20类使用我们的方法w/CRF获得改进。最好的三个结果分别是红色、绿色和蓝色AffinityNet [1]88.2 68.230.6 81.161.077.8 66.1 75.1 29.0 66.0 40.280.462.070.473.742.570.742.6六十八点一51.661.7我们的（不包括通用报告格式）74.687.7 73.7 85.1 31.0 77.653.280.376.369.669.740.775.7 42.6 66.1 58.264.8MCOF [38]87.078.429.4 68.0 44.067.380.374.182.2 21.1 70.7 28.2 73.271.567.253.047.774.532.4七十一点零45.860.3Zeng等[四十三]90.077.437.580.7 61.667.981.8 69.0 83.7 13.6 79.423.3 78.075.371.468.135.278.232.5七十五点五48.063.3FickleNet [24]89.576.632.674.6 51.571.183.474.483.6 24.1 73.447.478.274.068.873.247.879.937.057.3 64.664.9我们的（含CRF）88.851.6 30.382.975.888.6 74.8 86.6 32.4 79.9 53.8 82.378.570.471.240.278.342.966.8 58.866.1表4：PASCAL VOC 2012验证集和测试集上弱监督语义分割方法此外，我们提出的方法，旨在提高初始响应与C在“初始化。Res.”柱方法主干初始化Res. Val测试MCOF CVPR' 1 8[ 3 8 ] Re s N e t - 1 0 1 6 0 . 3 61.2DCSPBMVCDSRGCVPRAffinityNetCVPRSeeNetNIPSZeng等ICCVBDSSWECCVOAAICCVCANCVPRFickleNetCVPR我们的ResNet101C66.1 65.9有（底部）或没有（顶部）将CRF [23]细化应用于最终分割输出。与最近的FickleNet [24]方法（也专注于改进初始响应图）相比，所提出的算法在平均IoU方面对分割任务表现良好。我们还注意到，我们的结果没有应用CRF（mIoU为64。8%）已经实现了类似的性能-mance与FickleNet相比（mIoU为64. 9%）。在图7中，我们给出了最终语义分割结果的一些示例，并表明我们的结果接近于地面实况分割。5. 结论在本文中，我们提出了一个简单而有效的方法来改善类激活映射，通过引入一个自我监督的任务，发现子类别在一个非监督的方式。没有花里胡哨的，我们的方法表现良好，对现有的弱监督se-mantic分割方法。具体来说，我们开发了一个迭代学习方案，通过运行聚类图像特征为每个父类和训练分类网络的子类目标。不同于其他的ex-animals计划，聚合多个响应地图，我们的方法产生更好的初始预测，而不引入额外的复杂性或推理时间的模型。我们进行了大量的实验分析，以证明我们的方法的有效性，通过利用子类别信息。最后，我们表明，我们的算法产生更好的激活图，从而提高最终的语义分割性能。致谢。这项工作得到了NSF CAREER Grant #1149783的部分支持，以及eBay和Google的礼物。8999引用[1] 安智云和郭淑华。学习像素级语义亲和力与图像级监督弱监督语义分割。在CVPR，2018年。一二三四五八[2] Amy Bearman，Olga Russakovsky，Vittorio Ferrari和LiFei-Fei。重点是什么在ECCV，2016年。1[3] Mathilde Caron，Piotr Bojanowski，Armand Joulin，andMatthijs Douze.用于视觉特征的无监督学习的深度聚类。在ECCV，2018。3[4] Arslan Chaudhry，Puneet K Dokania，and Philip HS Torr.发现用于弱监督语义分割的类特定像素。在BMVC，2017年。8[5] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义CoRR，abs/1606.00915，2016。一、五[6] 陈怡文、蔡怡萱、林燕宇、杨明萱。视频对象分割通过可转移的表示。国际计算机视觉杂志，2020年2月。1[7] Adam Coates和Andrew Y Ng。用k均值学习特征表示。在神经网络中：贸易的技巧，第561-580页。Springer，2012. 3[8] 戴季峰、何开明、孙建。Boxsup：利用边界框来监督卷积网络进行语义分割。在ICCV，2015年。1[9] 弗吉尼亚河使用未标记数据学习分类NIPS，1994年。3[10] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。CVPR，2009。5[11] M.埃弗灵厄姆湖，澳-地凡古尔角，澳-地K. I.威廉斯，J.Winn和A.齐瑟曼。PASCAL Visual Object ClassesChallenge 2010（VOC2010）“http：//www.pascal-network.org/challenges/VOC/voc2010/workshop/index.html”。二、五[12] 范俊松，张兆祥，谭铁牛。Cian：用于弱监督语义分割的跨图像亲和网络在CVPR，2019年。二、三、八[13] Chen Fan，Qibin Hou，Ming-Ming Cheng，Gang Yu，Ralph R Martin，and Shi-Min Hu.弱监督语义分割的图像间显著实例关联。在ECCV，2018。二、三、八[14] Bharat hHariharan，PabloArbela' ez，LubomirBourdev，Subhransu Maji，and Jitendra Malik.从反向检测器的语义轮廓见ICCV，2011年。5[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。5[16] 乔纳森·赫尔哈默，埃文·朗和特雷弗·达雷尔。用于语义分段的全卷积网络。TPAMI，2016. 1[17] Hou Qibin，PengTao Jiang，Yunchao Wei，and Ming-Ming Cheng.自我擦除网络的整体对象的注意力。在NIPS，2018年。二、八[18] 黄子龙、王兴刚、王佳思、刘文宇和王京东。基于深度种子区域生长的弱监督语义分割网络。在CVPR，2018年。一二三八[19] Peng-Tao Jiang ， Qibin Hou ， Yang Cao ， Ming-MingCheng，Yunchao Wei，and Hong-Kai Xiong.通过在线注意力积累的整体对象挖掘。在CVPR，2019年。8[20] A.霍雷瓦河Benenson，J. Hosang，M. Hein和B.席勒简单做到：弱监督实例和语义分割。在CVPR，2017年。1[21] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。2015年，国际会议。5[22] Alexander Kolesnikov和Christoph H Lampert。种子、展开和约束：弱监督图像分割的三个原则。在ECCV，2016年。一、二[23] Philipp Krahenbuhl和Vladlen Koltun。具有高斯边缘势的全连接crfs中的有效推理。NIPS，2011年。五、八[24] Jungbeom Lee、Eunji Kim、Sungmin Lee、Jangho Lee和Sungroh Yoon。Ficklenet：Weakly and semi-supervisedse-mantic image segmentation using stochastic inference.在CVPR，2019年。二、八[25] Kunpeng Li，Ziyan Wu，Kuan-Chuan Peng，Jan Ernst，and Yun Fu.告诉我去哪里看：引导注意推理网络。在CVPR，2018年。2[26] Di Lin，Jifeng Dai，Jiaya Jia，Kaiming He，and JianSun. Scribblesup：用于语义分割的Scribble-supervised卷积网络在CVPR，2016年。1[27] Mehdi Noroozi和Paolo Favaro。通过解决拼图游戏进行视觉表示的无监督学习。在ECCV，2016年。3[28] George Papandreou，Liang-Chieh Chen，Kevin Murphy和Alan L Yuille。基于弱监督和半监督学习的dcnn语义图像分割。在ICCV，2015年。1[29] Deepak Pathak Philipp Krahenbuhl和Trevor Darrell用于弱监督分割的约束卷积神经网络在ICCV，2015年。1[30] Deepak Pathak 、 Philipp Krahenbuhl 、 Jeff Donahue 、Trevor Darrell和Alexei A Efros。上下文编码器：通过图像修复进行特征学习。在CVPR，2016年。3[31] Mattis Paulin，Matthijs Douze，Zaid Harchaoui，JulienMairal，Florent Perronin，and Cordelia Schmid.局部卷积特征与无监督训练的图像检索。CVPR，2015。3[32] Pedro O Pinheiro和Ronan Collobert使用卷积网络从图像级CVPR，2015。1[33] 萨奎布·萨弗拉兹、维维克·夏尔马和雷纳·斯蒂费尔哈根。使用第一近邻关系的高效无参数聚类在ICCV，2019年。6[34] Krishna Kumar Singh和Yong Jae Lee。捉迷藏：迫使网络对 弱监 督的 对象 和动 作定位 进行 细致 的处 理。InICCV，2017. 2[35] Yi-Hsuan Tsai，Guangyu Zhong，and Ming-Hsuan Yang.视频中的语义共分割。在ECCV，2016年。1[36] L. J. P van der Maaten和G. E.辛顿使用t-sne实现高维数据的可视化。Journal of Machine Learning Research，9：2579-2605，2008。79000[37] 保罗·韦尔纳扎和曼莫汉·钱德拉克。学习弱监督语义分割的随机游走标签传播。在CVPR，2017年。1[38] Xiang Wang，Shaodi You，Xi Li，and Huimin Ma.迭代挖掘共同对象特征的弱监督语义分割。在CVPR，2018年。一二三八[39] Wei Yunchao，Jiashi Feng，Xiaodan Liang，Ming-MingCheng，Yao Zhao，and Shuicheng Yan.使用对抗性擦除的对象区域挖掘：一个简单的分类到语义分割的方法。在CVPR，2017年。2[40] Yunchao Wei，Huaxin Xiao，Honghui Shi，Zequn Jie，Jiashi Feng，and Thomas S Huang.复查扩张的卷积：弱监督和半监督语义分割的简单方法。在CVPR，2018年。一、二、三[41] Zifeng Wu，Chunhua Shen，and Anton Van Den Hengel.更宽或更深：重新审视用于视觉识别的resnet模型。Pattern Recognition，90：119-133，2019。5[42] Fisher Yu和Vladlen Koltun。通过扩张卷积的多尺度上下文ICLR，2016年。1[43] 于曾、诸葛云智、胡川路、张立和显著性检测和弱监督语义分割的联合学习在CVPR，2019年。8[44] Xiaolin Zhang，Yunchao Wei，Jiashi Feng，Yi Yang，and Thomas S Huang.弱监督目标定位的对抗互补学习。在CVPR，2018年。2[45] 钟广宇，蔡义轩，杨明轩。弱监督视频场景协同分析。InACCV，2016. 1[46] Bolei Zhou ， Aditya Khosla ， Agata Lapedriza ， AudeOliva，and Antonio Torralba.学习深度特征以区分本地化。在CVPR，2016年。一二三四六