半监督语义分割的区域级预测和利用无标签数据的方法总结

Region-level Contrastive and Consistency Learning for Semi-Supervised SemanticSegmentationJianrong Zhang1∗† , Tianyi Wu2,3 ∗ , Chuanghao Ding4 ∗ , Hongwei Zhao1 , Guodong Guo2,3 ‡1College of Computer Science and Technology, Jilin University, Changchun, China2Institute of Deep Learning, Baidu Research, Beijing, China3National Engineering Laboratory for Deep Learning Technology and Application, Beijing, China4College of Software, Jilin University, Changchun, China{jrzhang20, dingch20}@mails.jlu.edu.cn, zhaohw@jlu.edu.cn,{wutianyi01, guoguodong01}@baidu.comAbstractCurrent semi-supervised semantic segmentationmethods mainly focus on designing pixel-levelconsistency and contrastive regularization. How-ever, pixel-level regularization is sensitive to noisefrom pixels with incorrect predictions, and pixel-level contrastive regularization has memory andcomputational cost with O(pixel num2). To ad-dress the issues, we propose a novel region-levelcontrastive and consistency learning framework(RC2L) for semi-supervised semantic segmenta-tion.Specifically, we first propose a RegionMask Contrastive (RMC) loss and a Region Fea-ture Contrastive (RFC) loss to accomplish region-level contrastive property.Furthermore, RegionClass Consistency (RCC) loss and Semantic MaskConsistency (SMC) loss are proposed for achiev-ing region-level consistency.Based on the pro-posed region-level contrastive and consistency reg-ularization, we develop a region-level contrastiveand consistency learning framework (RC2L) forsemi-supervised semantic segmentation, and eval-uate our RC2L on two challenging benchmarks(PASCAL VOC 2012 and Cityscapes), outperform-ing the state-of-the-art.1IntroductionSemantic segmentation has high potential values in a vari-ety of applications. However, training supervised semanticsegmentation models requires large-scale pixel-level annota-tions, and such pixel-wise labeling is time-consuming andexpensive. This work focuses on semi-supervised semanticsegmentation, which takes advantage of a large amount ofunlabeled data and limits the need for labeled examples.Currently, many works have demonstrated that designingpixel-level consistency regularization [French et al., 2020;∗Equal contribution†Interns at the Institute of Deep Learning, Baidu Research‡Corresponding authorFigure 1: Comparison with existing semi-supervised semantic seg-mentation methods. (a) Pixel-level label consistency [French et al.,2020], (b) Pixel-level feature contrastive property [Lai et al., 2021],(c) Combination of pixel-level label consistency and feature con-trastive property [Zhong et al., 2021]. (d) Region-level contrastiveproperty and consistency (Ours). “ // ” on → means stop-gradient.P: pseudo labels, Y: predicted probability maps, RF: region features,RM: region masks, RC: region classes, SM: semantic masks.Ouali et al., 2020; Chen et al., 2021], and pixel-level con-trastive regularization [Zhong et al., 2021; Lai et al., 2021]are beneficial for semi-supervised semantic segmentation.The first family of works utilized pixel-level label consis-tency under different data augmentations [French et al., 2020;Zou et al., 2021], feature perturbations [Ouali et al., 2020],network branches [Ke et al., 2020], and segmentation mod-els [Chen et al., 2021]. These methods benefited from us-ing the label-space consistency property on the unlabeled im-ages. Figure 1 (a) shows the pixel-level label consistencyof employing different data augmentations. Differently, thearXiv:2204.13314v1 [cs.CV] 28 Apr 2022+v:mala2277获取更多论文work [Lai et al., 2021] proposed the Directional ContrastiveLoss to accomplish the pixel-level feature contrast, which isshown in Figure 1 (b). Substantial progress has been madeby utilizing pixel-level label consistency and pixel-level fea-ture contrastive property. For example, PC2Seg [Zhong etal., 2021] leveraged and simultaneously enforced the consis-tency property in the label space and the contrastive propertyin the feature space, which is illustrated in Figure 1 (c). How-ever, such pixel-level regularization is sensitive to noise frompixels with incorrect predictions. Besides, pixel-level con-trastive regularization has memory and computational costwith O(pixel num2), and usually requires designing ad-ditional negative and positive example filtering mechanismcarefully.To overcome the above challenges, we propose to designRegion-level Contrastive and Consistency Learning (RC2L)for semi-supervised semantic segmentation.As shown inFigure 1 (d), our method enforces the consistency of re-gion classes and the contrastive property of features andmasks from different regions. It was inspired by MaskFormer[Cheng et al., 2021] which formulated supervised semanticsegmentation as a mask (or region) classification problem.Specifically, we first propose a Region Mask Contrastive(RMC) loss and a Region Feature Contrastive (RFC) loss toachieve region-level contrastive property. The former pullsthe masks of matched region pairs (or positive pairs) closerand pushes away the unmatched region pairs (or negativepairs), and the latter pulls the features of matched region pairscloser and pushes away the unmatched regions pairs. Further-more, Region Class Consistency (RCC) loss and SemanticMask Consistency (SMC) loss are proposed for encouragingthe consistency of the region classes and the consistency ofunion regions with the same class, respectively.Based on the proposed components, we develop a Region-level Contrastive and Consistency Learning (RC2L) frame-work for semi-supervised semantic segmentation.The ef-fectiveness of our approach is demonstrated by conduct-ing extensive ablation studies.In addition, we evaluateour RC2L on several widely-used benchmarks, e.g., PAS-CAL VOC 2012 and Cityscapes, and the experiment resultsshow that our approach outperforms the state-of-the-art semi-supervised segmentation methods.+v:mala2277获取更多论文0相关工作20语义分割。自从全卷积网络（FCN）[Long etal.，2015]的出现以来，像素级分类在语义分割任务中取得了很高的准确性。现代深度学习方法在语义分割方面的发展主要集中在如何建模上下文[Chen et al.，2018; Wu etal.，2020b; Wu etal.，2020a]。最近，基于Transformer的语义分割方法表现出了出色的性能。SegFormer [Xie etal.，2021]提出了作为解码器的掩码Transformer。最近，MaskFormer [Cheng etal.，2021]将语义分割重新定义为掩码（或区域）分类任务。不同的是，我们专注于如何更好地利用无标签数据进行半监督语义分割的区域级预测。0半监督语义分割。探索半监督语义分割以减少像素级标注成本非常重要。早期的方法[Hung etal.，2018]使用生成对抗网络（GANs）和对抗损失在无标签数据上进行训练。一致性正则化和伪标签也被广泛探索用于半监督语义分割，通过强制预测之间的一致性，无论是来自特征扰动[Ouali et al.，2020]，增强的输入图像[French etal.，2020]还是不同的分割模型[Ke etal.，2020]。后来，PseudoSeg [Zou etal.，2021]将像素级标签与图像级标签相结合，通过提高伪标签的质量来增强半监督学习。CPS [Chen etal.，2021]提出了交叉伪监督来在具有相同架构的两个分割网络之间应用一致性。自训练也推动了最先进方法的发展[Zophet al.，2020; He etal.，2021]。最近提出了基于像素级对比的方法。CMB[Alonso etal.，2021]引入了一个正样本对比学习的存储库。DirectionalContrastive Loss [Lai etal.，2021]用于像素特征和伪标签之间的训练。PC2Seg[Zhong etal.，2021]强制伪标签一致，并鼓励像素级对比到像素特征。所有这些方法主要集中在像素级正则化并进行像素级预测。不同的是，我们的方法探索区域级正则化并进行区域级预测。0对比学习。图像级对比学习已经显示出自监督表示学习的良好前景。SimCLR [Chen etal.，2020a]提出通过应用不同的数据增强来训练图像之间的对比损失。MoCo V2 [Chen etal.，2020b]提出了一种动量编码器，以减少对大批量大小的要求。像素级对比学习也被证明对于密集预测任务是有益的。[Wang etal.，2021]引入了像素级对比学习用于监督语义分割。与这些工作不同，我们探索如何进行半监督语义分割的区域级对比学习。0方法30我们首先描述了我们的框架，区域级对比和一致性学习（RC2L）用于半监督语义分割。然后，我们介绍了区域掩码对比（RMC）损失和区域特征对比（RFC）损失。前者将匹配的区域对的掩码拉近，将不匹配的区域对推开，后者将匹配的区域对的特征拉近，将不匹配的区域对推开。最后，我们介绍了区域类别一致性（RCC）损失和语义掩码一致性（SMC）损失。RCC损失可以强制区域类别的一致性，SMC损失可以进一步促进具有相同类别的联合区域的一致性。03.1 框架我们的RC2L的整体框架如图2所示，包括一个学生模型和一个教师模型。N̸(1)+v:mala2277获取更多论文0图2：我们提出的区域级对比和一致性的架构示意图。p s（或p t）和f s（或f t）分别表示学生模型（或教师模型）的掩码logits和掩码嵌入。F s（或F t）是学生模型（或教师模型）的像素解码器输出特征图。r s（或rt）表示学生模型（或教师模型）的区域特征。H和W是输入图像的高度和宽度。“MAP”表示掩码平均池化。N表示学生模型中图像中的查询数量，N t0分别表示教师模型中图像中的掩码数量。C是嵌入维度。0教师模型与学生模型具有相同的架构，但使用不同的权重。学生模型使用带有标签（具有真值）和无标签数据进行训练。具体而言，给定一个图像-标签对{x l, z gt}，x l是图像，zgt是相应的注释，是N gt个真值分割的集合，即z gt = {(c gti, m gt i) | c gt i ∈ {1, 2, ..., K}, m gt i ∈ {0, 1} H × W} N gti = 1，其中ci是第i个分割的真值类别，W和H表示输入图像的宽度和高度。我们将图像x l 输入学生模型，输出概率-掩码对zl = {(p l i,m l i) | p l i ∈ △ K + 1, m l i ∈ [0, 1] H × W} N i =1，其中概率分布p i包含“无对象”标签�和K个类别标签。通过基于二分图匹配的分配σ计算监督损失：0L label (zl, zgt) =0i = 1 [ -logp l σ (i)(cgti)+01 c gt i ≠ � L mask (m l σ0其中L mask 是一个二值掩码损失。请参考[Cheng et al.,2021]了解更多细节。0请参考[Cheng et al., 2021]了解更多细节。对于无标签图像xu，我们分别将其弱增强x w u和强增强x su输入教师模型和学生模型。这里，我们使用短边调整大小、随机裁剪、随机翻转和颜色增强作为弱增强，并使用所有弱数据增强方法和CutMix [Yun et al.,2019]作为强增强。教师模型用于生成伪标签z t = {(c t i, m ti)} N t i =1，用于指导学生模型的训练。无监督损失可以表示为：Lunlabel (x u) = β 1 L RCC + β 2 L SMC + β 3 L RMC + β 4L RFC，(2)0其中L RCC 和L SMC分别表示区域类别一致性（RCC）损失和语义掩码一致性（SMC）损失（第3.2节）。L RMC 和L RFC分别表示区域掩码对比（RMC）损失和区域特征对比（RFC）损失（第3.3节）。β1、β2、β3和β4表示损失权重。因此，总损失定义为：L = L label (zl, zgt) + αL unlabel(xu)，(3)LRMC =i−logexpd(mσ(i),mi)/τmNjID,j̸=σ(i) expd(msj,mti)/τm ,(5)N t�i−logexpcos(rsσ(i),rti)/τf�N{j∈ID,j̸=σ(i)} expcos(rsj ,rti)/τf ,(8)LRCC =N ti−log psσ(i)(cti),(9)LSMC =N tiLmask(Union({msi}Ni=1, cti), mti),(10)+v:mala2277获取更多论文0其中α是一个用于平衡有监督和无监督损失的常数。根据Mean Teacher [Tarvainen and Valpola,2017]的方法，教师模型的参数θt是学生模型参数θs的指数移动平均。具体而言，在每个训练步骤中，教师网络的参数θt更新如下：θt = τθt + (1 - τ)θs，其中τ∈[0, 1]是衰减率。03.2 区域级对比学习 区域级对比学习的目标是增加强增强x su的每个区域掩码和特征与匹配区域（来自弱增强x wu）的掩码和特征之间的相似性，并减少不匹配区域对之间的相似性。具体而言，我们提出了区域掩码对比（RMC）损失和区域特征对比（RFC）损失来实现区域级对比特性。前者将匹配区域对（或正对）的掩码拉近，将不匹配区域对（或负对）推开，后者将匹配区域对的特征拉近，将不匹配区域对推开。首先，将弱增强x w u输入教师网络，输出伪标签z t = {(c ti, m t i)} N t i = 1。将强增强x su输入学生网络，输出类别logits p s = {p s i ∈ △ K + 1} N i= 1，掩码嵌入 f s = {f s i ∈ R C} N i = 1，以及像素级特征Fs ∈ R C × H/4 ×W/4。首先，通过掩码嵌入和像素级特征之间的点积获得二值掩码预测{m s i} N i = 1。然后，使用学生预测{m s i} N i =1和伪分割集合{m t i} N t i =1之间的基于二分图匹配的分配σ，得到匹配索引集合ID ={σ(i)} N t i = 1，并计算RMC损失：0其中 τ m 是一个温度超参数，用于控制指数内部项的尺度，d( m s i , m t j ) =0| m s i |∪| m t j |  用于衡量两个掩码之间的相似性。0接下来，我们通过结合每个像素的特征F s 和区域掩码集合{m s i } N i =1 来计算区域特征r s = { r s σ ( i ) } N  t i =1。该过程可以表示为：r s σ ( i ) =  GAP ( m s σ ( i ) ∙  F  s ) , � σ ( i ) , (6)0这里，“GAP”表示全局平均池化操作。类似地，我们计算目标区域特征 r t =  { r t i } N  t i =1 如下：r t i =  GAP ( m t i∙  F  s ) ,  � i, (7) 这里，不使用像素级特征 F t来计算目标区域特征，因为学生模型和教师模型具有不同的权重和特征空间。然后，定义区域特征对比损失如下：0L RFC  =0其中 τ f 是一个温度超参数，用于控制指数内部项的尺度，cos ( u, v ) = u T v0∥ u ∥∥ v ∥是余弦相似度。与像素对比损失的比较。提出的区域掩码对比（RMC）损失和区域特征对比（RFC）损失与最相关的像素对比损失[Zhong等，2021]在两个方面有所不同。首先，它在像素级特征上执行对比学习，而我们的方法在区域级掩码和特征上进行对比学习。其次，与[Zhong等，2021]不同，我们的方法不需要设计负样本过滤策略，因为同一图像中的不同区域掩码之间没有重叠。03.3 区域级一致性学习与之前的工作[Zhong等，2021;Alonso等，2021]使用像素级一致性正则化不同，我们开发了一种区域级一致性学习，其中包括区域类别一致性（RCC）损失和语义掩码一致性（SMC）损失。前者强制匹配区域对的类别一致性，后者进一步促进具有相同类别的联合区域与伪语义掩码的一致性。给定学生类别logits { p s i ∈ △ K +1 } N i=1 和伪分割标签 { c t i , m t i } N  t i =1，采用提出的区域类别一致性损失来强制执行匹配区域对的类别一致性，定义如下：0此外，不同的区域可能对应于相同的类别，因此我们设计了语义掩码一致性损失来促进具有相同类别的联合区域与伪语义掩码的一致性，可以表示为：0其中 Union ( ,  )表示将具有相同类别的区域合并为一个区域。遵循DETR[Carion等，2020]和MaskFormer [Cheng等，2021]，L mask是焦点损失[Lin等，2017]和Dice损失[Mil-letari等，2016]的线性组合。04 实验 4.1 数据集 PASCAL VOC 2012. PASCAL VOC 2012[Everingham et al. , 2015]是一个标准的以对象为中心的语义分割数据集，包含超过13,000张带有21个类别的图像（20个对象类别和1个背景类别）。在原始的PASCAL VOC 2012数据集（VOCTrain）中，有1464张图像用于训练，1449张图像用于验证，1456张图像用于测试。按照常见的做法，我们还使用了扩充数据集（VOCAug），其中包含10,582张图像作为训练集。对于原始和扩充的数据集，分别使用1/2、1/4、1/8和1/16的训练图像作为标记数据，进行半监督实验。1/2(732) 1/4(366) 1/8(183) 1/16(92) 1.4k(1464) 1/2(5291) 1/4(2646) 1/8(1323) 1/16(662)0方法 VOC Train VOC Aug0MT [Tarvainen和Valpola，2017] 69.16 63.01 55.81 48.70 - 77.61 76.62 73.20 70.59 VAT [Miyato等，2018] 63.34 56.88 49.3536.92 - - - - - AdvSemSeg [Hung等，2018] 65.27 59.97 47.58 39.69 68.40 - - - - CCT [Ouali等，2020] 62.10 58.80 47.60 33.1069.40 77.56 76.17 73.00 67.94 GCT [Ke等，2020] 70.67 64.71 54.98 46.04 - 77.14 75.25 73.30 69.77 CutMixSeg [French等，2020]69.84 68.36 63.20 55.58 - 75.89 74.25 72.69 72 . 56 PseudoSeg [Zou等，2021] 72.41 69.14 65.50 57.60 73.23 - - - - CPS[Chen等，2021] 75.88 71.71 67.42 64.07 - 78.64 77.68 76.44 74.48 PC 2 Seg [Zhong等，2021] 73.05 69.78 66.28 57.00 74.15 - -- -0有监督基线 67.67 60.63 53.03 40.31 73.71 76.02 75.23 72.87 67.12 RC 2 L(我们的方法) 77.06 72.24 68.87 65.33 79.33 80.43 79.7177.49 75.560表1：在VOC2012验证集上与最先进方法的比较。我们使用所有划分协议下的标注数据训练一个原始的MaskFormer作为有监督基线。之前的工作[Ouali等，2020;Ke等，2020]使用在COCO数据集上预训练的分割模型进行所有划分协议的训练。我们只使用在1/4、1/8和1/16 VOC Train以及1/16 VOCAug上预训练的COCO模型。对于其他划分协议，我们使用在ImageNet上预训练的骨干网络，并随机初始化MaskFormer头部的权重。所有方法都基于ResNet101骨干网络。0方法 1/4(744) 1/8(372)0AdvSemSeg [Hung等，2018] 62.3 58.8 CutMixSeg[French等，2020] 68.33 65.82 CMB[Alonso等，2021] 65.9 64.4 DCL [Lai等，2021] 72.769.7 PseudoSeg [Zou等，2021] 72.36 69.81 PC 2Seg [Zhong等，2021] 75.15 72.290有监督基线 73.94 71.53 RC 2 L(我们的方法) 76.4774.040表2：在Cityscapes验证集上与最先进方法的比较。我们使用在COCO数据集上预训练的模型。所有方法都基于ResNet101骨干网络。0Cityscapes。Cityscapes[Cordts等，2016]数据集专为城市场景理解而设计，具有高分辨率（2048×1024）。它包含19个用于场景语义分割的类别。精细标注的5000张图像遵循官方划分，其中2975张用于训练，500张用于评估，1525张用于测试。我们使用1/4和1/8的训练图像作为标注数据，其余图像作为无标注数据。0评估指标。我们使用单尺度测试，并使用交并比均值（mIoU）报告模型在Pascal VOC2012验证集和Cityscapes验证集上的评估结果。我们与不同数据集划分协议上的最先进方法进行比较。0实现细节。我们使用ResNet101作为骨干网络，并使用MaskFormer Head[Cheng等，2021]作为分割头部。我们遵循原始的MaskFormer设置超参数。对于所有实验，我们将批量大小设置为16，并使用ADAMW作为优化器，初始学习率为0.0001，权重衰减为0.0001。根据经验，我们将β1、β2、β3和β4的损失权重分别设置为1、20、4和4。此外，我们采用多项式学习率策略，乘以 (1 − iter的power = 0.9。对于PASCAL VOC2012数据集，我们使用512×512的裁剪尺寸，分别对VOC Train和VOCAug进行120K和160K次迭代的训练。对于Cityscapes数据集，我们使用768×768的裁剪尺寸，设置训练迭代次数为120K，不使用任何额外的训练数据。0最大迭代次数（maxi ter ) power0with power = 0.9。对于PASCAL VOC2012数据集，我们使用512×512的裁剪尺寸，对VOCTrain和VOCAug分别进行120K和160K次迭代的训练。对于Cityscapes数据集，我们使用768×768的裁剪尺寸，设置训练迭代次数为120K，不使用任何额外的训练数据。04.2 与现有技术的比较结果在PASCAL VOC2012上展示了PASCAL VOC 2012val集上的比较结果。所有模型都是使用4个V100GPU进行训练的。在VOCTrain上，我们提出的RC2L优于所有现有的像素级正则化方法，分别在1/2、1/4、1/8和1/16的分区协议下分别提高了1.18%、0.53%、1.45%和1.26%。我们还比较了1.4k/9k分割的结果，我们的RC2L比最新的PC2Seg高出5.18%（79.33 vs.74.15）。在VOCAug上，RC2L也优于先前的最先进方法，在1/2、1/4、1/8和1/16的分区下分别获得了1.79%、2.03%、1.05%和1.08%的改进。Cityscapes上的结果。表2显示了Cityscapesval集上的比较结果。所有模型都是使用8个V100GPU进行训练的。我们的方法的性能在1/4和1/8的分区协议下分别提高了2.53%和2.51%，与有监督基线相比。我们的方法还优于先前的最先进方法。例如，在1/4和1/8的分区协议下，RC2L优于PC2Seg，即最佳像素级对比学习方法，分别提高了1.32%和1.75%。04.3消融研究研究每个组件。我们研究了我们方法中每个组件的效果。实验结果如表3a所示。基线模型仅使用教师和学生预测之间的掩码一致性来处理未标记的数据。可以看出，基线方法在1/2 VOC Train和1/4 VOCAug数据集上分别达到了69.37%和75.26%。我们可以看到SMC损失改善了基线的性能。0+v:mala2277获取更多论文1.075.6579.711.576.6079.152.077.0679.1510074.0175.835077.0679.712076.1878.370L SMC L RCC L RMC L RFC VOC Train (1/2) VOC Aug (1/4)069.37 75.26 - 73.26 76.58 - - 76.07 77.89 - - - 76.85 78.92 - - - - 77.0679.710(a)0α VOC Train (1/2) VOC Aug (1/4)0(b)0表3：(a) 每个组件的消融研究。第一行是我们基线模型的结果。(b) 不同无监督损失权重的影响。0查询数量 VOC Train (1/2) VOC Aug (1/4)0表4：查询数量研究0基线分别在1/2 VOC Train和1/4 VOCAug数据集上比“基线+SMC损失”分别提高了3.89%和1.32%。RCC损失比“基线+SMC损失”提高了2.81%和1.31%。这些实验结果证明了我们区域级一致性学习的有效性。此外，RMC损失分别提高了0.78%和1.03%。RFC损失进一步提高了0.21%和0.79%。这些实验结果证明了我们区域级对比学习的有效性。0减肥我们在表3b中展示了平衡有监督损失和无监督损失的损失权重α的效果。我们发现α=2在1/2 VOCTrain集上取得了最佳性能。对于1/4 VOCAug集，α=1获得了最佳性能。0查询数量我们在表4中研究了PASCAL VOC2012上的查询数量。我们可以看到N=50取得了最佳结果，而N=100比N=20的性能下降更多。这表明对于只有少数类别的数据集，使用较少的查询数量就足以提供良好的结果。04.4 可视化0图3显示了我们在PASCAL VOC2012上的方法的可视化结果。我们将我们的RC2L的预测与真实标签、有监督基线和半监督一致性基线进行了比较。可以看出，与有监督基线和半监督一致性基线相比，我们的RC2L可以更正更多的噪声预测。我们遵循CCT并直接完成学生输出和伪标签之间的一致性学习作为半监督一致性基线。特别是，有监督基线在第一行和第三行误标了一些像素。有监督基线和半监督一致性基线都错误地分类了第三行和第五行的一些像素。0图3：在PASCAL VOC 2012Val集上的1/2（732）分区的预测结果。（a）原始图像，（b）真值，（c）有监督基线，（d）半监督一致性基线，（e）我们的方法。05 结论我们开发了区域级对比和一致性学习（RC2L）方法用于半监督语义分割。我们RC2L的核心贡献是提出了区域级对比和一致性正则化。前者包括区域掩码对比（RMC）损失和区域特征对比（RFC）损失，后者包括区域类别一致性（RCC）损失和语义掩码一致性（SMC）损失。在PASCAL VOC2012和Cityscapes上进行了大量实验证明，我们的RC2L优于最先进的半监督语义分割方法，证明我们的区域级对比和一致性正则化可以取得比以前的像素级正则化更好的结果。0致谢这项工作由吉林省科技创新专项资金项目（20190302026GX）和吉林省自然科学基金（20200201037JC）资助。0+v:ma