弱监督CNN分割中的规则化损失及其集成MRF/CRF方法

论规则化损失用于弱监督CNN分割Meng Tang1、Federico Perazzi2、Abdelaziz Djelouah3、Ismail Ben Ayed4、Christopher Schroers3和Yuri Boykov11加拿大滑铁卢大学Cheriton计算机科学学院2Adobe Research，美国3DisneyResearch，Zu¨rich，Switzerrland4ETS蒙特利尔，加拿大抽象。一般来说，最大限度地减少正则化损失是深度学习中公认的弱监督的原则性方法。然而，它在语义分割中被很大程度上忽视，当前由从可用部分输入生成的“模糊”模糊模型（建议）来控制。为了获得这样的全掩模，典型的方法明确地使用标准正则化技术来用于所有的分段，例如：G. graphcutsorrdenseCRFs. 相比之下，我们将这样的标准正则化器直接集成到部分输入上的损失函数中。这种方法通过避免额外的MRF/CRF推理步骤或显式生成完整掩码的层来简化弱监督训练，同时提高训练的质量和效率。本文提出并实验比较了不同的损失集成MRF/CRF正则化项。我们将我们的正则化损失与早期的提案生成方法并列。我们的方法实现了国家的最先进的准确性，在语义分割与近全监督质量。关键词：正则化·半监督学习·CNN分割1介绍我们提倡对语义CNN分割的弱监督训练进行正则化损失。在深度学习架构的输出上使用无监督损失项作为正则化器是利用部分标记数据的结构相似性的原则方法[34，15]。 令人惊讶的是，这种一般思想在弱监督CNN分割中很大程度上被忽视，其中当前的方法通常引入计算上昂贵的MRF/CRF预处理或在“fake“fullmasks frompartial输入时的延迟。我们建议直接在损失内部使用MRF/CRF术语（放松），避免明确猜测完整的训练掩码。这种方法遵循了深度学习[34，15]中弱监督的既定思想，并继续了我们最近的工作[30]，该工作提出将浅5分割中的标准目标直接集成到损失函数中。虽然我们的前期工作[30]是5在本文件中，所有这些都涉及到与C NN相关的数据段。2M. 唐氏F.Perazzi、A.杰卢阿岛Ben Ayed，C.Schroers和Y.博伊科夫完全专注于由流行的平衡分割标准激发的归一化截止损失[29]，我们现在研究不同类别的正则化损失，包括标准MRF/CRF电位（的弛豫）。虽然常见的浅层正则化器[6，5，27，20]或在CNN中联合训练[35，28，2]，但CRF/MRF从未直接用作分割中的损失我们提出并评估了几种由MRF/CRF潜力及其与平衡分配标准的组合激发的新损失这种损失可以适应于许多形式的弱（或半）监督的基础上不同的现有MRF/CRF配方分割。本文的范围集中在部分（用户涂鸦）面具的训练，其中正则化损失与部分面具上的交叉熵相结合，实现了最先进的接近全面监督的质量。我们还展示了正则化损失的优势，半监督分割训练与标记和未标记的图像。代替基本的Potts模型[6]，我们选择了流行的全连接对-具有Krähenbuühl和Koltun[20]的CRF点，其中terefrereddo作为denseCRF。结合CNN，密集CRF已成为完全[10，2，35，28]和弱/半[19，23，26]监督学习背景下语义分割的事实选择例如，DeepLab [10]推广了密集CRF作为后处理步骤。在完全监督的设置中，整合CNN分类器的一元分数和密集CRF的成对电位实现了竞争性性能[35，2]。这是由快速平均场推断促进基于高维滤波的密集CRF技术[1]。弱监督语义分割通常通过从可用的部分输入合成完全标记的训练掩码（建议）来模拟完全监督来解决[26，23，22]。这些方案通常在两个步骤之间进行：CNN训练和通过基于正则化的浅层交互式分割生成建议，例如图切割[22]用于网格CRF或平均场推断[26，23]用于密集CRF。相比之下，我们的方法通过将浅层正则化器直接集成到损失函数中来避免显式第3节从优化的角度，在提案生成和我们的正则化损失之间建立了一些有趣的联系为了简单起见，本文使用了一个非常基本的离散MRF/CRF势的二次松弛，即使有许多替代方案，例如。ti基[7] 和凸公式[8，25]，Lp松弛[12]，LP和其他松弛[14，32]。评估不同的放松的背景下，正规化的弱监管损失是留给未来的工作。我们的主要贡献是：– 我们提出并评估了基于密集CRF [20]和内核切割[31]正则化器的弱监督CNN分割的几种正则化损失（第2节）。我们的方法避免了明确的推理，在基于建议的方法。这继续了在[30]中开始的由标准浅分割能量激发的损失的研究，具有归一化的切割损失。– 我们证明了迭代的提议生成方案，它交替CNN学习和密集CRF的平均场推断，可以被视为正则化损失的近似交替方向优化（第3节）。交替方案（提案生成）给出更高的密集CRF损失。弱监督CNN分割3– 使用我们的正则化弱监督损失的综合实验（第4节）显示：（1）弱监督CNN分割的最新性能达到接近全监督的准确性;（2）比建议生成方法或归一化切割损失更好的质量和效率[30]。2我们的正则化半监督损失本节介绍了我们针对弱监督分割的正则化损失。一般来说，正则化损失的使用是半监督深度学习中一种成熟的方法[34，15]。我们为seman倡导这一原则-tic CNN分割，提出具体的浅层正则化这种损失，并讨论其属性。假设图像I及其部分真实标记或掩模Y，令fθ（I）是由θ参数化的分割网络的输出。一般来说，使用我们的联合正则化损失的CNN训练对应于以下形式的优化问题min（fθ（I），Y）+λ·R（fθ（I））（1）θ其中，（S，Y）是地面真值损失，R（S）是正则化项或正则化损失。两种损失都有自变量S = fθ（I）∈ [0，1] |Ω| ×K，这是由网络生成的K路softmax分段。 使用部分标记上的交叉熵作为地面真实损失，我们有以下联合正则化半监督损失Σp∈ΩLH（Yp，Sp）+ λ·R（S）（2）其中，ΣH（Y，S）是标记像素的集合，并且H（Y，S）=-YklogSk为Lppkp p网络预测分割Sp∈[0， 1]K（矩阵S中对应于点p的一行）与地面真实标记Yp∈ {0， 1}K之间的交叉熵。原则上，任何函数R（S）都可以用作给定其梯度或次梯度的损失。本文研究了作为损失函数的正则化子的松弛问题。第2.1节详细说明了我们的MRF/CRF损失及其实施。在第2.2节中，我们提出了结合CRF和标准化切割项并证明该组合。2.1Potts/CRF损失假设分割变量Sp被限制为二元类指标Sp∈{0， 1}K，则标准Potts/CRF模型[6]可以通过Iversonbrackets[·]表示，如下面的h和sidel所示。Σp，q∈ΩΣWpq[Sp/=Sq]=p，q∈ΩWpq<$Sp−Sq<$2，（3）其中W=[Wpq]是成对不连续性成本的矩阵或亲和矩阵。上面的右手边是一个特别简单的二次松弛4M. 唐氏F.Perazzi、A.杰卢阿岛Ben Ayed，C.Schroers和Y.博伊科夫Rkk（S）=⑷的Potts模型，其适用于对应于CNN的典型软最大输出的松弛Sp∈[0，1]K事实上，这个二次函数在深度学习中正则化弱监督损失的一般背景下非常常见[34]。正如在引言中所讨论的，这种弛豫不是唯一的[7，8，25，12，14]。我们使用稍微不同的二次松弛的波茨模型Σ′CRFS W（1−S）K表示为每个标签k的支持向量，即分段矩阵Sk∈ [0，1]的列|Ω|.对于离散段指标（4）给出了段之间的切割成本，与（3）左手侧的Potts模型相同，但它不同于（3）右手侧的松弛。亲和矩阵W可以是稀疏的或密集的。稀疏W通常出现在边界正则化和浅分割中的边缘对齐的上下文中[5]。具有密集高斯核的Wpq（4）是DenseCRF [21]的松弛实施细节，包括具有密集高斯核的CRF损失的梯度（11）的快速计算4.第一章2.2核心切割损失除了CRF损失（4）之外，我们还提出了其与归一化切割操作[30]的组合，其中，一个片段的cut cost（P ot t s model）的一个值取决于该片段的ΣSk′W（1−Sk）RNC（S）=Kd′Sk，（5）其中d=W1是未指定的字段。Notetthat theaffinitymatrixW针对归一化cut可以不同于CRF中的W（4）。组合的核切割损失简单地是（4）和（5）RKC（S）=斯克尔克W（1−SkΣ）+γKSk′W（1−Sk）d′Sk（六）这是由核切割浅分割[31]激发的，具有平衡归一化切割聚类和对象边界规则化或边缘对齐的互补益处，如Potts模型中。虽然核切割损失是高阶目标，但其梯度（12）可以被有效地实现，参见Sec.4.第一章本文通过实验比较了CRF，归一化切割和核切割损失的弱监督分割。在我们的实验中，最好的弱监督分割与内核削减损失。请注意，浅分割中的标准归一化切割和CRF目标需要相当不同的优化技术（例如，谱松弛或图切割），但是用于在CNN训练期间优化损失的标准梯度下降方法允许在包括不同正则化项方面的显著灵活性，只要存在合理的松弛。弱监督CNN分割53连接方案生成损失优化大多数弱监督方法生成分割建议，并使用该方法生成分割建议[22，33，18，19，23，13]。事实上，许多离线浅层交互式分割技术可以用于传播标签并生成这样的掩模，例如。图切割[5，27]，随机游走[16，12]等。然而，培训很容易在建议中出现错误。虽然交替的提案生成和网络训练[22]可以提高提案的质量，但在这种自学计划中错误会加强自己[9]。 我们的正则化半监督损失框架避免了训练网络以适应潜在的错误，并且基于完善的原则[9，34]。在本节中，我们展示了一些使用密集CRF生成命题的方法[19]可以被视为交替方向法（ADM）[4]的近似我们的实验表明，与涉及平均场推断的ADM分裂[20]相比，标准反向传播中的梯度下降对于这种损失是一种更好的优化技术，无论是在所获得的解决方案的效率还是质量方面，参见图中的损失图。3和表3中的训练时间。不过，还有探索的空间我们的ADM优化的见解正则损失以外的密集CRF和更强大的推理比平均场。这是留给未来的工作。我们认为，建议生成计划之间的两个步骤，网络培训和建议生成迭代。然后，当CNN训练收敛或每批在线时，在每次迭代中，第一步从给定的（固定的）地面实况建议中学习网络参数θX~C 〇 m tit e dat the previousit e ration。这是不是要在K-W-通过经由标准反向传播将下面的关于参数θ的大化到S=fθ（I）θ~=argminθΣp∈ΩLH（Yp，Sp）+Σp∈ΩUH（X_p，S_p）f或S_fθ（I）（7）当X~p∈[0，1]K是一个全局变量时，对于一个全局pixelsp∈ΩU。当kXp ∈L时，K Xp与Y p 相 等。该方法通过最小化在浅分割中是标准的正则化泛函来确定两个输出向量S，并找到一ΣminX∈[0，1] |Ω|×Kp∈ΩUH（Xp，S<$p）+λR（X）（8）其中Xp∈[0，1]k表示概率单形内的潜在像素标签。不固定S~s，则在（8）中的循环序列H（Xp，S~p）是X的唯一概率。当R对应于密集CRF时，通过快速平均场推断技术[20，3]促进（8）的优化，通过变量Xp的并行更新和高维滤波[1]显著减少计算时间。补充材料表明，平均场算法可以6M. 唐氏F.Perazzi、A.杰卢阿岛Ben Ayed，C.Schroers和Y.博伊科夫等效地解释为优化以下目标的凸-凹方法minX∈[0，1] |Ω|×KΣp∈ΩUH（Xp，S~p）+λR（X）−Σp∈ΩUH（Xp）（9）Σ组合（8）和负熵H（X）=-XklogX k作为pkp p变量Xp的单纯形障碍这产生封闭形式的独立（并行）更新变量Xp，同时确保在某些条件下收敛6。1.提案 交替步骤（9）和（7）的建议方法可以被视为近似交替方向方法（ADM）7[4]，用于使用以下问题分解来优化我们的正则化损失（2）：minθ，X∈[0，1]|Ω| ×KΣp∈ΩLH（Yp，Sp）+λR（X）+Σp∈ΩUKL（Xp|Sp）（10）其中KL表示Kullback-Leibler散度。证据（10）和（9）之间的联系直接来自KL散度和熵之间的以下关系：KL（Xp|Sp）= H（Xp，Sp）−H（Xp）。代替相对于网络参数直接优化正则化损耗（2），建议方法将优化问题分成（10）中的两个更容易的子问题。这是通过用潜在分布Xp（提议）替换正则化中的网络softmax输出Sp并最小化Sp和Xp之间的散度（在这种情况下为KL）来完成的。这在概念上类似于ADM [4]的一般原理，除了不直接关于问题的变量进行分裂（即，参数θ），而是相对于网络输出S。这可以被看作是一个近似的ADM方案，它不直接考虑ADM分裂中的变量θ在本文中，我们专注于通过梯度下降或ADM的密集CRF损失的优化[19]中的方法经由密集CRF层生成建议，但是它们的方法稍微偏离所描述的ADM方案，因为它们也通过该层8反向传播。但是，如我们在表3中所示，这种反向传播在实践中没有帮助，并且可以被丢弃。此外，我们对密集CRF损失的梯度下降优化使得这样的建议生成层（或过程）冗余。我们的方法提供了更简单，更有效的训练，而无需昂贵的迭代推理[19]，并获得了更好的性能。6并行更新保证收敛于凹CRF模型，例如波茨[21]。7在其基本形式中，交替方向法将问题转化为最小f（x）+g（x）t x=y，并且在x和y上交替优化。如果单独优化f和g比原来的问题更容易，这可能有效。8[19]中的交叉熵损失H（X（S），S）使用从网络输出S生成的CRF层建议X（S）。X对S的依赖性激发了该层的反向传播X弱监督CNN分割74实验秒4.1是本文的主要实验结果。对于具有涂鸦的弱监督分割[22]，我们使用不同的正则化损失进行训练，包括我们提出的CRF损失，[30]中的高阶归一化切割损失和内核切割损失，如第二节所述二、我们表明，结合CRF（4）与归一化切割(5)KernelCut [31]产生最佳性能。节中4.2，在分割质量和优化方面比较使用正则化损失或使用生成的建议的训练。除了涂鸦，我们还利用我们的正则化损失框架进行基于图像级标签的监督，并与SEC [19]进行比较，SEC [19]是一种基于提案生成的最新方法。我们比较了CRF正则化的方案，例如作为损失层、后处理层或可训练层。4.3用于弱监督分割。节中4.4中，我们使用缩短的涂鸦进行训练，以查看每种方法的退化程度。我们还研究了完全或半监督分割的正则化损失（使用标记和未标记的图像），参见第2节的初步结果四点五分。数据集：大多数实验是在PASCAL VOC12分割数据集上进行的。对于所有方法，我们使用10，582张图像的增强数据集进行训练”[22]《根据标准方案，在包含1，449个图像的val集上评估平均交叉-合并（mIoU）。对于图像级标签监督，我们的实验设置与[19]中相同。实现细节：我们的实现基于DeepLab v2 [10]。我们遵循DeepLabv29中的学习率策略，用于完全监督的基线。对于我们的正则化损失方法，我们首先只使用部分交叉熵损失进行训练。 然后我们用不同类型的额外正则化损失进行微调。 我们的CRF和归一化切割正则化损失在全图像分辨率下定义。 如果网络输出收缩的标注（这是典型的），则在输入到损失层之前，将标注内插到原始大小。对于RCRF（S）、RNC（S）和RKC（S），我们选择了RGBXY上的稠密高斯核。作为超参数，高斯带宽通过valida优化，用于DenseCRF、归一化切割和内核切割的函数。如在[30]中还提到的，这样的全连接成对或高阶逻辑的朴素前向和后向传递将 以 低 （O（|Ω|2）或|Ω|pixels）。例如，为了将RCRF（S）（4）实现为损失，我们需要计算其梯度w.r.t.SkRCRF（S）= −2W Sk。（十一）Sk对于其中W是全连接高斯的DenseCRF，计算梯度（11）成为标准的双边滤波问题，为此提出了许多快速方法[1，24]。我们使用快速高斯滤波[1]实现损失层使用相同的快速滤波组件，我们还可以在线性时间内计算我们的核切割损失（6）的以下梯度请注意，我们的CRF和KC损失层比CRF推理层[19，35]快得多，因为不需要迭代9https://bitbucket.org/aquariusjay/deeplab-public-ver28M. 唐氏F.Perazzi、A.杰卢阿岛Ben Ayed，C.Schroers和Y.博伊科夫S弱充分仅pCE[30]第三十话使用CRF带KernelCutDeepLab-MSc-largeFOV56.0（8.1）60.5（3.6）63.1（1.0）63.5（0.6）64.1DeepLab-MSc-largeFOV+CRF62.0（6.7）65.1（3.6）65.9（2.8）66.7（2.0）68.7DeepLab-VGG1660.4（8.4）62.4（6.4）64.4（4.4）64.8（4.0）68.8DeepLab-VGG16+CRF64.3（7.2）65.2（6.3）66.4（5.1）66.7（4.8）71.5DeepLab-ResNet10169.5（6.1）72.8（2.8）72.9（2.7）73.0（2.6）75.6DeepLab-ResNet101+CRF72.8（4.0）74.5（2.3）75.0（1.8）75.0（1.8）76.8表1：PASCAL VOC2012版本集上的mIOU。我们灵活的框架允许各种类型的正则化损失，例如标准化切割、CRF或其组合（KernelCut[31]）作为关节损失。我们用涂鸦达到了最先进的水平。In（）显示了使用全蒙版时结果的偏移。R（S）k′2WSkKC=−2W Sk+γSW S d-γ.（十二）Sk（d′Sk）2d′Sk4.1正则化损失选项卡. 1总结了具有不同正则化损失的结果。在这里，我们报告了在各种网络上使用或不使用标准CRF后处理的结果。基线具有完全标记的掩模的交叉熵损失或种子上的部分交叉熵（pCE）。我们选择正则化项的权重以实现最佳的验证精度。基于涂鸦的分割的最新技术来自具有额外归一化切割损失的先前工作[30]一致地在不同的网络，使用建议的CRF损失优于归一化的削减损失。当结合归一化截止损耗和DenseCRF损耗时，获得了我们的最佳结果显然，CRF损失和KernelCut损 失 的 利 用 减 少 了 与 完 全 监 督 基 线 的 差 距 。 使 用 DeepLab-MSc-largeFOV，然后进行CRF后处理，使用KernelCut正则化损失实现了66.7%的 mIOU，而之前的最佳值为65.1%，标准化切割损失[30]。我们的结果与涂鸦接近97.6%（75。0%/76。8%）的质量，但只有3%的像素是潦草的。本文推动了弱监督分割的极限。为了直观地了解这些损失及其正则化效果，我们将其梯度w.r.t.可视化。图1中的分割R（S）。请注意，指示是否鼓励或不鼓励某些标记。颜色编码的梯度清楚地显示了归一化切割和CRF的更好的颜色聚类和边缘对齐的证据。不同损耗的梯度略有不同，互为补充。由于核割是归一化割与CRF的组合，因此其梯度是每个的总和图图2显示了具有不同损失的一些定性示例有规律丢失的结果此外，与归一化的切割损失相比，核切割损失的分割具有更好的边缘对齐。弱监督CNN分割9图像网络输出NC分级。CRF等级KC毕业图1：不同损耗的梯度的可视化。负（正）梯度以红色（黄色）编码。例如，狗上的负梯度驱动网络为这些像素预测“狗”。还要注意狗是如何在渐变贴图中弹出的。这是因为额外的成对CRF丢失。CRF损失和归一化切割损失的影响是不同的。我们的Kernel Cut损失结合了区域颜色聚类（归一化切割）和成对正则化（DenseCRF）的优点仅映像CE丢失NC loss [30] CRF loss kernelcut loss ground truth图2：PASCAL VOC值集示例。核切割正则化损失给出了定性的结果比归一化切割损失。基于核切割的结果具有更好的边缘对齐。参见附录材料更多的例子。10M. 唐氏F.Perazzi、A.杰卢阿岛Ben Ayed，C.Schroers和Y.博伊科夫DeepLab网络弱充分提案生成正规化损失GrabCut(one时间）ScribbleSup（迭代）DenseCRF-ADM（联机）DenseCRF-GDMSc-largeFOV55.5n/a61.363.164.1MSc-largeFOV+CRF59.763.165.465.968.7VGG1659.0n/a63.464.468.8ResNet10163.9n/a72.572.975.6表2：使用弱监督（涂鸦）的结果。基线是使用GrabCut输出进行训练。ScribbleSup [22]在GrabCut和CNN训练之间交替，但建议是离线生成 的 它 有 助 于 在 每 次 训 练 迭 代 时 频 繁 地 在 线 更 新 建 议 ， 如 在DenseCRF-ADM中。最好的（质量和速度）训练是基于简单的正则化损失与梯度下降（DenseCRF-GD），避免建议生成。4.2正规化损失与提案生成在这里，我们比较了我们的正则化损失和建议生成方法（第二节）。3)在弱监督设置中，主要集中在涂鸦上。建议书可以离线或在线生成。一种直接的建议方法是将GrabCututputt视为“fake k e”gr ou nd t t h foror t r ai n i n g。使用网络预测的分割作为一元势来确定GrabCut输出。建议会更新，但会离线生成。通过在线建议生成，我们让网络输出在每次迭代的训练过程中通过CRF推理层。建议生成的损失是CRF推理层的输入和输出之间的交叉熵，参见第3节。最近的一项工作是在线生成基于标签的弱监督分割的建议，这是SEC [19]。表2将正则化损失方法与提案生成的变体进行了比较。我们使用SEC的C0ntra i n的公开实现，以在建议和输出之间基本上不具有平均场推断层和交叉熵损失层。 我们没有在本发明的时间段内进行操作，并且在表2中将该版本称为DenseCRF-ADM。它本质上是使用ADM最小化DenseCRF损失，而不是我们的方法中表示为DenseCRF-GD的梯度下降。与我们的正则化损失方法相比，提案生成为不同的网络提供了较差的分割，请参见表2。我们进一步从优化的角度比较了正则化损失（DenseCRF-GD）和基于建议生成的方法（DenseCRF-ADM）图3比较了这两种方法在获得的损失值，除了分割精度。对于DenseCRF，通过建议的ADM风格优化给出了比梯度下降更高的损失。如第3，这可能是由于DenseCRF的一阶平均场推断的限制 探索ADM，以实现与其他工作一样低的存储容量优化。如前所述，SEC [19]最初专注于基于标签的监管。表3报告了对这种弱监督形式的一些测试我们比较SEC与它的简化取代他们的约束边界损失我们弱监督CNN分割11图3：我们比较了密集CRF的梯度下降和ADM（通过迭代建议生成）。梯度下降给出了更好的损失比ADM在收敛。此外，对密集CRF使用梯度下降在训练集和值集上实现了更高的正规化损失我们使用不同的损失组合进行训练，以基于图像级标签/标记进行监督。我们的CRF损失有助于将训练提高到43.9%，而没有CRF的情况下为38.4%。当用CRF损失代替约束边界损失时，分段mIOU只有很小的改善。然而，我们的CRF损失层比约束边界层集成显式迭代推理快几倍分割精度和总体训练速度也在Tab中报告。3. (The结果适用于DeepLab-largeFOV网络。我们还测试了SEC的一个变体，没有平均场层的反向传播，我们表明这在实践中没有帮助图4显示了我们的方法和SEC的测试示例，其中图像标签作为监督。包括这一损失？损失种子损失[19]膨胀损失[19]边界约束损失[19]我们的CRF损失CCCCCCC⋆CCCmIOU（%）38.443.743.843.9总培训时间（s/批次）0.861.19（0.33）1.19（0.33）0.98（0.12）表3：基于标签的弱监管。我们用SEC [19]中的损失和我们的CRF损失的不同组合进行训练用CRF损失代替SEC [19]中的约束到边界的损失在准确性上略有提高，但是使用梯度下降的正则化损失的训练更快，因为不需要迭代CRF推断。 我们还比较了SEC的变体（），而没有CRF的反向传播。这部分内容（·）说明了约束边界损失层或直接损失层的计算方法。4.3CRF作为损失层、后处理层或可培训层我们将优先考虑采用CRFl，尽管其倾向于将CRFl用作后处理[10]或与网络[35，28]联合训练。例如，CRF-as-RNN [35]被提出用于完全监督分割。在这里弱-12M. 唐氏F.Perazzi、A.杰卢阿岛Ben Ayed，C.Schroers和Y.博伊科夫Image SEC [19]w/ CRF丢失地面实况图4：使用图像级标签（标记）进行监督的示例。我们使用播种损失，SEC [19]中的扩张损失和我们的CRF损失进行训练。获得类似的分割，但我们避免了任何迭代的平均场推断密集CRF。在具有涂鸦的监督分割中，我们训练CRF-as-RNN，但仅最小化涂鸦上的部分交叉熵损失。表4比较了CRF作为损失层、后处理层或可训练层的效果。CRF的端到端训练有一点帮助（64.8%对64.3%），但最好是在我们的CRF丢失的情况下实现的，这在没有任何重复推理的情况下也更有效。注意，用额外的CRF损失训练的普通网络甚至比在没有这种损失但随后进行CRF后处理的情况下训练的网络更好，参见表4中的第四行和第二行（64.4%对64.3%）。这显示了我们的CRF损失对于训练CNN分割的有效性培训测试mIOU（%）部分交叉熵损失普通网络60.4部分交叉熵损失不相交网络与CRF64.3部分交叉熵损失端到端CRF联合训练网络和CRF64.8部分交叉熵损失我们的CRF损失普通网络64.4部分交叉熵损失我们的CRF损失不相交网络与CRF66.4表4：CRF作为丢失、后处理[10]或可训练层的消融研究[35]用于DeepLab-VGG 16的弱监督分割弱监督CNN分割13mIOU（%）7065长度100%长度50%6055长度30%长度0%（click）500 0.2 0.4 0.6 0.8 1涂写长度比[22][23][24][25][26][27][28][29][2长度为零（点击）是最具挑战性的情况。右图示出了当用较短的涂写训练时的mIOU4.4用较短的涂鸦为了看到我们的算法与涂鸦监督的限制，我们用图中可视化的缩短的涂鸦进行训练。5.请注意，长度为零时，每个对象只有一次单击对于从零到100%的不同长度比率，我们的正则化损失方法实现了比ScribbleSup [22]好得多的分割相对于ScribbleSup [22]的改进对于较短的涂写更显著4.5全监督和半监督分割我们已对重新调整日志的使用情况进行了分析，以便快速更新分段。在这里，我们测试它是否也有助于完全监督或半监督。全程监督：除了交叉熵损失外，我们还在完全标记的图像上添加NC损失。这个实验是在一个简单的显着性数据集[11]上进行的，其中颜色聚类是明显的，可能会有所帮助。如Tab.所示5，当我们增加R_NC（S）的权重然而，在训练期间有额外的正则化损失，交叉熵损失变得更糟并且mIOU降低。 结论是，在带约束的图像上施加正则化损失是不合理的。Empiricaliskminimization在某种意义上对于完全标记的数据是最优额外的正则化损失在正则化方向上引导网络，如果正则化方向不完全符合真实情况NC失重Miou交叉熵损失NC损失089.85%0.1060.5360.189.38%0.1100.5170.289.39%0.1120.5090.588.75%0.1250.485表5：完全监管的正则化损失的负面影响全程监督w/ KC损失w/ CRF损失w/ NC损失pCE损失ScribbleSup14M. 唐氏F.Perazzi、A.杰卢阿岛Ben Ayed，C.Schroers和Y.博伊科夫半监督：对于使用标记图像和未标记图像进行训练，我们的联合损失包括la上的交叉熵。beled图像和未标记图像的正则化我们在PASCAL VOC 2012中删除了一些11K图像的标签。我们用不同量的标记未标记图像训练对于只能利用标记图像的基线，如预期的那样，性能随着较少的掩模而降低。对于我们的框架，标记和未标记的图像是混合的，并在每一批随机抽样。我们观察到0.7%-1.5%的改善与我们的正规化损失。请注意，这个结果是非常初步的。我们也在训练11 K-64636261605958573K 5K 7K 11K标记图像在VOC 2012中标记的图像和VOC 2017中未标记的10K图像，并将性能从63.5%提升到64.3%。在未来，我们计划研究半监督分割中的泛化，并与最近的工作进行比较[17]。5结论和未来工作一般来说，正则化的半监督损失是半监督深度学习的一种原则性方法[34，15]。我们利用这种原理进行弱监督CNN分割。特别是，本文是对标准浅分割引起的损失研究的继续[30]。虽然[30]完全是基于归一化的切割损失，但在这里我们提出并评估了基于Potts/CRF [6，20]，归一化切割[29]和KernelCut[31]正则化器的其他几种正则化损失。Dense- CRF[20]作为后处 理 [10] 或 可 训 练 层 [2] 非 常 流 行 。 我 们 是 第 一 个 使 用 宽 松 版 本 的DenseCRF作为损失。与我们的正则化损失方法相比，弱支持的分段算法中的主流主要是从随机输入中提取“fake”，并训练网络以匹配建议[22，33，18，19，23，13]。我们表明，建议的方法可以被视为近似交替方向法（ADM）的正则化损失的优化用于DenseCRF损失的梯度下降给出了更好的优化，同时比提议生成方案更有效，因为不需要平均场推断。本文推动了弱监督分割的极限。我们的正则化损失的综合实验（第4节）显示：（1）弱监督CNN分割的最新性能达到接近全监督的准确性，（2）比建议生成方法更好的质量和效率。ODS或标准化切割损耗[30]。除了弱监管外，我们还报告了全监管和半监管的初步结果。原则上，我们的正则化损失框架允许任何可微损失函数。在未来，我们计划探索CRF的其他松弛[7，8，25，12，14，32]作为损失和相应的有效梯度计算。此外，将我们的CRF正则化损失框架应用于除分割之外的弱监督计算机视觉问题也有CRF丢失pCE丢失mIOU（%）弱监督CNN分割15引用1. Adams，A.，Baek，J.，Davis，M.A.：快速高维滤波使用的per-mutohedralatice。ComputerGraphicsForum29（2），7532. Arnab ， A. ， Zheng ， S. ， 中 国 科 学 院 ， Jayasumana ， S. ， Romera-Paredes，B.Larsson，M.，Kirillov，A.，Savchynskyy，B.，Rother，C.，Kahl，F.，Torr，P.：条件随机场满足深度神经网络的语义分割。IEEE信号处理杂志（2017）3. Baque，P.，Bagautdinov，T. M.，Fleuret，F.，Fua，P.：离散随机场的平行平均场原理推断IEEE计算机视觉与模式识别会议（CVPR）（2016）4. 博伊德，S.，Parikh，N. Chu，E.，Peleato，B.，Eckstein，J.：通过乘子交替方向法的分布式优化和统计学习。Foun-dati o ns andTre nds inMac hineLearni ng3（1），15. Boykov，Y.，Jolly，M.P.：用于N维图像中块的最优边界&区域段的交互式图切割。 In：ICCV. vol. I，pp. 1056. Boykov，Y.，Veksler，O.，Zabih，R.：通过图切割的快速近似能量最小化。IEEE Transactions on Pattern Analysis and Machine Intelligence23（11），12227. Chambolle，A. Darbon，J.：使用参数最大流的总变分最小化和曲面演化。International Journal of Computer Vision 84（3），288（2009年4月）8. Chan，T.F.，Esedoglu，S.，尼科洛娃，M.：寻找图像分割和去噪模型的全局最小值的算法SIAM应用数学杂志66（5），16329. C apelllee ， O.S cho？ lkopf ， B. ，Zien ， A.（ eds. ） ： Semi-SupervisedLearning. MIT 出 版 社 ， 剑 桥 ， 马 萨 诸 塞 州 （ 2006 ） ，http://www.kyb.tuebingen.mpg.de/ssl-book10. Chen，L.C.，帕潘德里欧，G.，科基诺斯岛墨菲K Yuille，A.L.：Deeplab：使 用 深 度 卷 积 网 络 、 atrous 卷 积 和 全 连 接 crf 的 SE-mantic 图 像 分 割 。1606.00915（2016）11. 郑女士美国新泽西州米特拉市黄，X.，Torr，P.H.S.，Hu S.M.：全球对比数据库是一个特定区域。 IEEETEPAMI37（3），569- 582（2015）。https://doi.org/10.1109/TPAMI.2014.234540112. 库普利角格雷迪湖Najman湖Talbot，H.：一个统一的基于图的优化框架 。 IEEE Transactions on Pattern Analysis and Machine Intelligence33（7），138413. Dai，J.，他，K.，孙杰：Boxsup：利用边界框来监督卷积网络进行语义分割。In：Proceedings of the IEEE Internalal Confere nceo nComputerVision.pp. 163514. Desmaison，A.，布内尔河Kohli，P.，托，pH值，Kumar，M.P.：有效的连续 检 索 。In ： EuropeanConferenceonCom up uterVison 。 pp. 818Springer（2016）15. 古德费洛岛Bengio，Y.，Courville，A.：深度学习03 Mill（2016）16. Grady，L.：图像分割的随机游走。IEEE transactions on patternanalysisand machi nei n e intelligence28（11），176 817. Hung，W.C.，蔡永宏，Liou，Y.T.，林宇宇Yang，M.H.：半监督语义分割的对抗学习arXiv预印本arXiv：1802.07934（2018）18. Khoreva，A. Benenson河Hosang，J.，Hein，M.，Schiele，B.：简单做到：弱监督实例和语义分割。第30届IEEE计算机视觉和模式识别会议（CVPR 2017）。檀香山，HI，美国（2017）16M. 唐氏F.Perazzi、A.杰卢阿岛Ben Ayed，C.Schroers和Y.博伊科夫19. Kolesnikov，A.，Lampert，C.H.：设置种子、展开和约束：弱监督图像分割的三个原则。欧洲计算机视觉会议（ECCV）。Springer（2016）20. Krahenbuhl，P.Koltun，V.：具有高斯边缘势的全连接CRF中的有效推理NIPS（2011）21. K r¨ahenb u¨hl，P.， K oltun，V. ：随机场的随机分布和相关性。国际机器学习会议（ICML）（2013）22. Lin，D. Dai，J.，贾，J.，他，K.，孙杰