量化黑盒视觉模型对上下文敏感性的方法及其在图像分类和语义分割任务中的应用

8218不开车看人行道-量化语境在分类和切分中Rakshith Shetty1 Bernt Schiele1 Mario Fritz21马克斯·普朗克信息学研究所2CISPA亥姆霍兹信息安全中心德国1名.姓@ mpi-inf.mpg.de2lastname@cispa.saarland摘要视觉背景在场景理解任务中的重要性在计算机视觉领域得到了广泛的认可。然而，计算机视觉模型在多大程度上依赖于上下文来进行预测尚不清楚。过度依赖上下文的模型在遇到与训练数据不同的上下文中的对象时会失败我们提出了一种方法来量化黑盒视觉模型的敏感性，通过编辑图像，以删除选定的对象和测量的目标模型的响应视觉上下文。我们将这种方法应用于两个任务，图像分类和语义分割，并发现对象和上下文之间的不期望的依赖关系，例如，我们提出了一种基于对象删除的数据增强解决方案，以减轻这种依赖性，并增加分类和分割模型对上下文变化的鲁棒性。我们的实验表明，所提出的数据增强有助于这些模型在上下文外的情况下提高性能，同时保持常规数据的性能。1. 介绍图像中对象的视觉背景是人类和计算机视觉中场景理解任务的重要信息来源[22，15]。上下文线索（如频繁出现的物体的存在）可以帮助重新解决视觉相似类之间的模糊性，并提高各种视觉任务（包括物体检测[13，3]和分割[25]）的性能。然而，对象也可以出现在以前看不见的上下文中，或者在非常典型的上下文中不存在。例如，我们可能会在桌子上找到一个没有显示器的键盘（object-without- context），或者找到一个没有键盘的显示器（context- without-object）。虽然人类可以优雅地处理这两种非典型场景，但计算机视觉模型往往会因忽略对象中对象的视觉证据而[23]第23话我的世界[23]第二十三话图1：道路和人行道分割对上下文对象汽车的敏感性的示例。从图像中删除汽车（第二行）会导致基线模型中的分割错误，当没有人行道时会产生幻觉（黄色）。我们的模型训练与建议的数据增强是更强大的这些上下文的变化。在没有上下文的情况下，或者在没有对象的上下文的情况下，使实际上不存在于图像中例如，在我们的实验中，我们发现，如果没有附近的监视器，键盘是无法识别的，而道路的语义分割在没有汽车的情况下会受到影响（见图1）。虽然背景可以是重要的线索，但是这种对背景信号的过于严重或甚至病态的依赖是不期望的，并且系统地识别并理想地修复这种情况是重要的。在这项工作中，我们分析和量化的影响上下文信息的两个任务，多标签分类和语义分割。语境通常指不同种类的信息，包括共现物体、场景类型和照明。对于我们的分析，我们将上下文限制为仅图像中的共现对象集。虽然这看起来可能是限制性的，但我们在分析中发现，图像分类和分割模型在图像中的对象和其他共同出现的对象（上下文）之间学习许多有趣和不期望的依赖关系。我们使用对象re-8219moval作为理解和量化上下文在下游视觉模型中的作用的主要方法具体来说，我们将目标模型在原始输入图像和该图像的编辑版本上的输出进行比较，其中一个对象被删除。如果模型大量使用移除对象和图像中存在的对象之间的上下文关系，则移除将对模型输出产生不利影响。测量这一点有助于我们量化目标模型学习的上下文依赖性。理想情况下，我们希望模型可以利用上下文线索，但对上下文的变化具有鲁棒性，即使它们出现在上下文之外，也可以检测和分割对象。然而，基于机器学习的视觉模型偏向于在训练中经常看到的数据，并且往往在不太频繁的情况下表现不佳，例如没有上下文的对象和没有对象的上下文场景。我们通过提出一种数据增强方案来解决这个问题，该方案在训练期间将图像分类和分割模型暴露于不同的上下文，从而提高模型对上下文的鲁棒性。这是通过从图像中移除所选对象并在编辑后的图像上训练模型来识别和分割图像中的其他对象来完成的，即使上下文对象被移除。我们的实验表明，使用这种数据增强方案训练的分类和分割模型对上下文变化不太敏感，并且在真实的上下文外数据集上表现更好，同时保留了常规数据分割的基线性能。总之，本文的主要贡献如下：a）我们提出了一种基于对象去除的方法来理解和量化视觉模型对上下文的敏感性，b）我们将其应用于分析图像分类和分割模型，并发现模型在类和上下文对象之间学习到的一些有趣和不希望的依赖关系，c）我们提出了一种数据增强方法，基于对象删除的站点方案，使模型对上下文变化更具鲁棒性，并表明它有助于提高上下文外场景的性能。2. 相关工作语义背景在视觉识别中的重要性已经得到了很好的证实，研究表明背景可以帮助人类更快地识别物体，例如。当处理困难的低分辨率图像时[15，1]。在计算机视觉中，结合上下文信息已被证明可以提高各种任务的性能，包括对象识别[12，22，18]和动作识别[9]，对象检测[3]和分割[25]。早期的方法通过结合共现[18]和空间位置统计[6]来构建显式上下文模型。最近，显式上下文建模已被深度卷积神经网络（CNN）编码器所取代，该编码器将整个图像总结为紧凑的特征。分类和分割建立在这些深层特征之上的模型可以利用关于对象和上下文的信息来实现良好的性能[11，7，14]。已经探索了改进CNN中上下文使用的方法，包括使用空间金字塔[26]，atrous卷积[4]和使用单独的神经网络学习上下文编码[25]。虽然这种使用深度CNN的隐式上下文编码提高了性能，但它的可解释性较低，并且很难知道模型决策是基于对象还是上下文证据。已经提出了通过可视化分类决策的显著区域[19，24]和量化个体单元的可解释性[2]来检查神经网络的方法。虽然这些工作侧重于解释网络的内部表示，但我们从输入数据的角度来量化黑盒模型的上下文敏感性。通过操作输入图像以去除对象并观察网络输出，我们量化了分类和分割模型对上下文的敏感性，并发现了类之间的一些有趣和相关工作[16]提出擦除随机采样的像素，以可视化黑盒模型决策的重要区域。尽管在方法上有一些相似之处，但我们专注于测量整个上下文对象对模型预测的影响。在[8]中提出了通过将对象添加到新上下文中来增强数据，以提高对象检测模型的性能通过将上下文外的对象添加到图像中[20]表明，对象检测网络对于上下文外对象的存在是脆弱的。相比之下，我们量化了分割和分类模型中对象类之间的上下文依赖关系，并改进了它们的上下文基于删除的数据增强的鲁棒性。3. 量化背景的作用我们使用对象删除来量化图像分类和分割模型的上下文依赖性，通过设计度量标准来测量原始图像和删除了上下文对象的编辑图像之间现在，我们将讨论我们的移除模型，给出鲁棒性度量和数据增强策略，以减少上下文依赖并提高在上下文外设置中的性能。3.1. 对象移除要创建删除了上下文对象的编辑图像，我们需要一个全自动的对象删除模型。为此，我们利用地面实况对象遮罩来移除所需对象，并使用绘画网络来填充移除的我们的inpainting网络基于[21]中提出的模型，因为这个inpainter直接针对移除进行了优化，并且可以更好地处理在移除中使用的不规则掩模[21]。有关网络架构的更多详细信息，请参阅补充材料。上述删除方法适用于中等大小的对象，但挣扎8220ΣΣ对于大的对象，自那时起，内绘器需要合成大部分图像的大小。因此，我们对选择删除的对象施加大小限制，使其小于30% 的图像。在COCO数据集的分类场景中，我们考虑删除所有80个对象类别在ADE 20k数据集的分割设置中，我们仅考虑移除非填充物类别（90个类别），并测量移除这些对象对所有140个类别分割的影响。填充类别包括道路、天空和田野等对象，这些对象通常非常大且难以修补，因此不包括在移除范围内。这里需要注意的一个重要点是，in-painter不知道下游模型，并且没有优化以欺骗/改变它们的决策。EF-语义分割为了理解上下文在这个像素级标记任务中所起的作用，我们通过从原始图像中一次移除一个对象来分析训练的分割模型的性能。具体来说，我们测量当我们从原始图像中移除对象时，其余图像的分割正确性如何给定分割模型P，我们计算类ci（w.r.t. 地面-真值）对原始图像I和编辑后的图像I-cj。如果IoU值的变化大于阈值α，我们认为类ci的分割预测将受到cj的去除的影响。算上这些违规行为，ΣΣ.Σ内画器的影响是局部的，并且仅在被移除的对象周围。图2和图3中的定性示例表明，在对象移除设置中，图像修复效果良好。AR（ci，cj）=。∆IoUcicj. ≥αΣI∈[ci，cj∈I]（四）3.2. 测量上下文依赖性为了理解上下文线索对图像分类和分割模型的影响，我们在已删除上下文对象的编辑图像上对其进行了测试。准确地说，给定包含一组ob的原始图像Ic ={c1，···c n}，我们创建一组编辑过的图像Ie={I− c i|c i∈ C且可去（c i）}. 然后，我们在I和Ie测试目标模型，并检查其输出是否与执行的删除一致，如下所述图像级分类。给定类ci的训练分类器Sci，我们现在将表征它对ci的上下文中的变化的鲁棒性。我们首先获得原始图像I、具有对象ci的编辑图像I-ci的分类器得分对于编辑后的集合Iowc={I−cj：cj∈I，j=/i}，所有这些都包含对象c i，但删除了一个上下文对象。理想情况下，如果分类器S ci对上下文变化具有鲁棒性，则它应该对Iowc中的所有图像进行高于图像I-ci的评分，因为I-ci不包含对象c i，而Iowc中的图像包含对象ci。准确地说，对上下文鲁棒的分类器应该满足以下不等式Sci（Iowc）≥Sci（I−ci），<$Iowc∈Iowc（1）我们可以计算违反此条件的次数，以定量衡量分类器的鲁棒性。Σ其中，IoUcicj 是ci类的IoU的变化，对象cj的移动，α是变化阈值。最大AR（ci，cj）表示图像的分数，其中，重新移动对象cj影响对象ci的分割，其中AR（ci，cj）的高值指示分割模型很大程度上依赖于要分割ci的上下文对象cj的存在。3.3. 使用对象删除的数据扩充我们现在提出我们的数据增强解决方案，以降低分类和分割模型对上下文分布的敏感性其主要思想是将这些模型暴露给对象无上下文和上下文无对象场景的训练图像。这将有助于模型处理上下文信息的缺乏，从而对上下文变化更加鲁棒为此，我们执行对象删除以创建删除了一些对象的编辑图像下面讨论如何挑选要移除的对象以及如何在训练中使用它们来进行这两个任务的具体细节分类. 我们实验了两种策略，在分类器训练中使用编辑过的图像。在第一种方法Data-aug-rand中，以均匀概率均匀随机采样，并且使用原始图像和编辑图像两者，使用简单的二进制交叉熵损失来训练分类器编辑后的图像被分配与原始图像相同的标签，但删除的对象类除外。V最小值V均值（ci）=（ci）=I[（minIowcSci（Iowc））

下载后可阅读完整内容，剩余1页未读，立即下载