图像分类模型对前景、背景和视觉属性的敏感性研究

19087图像分类模型对前景、背景和视觉属性马自达Moayeri1mmoayeri@umd.edu菲利普·波普1pepope@umd.eduYogeshBalajiybalaji@nvidia.comSoheilFeizisfeizi@cs.umd.edu1马里兰大学2NVIDIA摘要虽然具有单标签监督的数据集在图像分类方面取得了快速进展，但为了定量评估模型如何进行预测，需要额外的注释。为此，对于ImageNet样本的子集，我们收集了整个对象的分割掩码和18个信息属性。 我们称这个数据集为RIVAL 10（RIchV isualA tributes withLlocalization），由10个类的大约26k个实例组成。使用RIVAL 10，我们评估了一系列广泛的模型对前景，背景和属性中噪声污染的敏感性。在我们的分析中，我们 考 虑 了 各 种 最 先 进 的 架 构 （ ResNets ，Transformers ） 和 训 练 过 程 （ CLIP ， Simplified ，DeiT ， Adversarial Training ） 。 令 人 惊 讶 的 是 ， 在ResNets中，对抗性训练使模型对背景比对前景更敏感。同样，对比训练的模型在transformers和ResNet中也具有较低的相对前景敏感度。最后，我们观察到有趣的自适应能力的变压器，以增加相对前景敏感性腐败水平的增加。使用显着性方法，我们自动发现驱动模型的背景敏感性的虚假特征，并评估显着性图与前景的对齐。最后，我们通过比较特征显著性和语义属性的地面实况定位，定量研究了神经特征的归属问题。1. 介绍像ImageNet [9]这样使用单类标签注释构建的大规模基准数据集推动了图像分类任务的快速发展[18，21，50，58]。在过去的十年中，提出了几种网络体系结构和训练程序，以产生图1.背景噪声比前景噪声更能降低高精度模型性能的示例。标准差σ=0的高斯噪声。24显示概率是十次试验的平均值。虽然这些例子都是挑选出来的，但我们观察到它们令人惊讶地普遍存在，模型设计会影响这种情况出现的程度非常高的分类精度[10，18，45，50]。然而，解释这些模型预测和诊断不良行为的方法相当有限。最流行的一类方法是显着性方法[43，48，49，59]，它使用模型梯度来产生一个19088图2.在前景和背景噪声下的准确性，平均超过多个噪声水平。标记大小与参数计数成比例具有更高相对前景灵敏度的模型离对角线更远。显著图对应于产生结果预测的最有影响力的输入然而，这些方法是定性的，需要人工监督，并且可能是嘈杂的，因此当与其他支持分析隔离时，它们的判断可能不可靠。在本文中，我们认为，为了正确理解特定输入区域如何影响预测，我们需要在单个类标签之外添加额外的地面实况注释。为此，我们引入了一个新的数据集，RIVAL 10，其样本包括RI的视觉Atributions与L本地化。RIVAL 10由来自ImageNet-1 k [9]的20个类别的图像组成，共有26k高分辨率图像被组织成10个类别，与CIFAR 10 [26]相匹配。我们的数据集的主要贡献是18个信息丰富的视觉属性的实例智能标签，以及每个属性和整个对象的分割掩码。我们将我们的数据集作为理解在ImageNet上训练的模型的一般资源。然后，我们提供了一个研究的灵敏度的一组不同的模型前景，背景和属性。我们对背景和前景模型敏感性的研究是由背景和前景区域被高斯噪声破坏的图像上的一些反直觉模型行为激发的：图1显示了高精度模型由于背景噪声而比前景噪声导致性能下降的情况。虽然这不是常态（即模型平均对前景更敏感），这些示例的存在需要更多的研究，因为它们暴露了模型和人类执行对象识别的深度的明显差异。量化不同的体系结构和训练过程在多大程度上承认这些示例，可以对模型如何结合前景和背景信息提供新的见解为此，我们进行了噪声分析，利用对象分割掩模定量评估模型对前景相对于背景的敏感性。我们通过观察模型在该区域腐败情况下的表现来代理该区域的敏感性。我们提出了一个归一化的度量，相对前景灵敏度（RFS），比较模型与各种一般的噪声鲁棒性。较高的RFS值表明模型在其推断中使用前景特征多于背景特征，因为破坏前景特征会导致较高的性能下降。在图2中，我们看到不同的架构和训练过程导致一般噪声鲁棒性（投影到主对角线上）和相对前景灵敏度（与对角线正交的归一化距离）的变化。值得注意的是，我们发现对抗性训练ResNet显著降低了RFS，这令人惊讶地表明，强大的ResNet模型更多地利用了背景信息。我们还观察到对比训练以减少RFS，并且变压器能够独特地在噪声水平上调整RFS，从而随着腐败水平的增加而降低其对背景的敏感性。最后，我们发现对象类强烈影响RFS跨模型。我们将我们的噪声分析与显着性方法相结合，以增加模型对不同输入区域敏感性的第二个视角使用RIVAL 10分割，我们可以定量地评估显着性图与前景的对齐。我们还展示了如何通过基于显着性对齐分数对图像进行排序来发现虚假我们观察到，我们的噪声分析揭示的性能趋势并不能单独使用定性显着性方法来捕获，这表明我们的噪声分析可以为模型对前景和背景的敏感性提供新的见解。最后，我们利用RIVAL 10属性分割系统地研究了神经特征属性的概括性：对于神经特征（即，网络的倒数第二层中的神经元），其在类内的前k个图像上利用特定属性掩码实现最高的交并（IOU）分数，该神经特征的IOU分数在该类中的其他样本上如何表现。对于某些类-属性对（例如，狗，耷拉着耳朵），我们确实观察到神经特征归因的泛化能力，在这个意义上，测试集IOU也很高。总之，我们提出了一种新的数据集，具有丰富的对象和属性分割掩模的注释，可用于包括模型可解释性在内的无数应用。然后，我们提出了一个研究，涉及三个定量的方法来分析模型的敏感性，不同的地区的输入。我们希望RIVAL 10数据集将有助于研究当前深度分类器的故障模式，并为未来构建更可靠的模型铺平道路。190892. 文献复习2.1. 相关数据集在深度学习兴起之前，许多作品研究了属性分类，导致了数据集的构建，例如Animals with Attributes [27]和aPAS- CAL VOC 2008 [14]（添加注释[13]）。[54]已发布的CUB 200，一个鸟类物种的细粒度分类数据集，具有单一坐标形式的对象分割和部分定位最后，[41]在ImageNet的一个小规模子集上收集对象属性。最近，[36]在ImageNet的一个子集上发布了一个大规模的对象属性数据集。Celeb-A数据集[29]包含应用于生成建模的属性，但对于一般表示学习的实用性有限，因为 它 只 包 含 人 脸 图 像 。 更 广 泛 的 数 据 集 VisualAttributes in the Wild（VAW）[38]为250k对象实例提供了大规模的许多数据集旨在对模型进行压力测试以揭示限制。[19]介绍了不同破坏类型下的ImageNet变体，包括高斯噪声。[20]增加了另外两个ImageNet变体，包括具有挑战性的自然样本和分布样本，顶级模型的准确率大幅下降。在[2]上评估的模型类似地看到大的下降，尽管该数据集的不同之处在于它是严格的测试集。其他作品引入合成数据集来评估空间偏差[57]或分类器的背景依赖性，例如[56]和[42]，它们执行交换或改变前景和背景的一些变化。这些著作虽然相似，但在客观和技术上对我们的贡献[42]着重于开发一种新的分布式鲁棒优化过程。[56]强调通过创造性地编辑前景和背景区域来设计大量的测试数据集相比之下，我们的工作提出了一种分析前景敏感性的新方法，并通过将其应用于广泛的尖端架构和训练范例来展示其实用性，从而导致特定于模型的观察。此外，我们的RIVAL 10数据集更大，注释更丰富。最近，[46]在半自动化过程中使用显着性图和特征可视化来识别与给定类别的对象的核心或虚假特征相对应的深度神经节点，从而产生具有与显着特征相对应的分割的大规模数据集。然而，分割区域的注释仅限于将它们标记为2.2. 可解释性方法已经提出了许多方法来解释模型预测，例如显着性或类别激活图[43]，影响函数[25]和替代白盒模型[40，55]。然而，已经发现显着图是嘈杂的，影响函数是脆弱的[3，16]。一些方法试图通过合成最大化其激活的输入来解释神经节点的功能[33，35，47]，尽管这些方法在使用非对抗性鲁棒模型时受到限制[34]，并提供定性见解。开发可解释性方法背后的动机是致力于解决[15]详细讨论了这一点，建议开发和使用具有挑战性的数据集，这些数据集的输入相对于标准基准而言是不分布的。RIVAL 10通过交换背景、前景和属性来破坏快捷方式（附录中的示例）。其他旨在减少深度模型对虚假特征的依赖的建设性工作呼吁反事实数据生成[1，6，17]，通常呼吁解开表示或明确的注释来打破纹理，形状，颜色和背景的相关性。此外，[23]发现去除虚假特征实际上会损害准确性，并不成比例地影响群体。因此，虚假特征总是有害的概念是不完整的，需要更仔细地研究有关捷径学习问题的基础讨论。最后，[52]为压力测试模型提供了识别因果因素的理论背景。3. RIVAL 103.1. 概述RIVAL 10与以前的属性数据集不同，它提供了特定于属性的本地化。也就是说，对于属性的每个正实例，二进制分割掩码标识属性出现的图像区域。也 许 ， 在 这 方 面 最 相 似 的 数 据 集 是 最 近 的Fashionpedia [22]，这是一个提供27个服装类别的属性和本地化的数据集。然而，该数据集是针对时尚领域提出的，其用于通用对象识别任务实用性。据我们所知，RIVAL 10是第一个提供丰富语义属性和本地化的通用领域数据集，我们设想将其结合起来帮助分析深度网络的鲁棒性和可解释性。虽然用于语义分割和对象检测的其他数据集超出了单标签注释[8，12，28]，但它们并没有专门设计分类器，如RIVAL 10。选择与CIFAR-10保持一致的类，以便能够分析为对象识别任务开发的现有架构和训练技术。具体来说，我们提供的类有：鸟、车、猫、鹿、狗，19090图3.（左）：训练分割中属性之间的相关性。（右）：训练分割中属性向量的类平均值。马青蛙飞机轮船卡车我们为这些对象类别收集了以下属性：喙，彩色眼睛，耳朵，软耳，多毛，角，长，长吻，鬃毛，金属，图案，矩形，尾巴，高，文字，湿，轮子，翅膀。[41]其中一些属性是从[41]中启发的。我们选择的属性是直观的信息，捕捉语义概念，人类可能暗示在分类RIVAL 10对象。虽然属性包含一些冗余信息，但它们在属性的线性分类器达到93的意义上仍然是有区别的。3%的测试准确度。我们将属性相关性可视化，图3中的类频率。3.2. 数据收集所有图片均来自ImageNet [9]。每个RIVAL 10类中使用的图像都是从成对的相关ImageNet类中派生出来的。换句话说，来自Imagenet的20个类被用于构建10个RIVAL 10类（详情见附录）。为了收集我们的属性和本 地 化 信 息 ， 我 们 从 Amazon Mechanical Turk（AMT）雇佣了员工通过AMT收集的数据如果没有仔细控制，可能质量很低。为了鼓励高质量的注释，我们使用HCI社区推荐的策略[31]：提供详细的指导，筛选工人的能力，并通过注意力检查监控工人的表现。首先收集二进制属性。工人需要通过20张具有已知地面真实属性的图像的资格测试：只有那些达到最低总体精确度和召回率为0的工人。75人被雇用进行全面数据收集。 因为分段的任务-由于标注质量比表示属性是否存在更复杂，因此我们需要第二个资格测试，即通过计算提交的属性掩码与地面真值掩码的交集（IOU）来评估标注质量。工人被要求完成五个分段，平均IOU至少为0。7 .第一次会议。为了确保在属性和分割阶段都保持质量，提供给工作人员进行注释的大约5%的图像已经具有地面实况标签。这些所谓的注意力检查允许在收集过程中监测注释质量。在第一阶段的二进制属性标签收集，平均精度和召回率得分为0。81和0。84、分别。对于在数据收集的第一阶段中标记的属性的每个肯定实例，在第二阶段中收集属性分割。在第二遍中完成属性分割允许审查二进制属性并删除任何误报。在数据收集的第二阶段完成的注意力检查的平均IOU为0。745有关我们的数据收集流程的更多详细信息，包括向工人展示的说明、付款和质量保证指标的图像，请参见附录。4. 模型在 我 们 的 分 析 中 ， 我 们 专 注 于 ResNets 和 VisionTransformers [10，18]。我们检查了（i）以标准监督方式训练的ResNet，（ii）通过102投影梯度下降进行逆向训练[30]，以及（iii）对比（即，无直接标签监督），使用Simplified和CLIP [7，39]。我们还考虑CLIP视觉变换器，以及标准视觉变换器（ViT）和数据高效图像变换器（DeiT）[51]。DeiTs与ViTs的区别主要在于它们的训练集，只使用ImageNet-1 k，而ViTs使用ImageNet-21 k。为了弥补ResNets没有归纳偏见的缺陷，ViTs增加了训练数据的数量除了使用CLIP训练的模型之外，所有其他模型另一方面，CLIP使用更大的图像和相关文本数据集。附录中提供了对模型的全面讨论19091−N⊙图4.在各种噪声水平下，前景（左）和背景（中）中噪声下的精度。模型按体系结构和训练过程分组，曲线对应于一组中所有模型的平均值。（右）：各组的RFS为了在RIVAL 10数据集上执行分类，我们将一个线性头部附加到每个基础模型的倒数第二层。RIVAL 10的列车分离仅微调线性头（即其他权重被冻结），以保留在原始预训练中学习的特征空间。所有模型在RIVAL 10测试集上都达到了90%以上的准确率，基本上控制了分类能力。我们注意到n ∞范数我们还使用102归一化噪声（见附录）重复我们的分析，以避免对较大区域的偏见，并获得类似的结果。我们试图量化一个模型相对于其对背景的敏感性对前因的敏感性。为此，我们引入相对前景灵敏度（RFS）。设fg和bg表示在噪声下的精度虽然ImageNet-1 k和RI之间存在泄漏地面和背景，尊重我，和一个：=（afg+VAL10测试集，本研究的目的不是为了直接提高模型最近，一些作品将ViTs的鲁棒性与ResNets进行了比较。虽然关于对抗性鲁棒性的研究结果不一[4，44]，但一致认为ViT具有更强的分布外泛化，可能是由于自我注意[5，37]。相比之下，我们的工作集中在前景和背景区域的噪声的相对鲁棒性。5. 前景和背景敏感度5.1. 噪声分析我们分别向前景和背景中添加噪声，以了解每个区域的损坏如何降低模型性能。考虑具有二进制对象掩码m的样本x，其中如果像素xi，j是对象的一部分，则mi，j=1我们首先构造一个噪声张量n，Abg）/2表示它们的平均值（称为一般噪声鲁棒性）。然后，我们将模型F的RFS定义为：RFS（F）=abg − afg 。2分钟（a<$， 1−a<$）本质上，RFS通过总的可能间隙来归一化前景和背景噪声下模型性能的间隙，给定模型的一般噪声鲁棒性。在图2中，RFS采用（afg ，ab g ）与（a <$，a<$）的距离与具有一般噪声鲁棒性a<$的点在单位正方形中距对角线的最大可能距离之间的比率的几何平均值。分母中的比例因子使RFS的范围为[1，1]。我们还考虑了一个实例版本，iRFS，定义为模型F和样本x。在这里，我们使用模型F预测样本x属于其真实类的概率作为模型性能的度量，而不是准确性。拉齐设pfg和pbg表示x∈fg的概率，I.I.D.其中σ是控制噪声水平的参数。然后，我们获得噪声背景xbgxbg ，尊重我。因此，对于p<$：=（pfg+pbg ）/2，和噪声-对于e个接地xg个采样，如下：xfg=clip（x+nm），xbg= clip（x+n（1−m））其中是hadamard乘积，我们添加高斯噪声，以保持图像内容。注意，加性逐像素噪声导致在前景和背景中的相同幅度的扰动。iRFS（F，x）=pbg − pfg。2分钟（p<$， 1−p<$）在我们的实验中，我们考虑了从σ=30/255到210/255的七个等间隔的噪声水平。对于测试集中的每个样本，我们分别按照噪声水平对前景和背景进行十次添加噪声的试验。RI-VAL 10模型类型，我们总共评估了5k×7×10=350，000次试验19092××图5.四个类别和五个大致相等大小的模型的每个实例的相对前景敏感度。（顶部）：iRFS的直方图;阳性表示前景灵敏度更高。（底部）：散射;左上角指示高相对前景灵敏度。在所有模型中，船只和鸟类对前景的敏感度较低，通常对背景中的噪声比前景更敏感5.2. 经验观察图2示出了不同的模型在一般噪声鲁棒性和相对前景 灵 敏 度 方 面 具 有 极 大 不 同 的 性 能 在 图 2 中 ，transformers通常比ResNets位于主对角线的更上方，证实了transformers对常见损坏更鲁棒的观察结果增加模型大小可以提高总体的鲁棒性，尽管它对transformers的作用比ResNets更大模型也位于与对角线正交的不同距离处，表明结构和训练过程影响相对前景灵敏度。在图4中，我们基于架构和训练过程对模型类型进行分类，对各组的RFS进行平均以揭示总体趋势。鲁棒ResNet具有最低的RFS，远低于标准ResNet，这是一个有点令人惊讶的结果，因为背景依赖被认为与过去增加的对抗脆弱性有关[53，56]。Simplified具有下一个最低的RFS，一般来说，对比训练程序（CLIP，Simplified）似乎可以降低ResNet和ViTs中的RFS在将变压器与ResNet进行整体比较时，我们看到在低噪声水平下，变压器的RFS有时比ResNet低。有趣的是，随着噪声水平的上升，变压器中的RFS也会增加 ， 而 ResNet 的 RFS 大 多 是 稳 定 的 。 这 表 明transformers可以根据损坏程度自适应地在变压器之间进行比较，我们看到DeiTs的RFS比ViTs低得多，这表明DeiTs用于实现提高的数据效率的大量增强也可能使模型对背景更加敏感。图6.对照消融研究。为简洁起见，列出了所有噪声水平上的平均RFS。（左）：在ViTs中增加补丁大小会降低相对前景灵敏度。（右）鲁棒模型对前景的敏感性要低得多，但在对抗训练中使用的前景对RFS的影响不大。在图6中，我们更仔细地检查了ViTs中补丁大小的影响以及对抗训练中使用的攻击预算（影响准确性-鲁棒性权衡）。我们发现，增加补丁大小在维生素T从1616至32 32在所有噪声水平上取平均值时降低RFS。埃尔斯鲁棒性消融证实了鲁棒的ResNet是与标准ResNets相比，它对前景的敏感性要低得多，尽管在训练中看到的攻击规模似乎并不显著影响RFS。从比较模型的角度来看，在图5中，我们看到前景敏感度在很大程度上受到类的影响。特别是，在大小大致相同的模型中，船和猫通常对背景噪声更敏感，这表明模型在识别它们时会更多地利用背景内容而不是前景内容。类区分在DeiT和ViT中不太明显，ViT为所有类分配高前景灵敏度，DeiTS具有跨类的混合灵敏度，具有许多负iRFS分数（即，更高的背景灵敏度）。19093图7.低显着性对齐的图像，突出船舶的水，鸟类的树枝和鸟类喂食器的虚假特征（左）：虚假特征导致错误分类（红色）。（右）：其他虚假特征的实例。图8.通过灰度化消除背景的图像模型精度右图显示了在背景消融的图像上微调的模型的精度。只有变压器可以适应一个线性层的背景烧蚀图像的功能，而不影响性能。5.3. 小心地移除背景我们还检查了背景变灰的图像上模型的准确性，类似于[56]，但现在考虑了ViTs、CLIP和Simplified，这些模型在研究时尚未被删除。此外，RIVAL 10的丰富注释允许超越前景或背景消融（有关属性删除的讨论，请参见附录）。通过变灰的消融可以被认为是另一种噪声，其中所有像素都被平滑以0的情况。五、在图8中，左图显示，当在具有灰色背景的图像上进行评估时，Robust ResNets和Simplified的准确性下降最大。变形金刚在烧蚀图像上表现良好，与观察结果一致，变压器在最大噪声水平下具有高RFS。然而，当我们试图拟合线性层来对背景消融图像进行分类时，只有来自变换器模型的特征具有足够的信息以具有高的线性分类精度。因此，虽然变形金刚利用背景，他们仍然保留了重要的前景图9.二值化显著图与对象分割掩模的对齐，通过交集大于并集（IOU）测量在模型（左）和对象类（右）上平均。在其特征空间中的信息。这一结果表明变压器对局部分布偏移更鲁棒也就是说，一个区域（背景）中的分布偏移可能会影响其他未扰动区域的模型感知，而不是ResNet。5.4.显著性对齐为了补充噪声分析，我们使用GradCAM[43]以评估模型在前景像素上的显著性的量。RIVAL10基于显着性对齐的样本排序揭示了失败模式，其中模型将背景区域视为高度显着。我们在附录中提出了几个评估显着性对齐的指标。我们发现，提取样本的前景和背景中的平均像素显着性差异最低，产生最有趣的故障模式。我们在图7中展示了以这种方式选择的示例，突出显示了图5中模型中观察到的导致船舶和鸟类低RFS具体来说，模型在分类时寻找水和海岸，19094在鸟类分类时，它们会用船、树枝和树枝来分类在图9中，我们使用标准的度量交并（IOU）。使用阈值0对显著性图进行二值化。在与对象分割掩模进行比较之前，平均而言，显着对齐是相似的跨模型，尽管它们在噪声分析中识别的RFS中存在很大差异，这表明显着性图可能给出模型灵敏度的不完整图片。在比较不同类别之间的显着性对齐时，我们看到了更大的差异，强调了当涉及到背景依赖时类别很重要6. 神经节点属性分析神经网络中的特征属性是现代机器学习工作中的一个基本问题。显著性，当相对于一个给定的特征计算时，是这样做的一个突出的方法[11，24，43，49]。尽管许多作品都声称基于显著性的归因，但据我们所知，很少给出定量验证[60]。在这里，我们建议通过与RIVAL 10中的地面实况属性本地化比较，通过显着性定量评估节点属性。我们建议采取以下程序。给定一个预训练的鲁棒ResNet 50特征提取器和一个类标签，我们通过激活该标签来识别前10个然后，我们使用GradCAM计算显着性，每个神经特征在这前10个图像上，并将它们与地面真实属性定位进行比较。在τ = 0的最大归一化阈值处二值化Salien-cies。五、然后，针对每个样本计算具有地面实况属性定位的交并（IOU）这获得了一个分数，我们将其解释为基于与前10张图像的属性分割的显着性对齐来测量神经特征属性的质量。然后，我们选择每个属性具有最高对齐度的神经特征，将这些特征识别为节点属性的最佳候选。请注意，按top IOU进行搜索仅适用于地面实况属性和本地化，RIVAL 10就是这种情况。Next, we check if these neural features generalize toheld-out data not used in the analysis, namely the test setof RIVAL10. 这里我们分析了一个类-属性对，并在附录 中 显 示 了 其 他 结 果 。 我 们 将 顶 级 测 试 样 本 的GradCAM与图10中训练集中识别的顶级特征进行可视化。我们可以直观地观察到这些样本的显著性与给定属性很好地对齐。然后，我们使用给定的类和属性标签计算测试集中所有图像的IOU分数。 我们将此直方图绘制在图10.我们观察到，IOU值平均较高，（>0. 5）表明神经特征很好地推广到所考虑情况下的保持数据我们注意到，这属性=软耳，特征=1448平均iou =0.50测试样本IOU的直方图类别=狗，属性=软耳，特征=14483025201510500.0 0.2 0.4 0.6 0.8 1.0IOU图10.（顶部）：测试图像上的示例GradCAM，关于训练集中由IOU识别的顶部特征（底部）：对应于此特征、属性对的IOU直方图。分析只是用于定量评估特征属性的一种方法。我们强调定量测量的重要性，而不仅仅是依赖于可视化，并设想我们的RIVAL 10数据集可能有助于完善围绕特征归因的讨论。7. 结论我们提出了具有L局部化的RI视觉贡献具体来说，我们发现反向或对比训练ResNets会导致相对前景敏感度降低。此外，我们观察到，随着噪声水平的增加，变换器自适应地提高了前景灵敏度，而ResNets则没有。通过将自动对齐度量应用于显着性图，我们揭示了模型使用的虚假背景特征的实例。最后，我们观察到有希望的证据表明，基于顶部激活图像的神经节点属性推广到归因过程中看不见的我们希望RIVAL 108. 确认该项目部分得到了NSF CAREER AWARD 1942230的支持，NIST 60 NANB 20 D134，HR 001119 S 0026（GARD），ONR YIP奖N 00014 -22-1-2271，陆军批准号。W 911 NF 2120076和AWS机器学习研究奖。计数19095引用[1] 安德烈亚斯盖格阿克塞尔绍尔。反事实生成网络。2021年 国 际 学 习 表 征 会 议 （ International Conference onLearning Representations，ICLR）[2] Andrei Barbu ， David Mayo ， Julian Alverio ， WilliamLuo，Christopher Wang，Dan Gutfreund，Joshua B.特南鲍姆和鲍里斯·卡茨。Objectnet：一个大规模的偏差控制数据集，用于推动对象识别模型的极限。NeurIPS，2019。[3] Samyadeep Basu，Phillip Pope，and Soheil Feizi.深度学习中的影响函数是脆弱的。CoRR，abs/2006.14651，2020。[4] Philipp Benz ， Soomin Ham ， Chaoning Zhang ， AdilKarjauv，and In So Kweon.视觉Transformer和mlp-mixer对 cnn 的 对 抗 鲁 棒 性 比 较 。 arXiv 预 印 本 arXiv ：2110.02797，2021。[5] SrinadhBhojanapalli ， AyanChakrabarti ， DanielGlasner，Daliang Li，Thomas Unterthiner，and AndreasVeit. 了 解 图 像 分 类 中 变 压 器 的 鲁 棒 性 .CoRR ，abs/2103.14586，2021。[6] Chun-Hao Chang，George Alexandru Adam，and AnnaGoldenberg.通过生成一致和不变的数据实现鲁棒的分类模型。arXiv预印本arXiv：2106.01127，2021。[7] 陈婷，西蒙·科恩布里斯，穆罕默德·诺鲁齐，和葛offrey Hinton.视觉表征对比学习的简单框架，2020。[8] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集。 IEEE计算机视觉与模式识别会议（CVPR），2016年。[9] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页。Ieee，2009年。[10] AlexeyDosovitskiy、LucasBeyer、AlexanderKolesnikov、Dirk Weissenborn、Xiaohua Zhai、ThomasUnterthiner 、 Mostafa Dehghani 、 Matthias Minderer 、Georg Heigold、Syl-vain Gelly、Jakob Uszkoreit和NeilHoulsby。一张图片相当于16x16个单词：用于大规模图像识别的变压器CoRR，abs/2010.11929，2020。[11] 加 布 里 埃 尔 湾 作 者 ： Joseph D. Janizek ， PascalSturmfels，Scott Lundberg，and Su-In Lee.使用归因先验学习可解释的模型。CoRR，abs/1906.10670，2019。[12] M. Everingham，S. M. A.埃斯拉米湖凡古尔角，澳-地K.I.威廉斯，J. Winn和A.齐瑟曼。Pascal视觉对象类挑战：回顾。International Journal of Computer Vision，111（1）：98-136，Jan. 2015年。[13] M. 埃弗灵厄姆湖，澳-地凡古尔角，澳-地K. I. 威廉斯，J.Winn和A. 齐 瑟 曼 。 pascal 视 觉 对 象 类 （ voc ） 的 挑 战 。International Journal of Computer Vision，88（2）：303[14] Ali Farhadi ， Ian Endres ， Derek Hoiem ， and DavidForsyth.按属性描述对象2009年19096计算机视觉和模式识别，第1778-1785页。IEEE，2009年。[15] 放大图片作者：RobertGeirhos，J？henrikJacobsen，ClaudioMichaelis，Richard S.Zemel，Wieland Brendel，Matthias Bethge，and Felix A. Wichmann深度神经网络中的学习。CoRR，abs/2004.07780，2020。[16] Amirata Ghorbani、Abubakar Abid和James Zou。神经网络的解释是脆弱的. AAAI人工智能会议论文集，33（01）：36812019年。[17] Sven Gowal，Chongli Qin，Po-Sen Huang，A.放大图片作者：John A.曼恩，还有"推"，这是科利.通过对抗性 混 合 与 解 纠 缠 表 示 实 现 野 外 鲁 棒 性 。 CoRR ，abs/1912.03192，2019。[18] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，2016年6月。[19] Dan Hendrycks和Thomas Dietterich基准神经网络的鲁棒性常见的腐败和扰动。2019年学习表征国际会议论文集[20] Dan Hendrycks ， Kevin Zhao ， Steven Basart ， JacobSteinhardt，和Dawn Song.自然对抗的例子。CVPR，2021年。[21] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，and Kilian Q Weinberger.密集连接的卷积网络。在IEEE计算机视觉和模式识别会议论文集，第4700-4708页[22] Menglin Jia ， Mengyun Shi ， Mikhail Sirotenko ， YinCui ， Claire Cardie ， Bharath Hariharan ， HartwigAdam，and Serge J.贝隆吉时尚百科：本体、分割和属性本地化数据集。CoRR，abs/2004.12276，2020。[23] Fereshte Khani和Percy Liang去除虚假特征会影响准确性 ， 并 对 群 体 造 成 不 成 比 例 的 影 响 。 CoRR ，abs/2012.04104，2020。[24] Been Kim，Martin Wattenberg，Justin Gilmer，CarrieCai，James Wexler，Fernanda Viegas，et al.特征属性的可解释性：概念激活向量定量测试。国际机器学习会议，第2668-2677页。PMLR，2018。[25] Pang Wei Koh和Percy Liang。通过影响函数理解黑箱预测，2020年。[26] Alex Krizhevsky Vinod Nair和Geoffrey Hinton。加拿大高级研究所。[27] Christoph H Lampert ， Hannes Nickisch ， and StefanHarmeling.学习通过类间属性转移来检测不可见的对象类。在2009年IEEE计算机视觉和模式识别上，第951IEEE，2009年。[28] 林宗义，迈克尔·梅尔，塞尔日·贝隆吉，卢博米尔·布尔德夫，罗斯·吉希克，詹姆斯·海斯，彼得·佩罗纳，德瓦·拉马南，C. 劳伦斯·齐特尼克和彼得·多尔。Microsoftcoco：2014年，《环境中的常见物体》。引用arxiv：1405.0312评论：1）更新的注释管道19097说明书和附图; 2）增加了描述数据集拆分的新章节;3）更新作者名单。[29] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。在2015年12月的国际计算机视觉会议（ICCV）的会议记录中[30] Aleksander Madry 、 Aleksandar Makelov 、 LudwigSchmidt、Dimitris Tsipras和Adrian Vladu。对抗攻击的深度学习模型。在第六届国际会议上学习表示，ICLR2018，Van- couver，BC，加拿大，2018年4月30日至5月3日，会议跟踪程序。OpenReview.net，2018年。[31] Tanushree Mitra，C.J. Hutto和Eric Gilbert比较亚马逊土耳其机械上以人为中心和以过程为中心的获取质量数据的策略。在第33届年度ACM计算机系统人为因素会议的会议记录中，CHI计算机协会。[32] Muzammal Naseer 、 Kanchana Ranasinghe 、 SalmanKhan 、 Munawar Hayat 、 Fahad Shahbaz Khan 和 Ming-Hsuan Yang。视觉变形金刚的有趣特性，2021年。[33] Anh Mai Nguyen，Jason Yosinski和Jeff Clune。多面特征可视化：揭示深度神经网络中每个神经元学习的不同类型的特征。CoRR，abs/1602.03616，2016。[34] Chris Olah ， Alexander Mordvintsev ， and LudwigSchubert. 特 征 可 视 化 。 蒸 馏 ， 2017 。https://distill.pub/2017/feature-visualization.[35] 克里斯·奥拉，阿文德·萨蒂亚纳拉扬，伊恩·约翰逊，山·卡特，路德维希·舒伯特，凯瑟琳·叶和亚历山大·莫文 特 - 塞 夫 。 可 解 释 性 的 构 建 块 。 蒸 馏 ， 2018 。https://distill.pub/2018/building-blocks.[36] Wanli Ouyang ， Hongyang Li ， Xingyu Zeng ， andXiaogang Wang.使用大规模属性学习深度表示。IEEEInternational