ConvNets和ImageNet超越精度：理解错误和发现偏见皮埃尔·斯托克[0000−0002−3623−3899]和穆斯塔法·西塞Facebook AI Research网址：pstock@fb.com，moustaphacisse@google.com抽象。ConvNets和ImageNet最近推动了深度学习在图像分类方面的成功。然而，性能改进的显着放缓，加上神经网络对对抗性示例缺乏鲁棒性以及它们表现出不期望的偏差的倾向，这些方法的可靠性受到质疑。这项工作调查这些问题从最终用户的角度来看，通过使用人类的主题研究和解释。这项研究的贡献有三个方面。我们首先通过实验证明，在Imagenet上测量的ConvNets的准确性接下来，我们证明了解释可以从最终用户的角度减轻错误分类的对抗性示例的影响最后，我们介绍了一种新的工具，用于发现模型学习到的不良偏见。这些贡献也表明，解释是一个有价值的工具，既可以提高我们对ConvNets预测的理解保留字： 偏差检测，可解释性，对抗性示例。1介绍卷积神经网络[1，2]和Imagenet [3]（数据集和挑战）对最近计算机视觉的突破起到了重要作用。Imagenet已经为ConvNets提供了他们所需的数据，以证明他们与以前使用的手工特征（如Fisher Vectors）相比的优越性反过来，这一成功引发了人们对卷积方法的新兴趣。因此，新的架构，如ResNets [5]和DenseNets[6]已经被引入，以提高Imagenet的最新性能这种良性循环的影响已经渗透到计算机视觉和深度学习的各个方面。事实上，在Imagenet上预先训练的特征提取器的使用现在无处不在。例如，现有技术的图像分割[7，8]或姿态估计模型[9，10]严重依赖于预先训练的Imagenet特征。此外，最初为图像分类开发的卷积架构（如残差网络）现在通常用于机器翻译[11]和语音识别[12]。自2012年以来，Imagenet上最先进（SOTA）模型的前1错误已从43减少。45%到22。百分之三十五最近，最佳性能的演变似乎现在谷歌AI加纳领先.2斯托克和西塞图图1：顶部：Imagenet上各种CNN架构的性能演变底部：一些从互联网上采样并被ResNet-101错误分类的图像尽管在设计新的架构[5，6]、引入新的数据增强方案[13]和优化算法[14]方面做出了努力，但数据库的性能仍处于平稳状态（见图1）。同时，一些研究已经证明了深度神经网络对对抗性示例缺乏鲁棒性[15-17]，并提出了关于其表现出（不期望的）偏见[18]的倾向的问题。对抗性示例[15]是被设计为与人类无法区分的自然图像的合成图像，但它们能够欺骗最好的图像分类系统。不良偏差是从数据中学习到的模式或偏差，它们通常对模型的决策具有高度影响力这种偏见的例子包括种族和性别偏见[19]。虽然准确性一直是各行业广泛采用深度学习的主要因素，但其持续改进以及其他可取的特性，如对抗性示例的鲁棒性和对偏见的免疫力，对于保持对技术的信任至关重要因此，至关重要的是，以提高我们对这些问题的理解，从最终用户的角度来看，在Imagenet分类的上下文中。在这项工作中，我们在这个方向上迈出了一步，通过评估SOTA模型的预测Imagenet的验证集我们表明，人类的研究和解释可以是有价值的工具来执行这项任务。除了用于评估模型的传统基础事实之外，人类研究还从最终用户的角度对模型预测的质量进行了新的判断。我们还使用基于特征和基于示例的解释。一方面，通过输入特征的子集来解释黑盒分类器的预测可以产生对模型工作的有价值的见解，并强调其决策中的基本特征。另一方面，基于示例的解释通过突出显示代表由模型捕获的给定类别的分布的实例来提供模型的增加的可解释性我们使用的基于实例的解释的特殊形式被称为模型批评[20]。它结合了原型和批评，并被证明可以更好地捕捉自然图像的复杂分布。因此，它有助于人类的理解。我们的主要发现总结如下：ImageNet超越精度3– 在Imagenet上评估的卷积网络的准确性大大低于预期。 我们发现，当模型的错误由人类受试者评估，并且当至少五分之四的人同意模型的预测时被认为是正确的时，在Imagenet上训练并在标准验证集上评估的ResNet-101的前1个错误从22个减少。69%至9。百分之四十七类似地，前5个误差从6减小。44%对1。百分之九十四这一观察结果适用于各种模型。它解释了在准确性改进方面的显著减慢，并表明Imagenet几乎已经解决。– ConvNets对对抗性示例的鲁棒性也被低估了。在ad-此外，我们表明，提供解释有助于减轻错误分类从最终用户的角度来看对抗性的例子– 模型批评是一个有价值的工具，用于检测模型预测中的偏差。此外，对抗性示例可以有效地用于模型批评。与我们的第一点类似的观察存在于先前的工作中[21]。然而，我们的研究的规模，结论和含义是不同的。事实上，我们认为，如果前5名的错误是感兴趣的措施，图像是（几乎）解决。在下一节中，我们总结了相关的工作，然后详细介绍我们的实验和结果2相关工作对抗性的例子。深度神经网络可以在以前看不见的示例上实现高准确性，同时容易受到其输入的小对抗性扰动的影响[15]。这种扰动的输入，称为对抗性的例子，最近引起了社会的浓厚兴趣[22，15，23，17]。随后有几项研究分析了这一现象[24-26]，并提出了与我们的工作更密切相关的是旨在生成更好的对抗性示例的不同建议[22，31]。给定一个输入（训练或测试）示例（x，y），一个对抗性示例是原始模式x=x+δx的扰动版本，其中δx足够小，使x与x无法被人类区分，但会导致网络预测错误的目标。给定网络gθ（其中θ是参数集）和p范数，对抗性示例为正式定义为：x~=argmaxx~：x~−xp≤.Σgθ（x~），y（一）其中，表示广告的强度。假设损失函数（·）是可微的，[25]建议采用x›→（gθ（x），y）的一阶泰勒展开，通过解决以下更简单的问题来计算δxx~=argmaxx~：x~−xp≤.ΣTx（二）当p=∞时，则x~=x+·sign（x（gθ（x），y）），其对应于快速gradientsign方法[22]。如果p=2，我们得到x~=x+·x（gθ（x），y），其中x可选地，可以执行这些的更多迭代。步骤使用较小的步长。这种策略有几种变体[31，32]。其他地区在本文中，我们将这种方法称为迭代快速梯度法（IFGM），并将使用它来衡量一个给定模型的鲁棒性和执行模型批评。4斯托克和西塞i=1模范批评基于实例的解释是认知科学领域中促进人类理解的众所周知的工具[33]。它们已被广泛在大多数情况下，它包括通过向人类呈现一组原型示例来帮助人类理解复杂的分布（或由模型捕获的统计数据然而，当人们正在寻求解释的分布或模型很复杂时（现实世界的最近，Kim et al.[20]已经提出，除了原型之外，还使用从模型或原型没有很好地捕获的输入空间区域中采样的数据这样的例子，被称为批评，被称为改善人类Kim等人[20]引入了MMD-critic，这是一种受贝叶斯模型批评[37]启发的方法，用于在给定的一组示例中选择原型和批评者。MMD-critic使用最大平均差异[38]和大规模子模块化运算。最小化[39]。 给定一组例子D ={（x，y）}n，令S{1，. . .，n}这样证明了DS={xi，i∈S}.给出了一个具有k个函数k（·，·）的RKHS，通过最小化D之间的最大平均差异来选择MMD-评论家和DS。其正式写法为：MaxS∈ 2[n]，|S|≤m2Jb（S）=n|S|Σi∈[ n]，j∈S1k（xi，xj）− |S|2Σi，j∈Sk（xi，xj） （3）给定一组原型，使用MMD类似地选择批评以最大化与原型的偏差。在这种情况下的目标函数是正规化，以促进多样性的批评。贪婪算法可以用于选择原型和批评，因为相应的优化问题在某些条件下是可证明的子模块和单调的[39]。在我们的实验研究中，我们将使用MMD-critic作为基于示例的解释的基线。基于特征的解释。机器学习，尤其是深度神经网络（DNN）是各个领域越来越多技术进步的核心。然而，这些模型仍然被广泛认为是黑箱，导致最终用户不信任预测甚至底层模型。为了促进这些算法的采用并促进其积极的技术影响，最近的研究一直专注于从人类的角度理解模型[40特别地，[44]提出通过用可解释模型h局部近似来解释任何分类器gθ（表示为g）的预测。h的作用是为a提供输入x和分类器的输出g（x）之间的定性理解给定类。在输入x是图像的情况下，h将作用于向量x′∈ {0，1}d表示存在或不存在将图像x划分为解释分类器在候选h中找到最佳解释ξ（x）可以公式化为：ξ（x）= argminL（g，h，πx）+Ω（h）（4）h∈H其中最佳解释最小化x的πx附近g和h之间的局部加权损失L，由这种解释的复杂度Ω（h）正则化该au-ImageNet超越精度5定理限制h∈H为线性模型，使得h（z′）=whz′.他们进一步定义了附近的两个样本使用指数内核πx（ z）= e并将局部加权损失L定义为：x−zσ2（5）ΣL（g，h，πx）=z，z′∈Zπx（z）（g（z）−h（z′））2（6）其中Z是通过随机激活或去激活x中的一些超像素从x获得的n个扰动样本的数据集。注意，z’表示对应的独热编码。z是由这些超像素形成的实际图像。最后，表示的可解释性由.Ω（ h）=0，如果wh0 0。9）和批评（信心不足，例如，0<的情况。①的人。我们还比较了基线随机抽样的例子从一个给定的类。对于每一种方法（除了随机基线），我们的实验显示六个原型只与。 展示了三个原型和三个批评。为了正确地利用结果，我们放弃了基于turker在问题上花费的时间的答案，只考虑在20秒到3分钟范围内给出的答案这导致了1，600个有效答案，我们在表3中报告了结果。从这些结果中得出两个结论。首先，使用对抗性方法抽样的原型和批评更好地代表了类分布，并且在仅使用原型时都获得了更高的分配任务分数（55. 02%）和当原型与批评（57。06%）。第二，除了原型之外，使用批评总是有助于更好地把握阶级分布。更定性地，我们在图7a和7b中显示了分别使用MMD和对抗方法为测试样本生成的香蕉类的一些原型和批评，这证明了对抗方法的优越性ImageNet超越精度11表3：原型和批评研究的结果我们报告了七种条件下任务的平均成功率（将目标图像分配给六组中的一组对抗性选择程序优于MMD-critic以及研究中使用的其他条件平均值（%）标准品（%）Adv -原型和批评57.063.22MMD -原型和批评50.643.25Probs -原型和批评49.363.26高级-仅55.023.23MMD -仅53.183.24探针-仅52.443.25随机49.803.25(a)（b）第（1）款图7：（a）当使用MMD-critic方法时，Banana类的原型（第一行）和批评（第二行）。(b)Prototypes（第一行）和Criticisms（第二行），在使用对抗性选择时用于Banana类。3.4用模型批评为了揭示模型学习到的不良偏见，我们使用对抗性示例方法来进行模型批评，因为它在我们之前的实验中比MMD-critic更有效。我们考虑类篮球（其中人类经常出现在图像中）。我们选择和检查减少子集的原型和批评类别篮球。篮球训练图像中至少出现一个白人的比例约为55%。同样，百分比 至少有一个黑人出现的图像是53%。这种相对平衡与模型捕获的统计数据形成对比。事实上，一方面，我们发现大约78%的原型包含至少一个黑人，只有44%的原型包含一个或更多的白人。另一方面，对于批评，90%的图像包含至少一个白人，只有大约20%包含一个或更多的黑人。这表明模型已经学习了12斯托克和西塞在班级篮球赛中，黑人的形象是典型的。为了进一步验证这一假设，我们从互联网上抽取了一对相似的图片。图图8：通过互联网采样的图片对（列）以及ResNet-101的预测图图9：原型（第一行）和评论（第二行），用于测试图像的原型（第一行）和评论（第二行）。篮球课，adv方法。对这些对进行采样，使得两个图像之间的主要明显差异是人的肤色。然后，我们将图像输入模型并收集预测。图8示出了实验的结果。包含黑人的所有图像被分类为篮球，而具有不同肤色的人的类似照片被不同地标记。图10b提供了该假设的额外支持证据。它示出了基于渐进特征的解释路径，该解释路径通过它们的重要性顺序来揭示示例（被正确地分类为篮球）的超像素最重要的超像素描绘运动员的球衣和肤色。模型学习这些偏差的原因尚不清楚。一个假设是，尽管在标有篮球的图片中种族分布均衡，黑人ImageNet超越精度13(a)（b）第（1）款图图10：（a）来自互联网的图像被归类为ResNet-101的交通灯(b) Basketball类的测试样本的ResNet-101的解释路径请注意，出现的第一个特征包括球衣上的文字，然后是篮球。与其他班级相比，这一班级的人数较多。在文本数据的上下文中也注意到类似的[45，19]。我们推迟到未来的研究进一步调查。备注。我们关注种族偏见是因为人类很容易发现它们。事实上，我们发现了类似的偏见，显示亚洲人穿着红色衣服的图片经常被归类为乒乓球。然而，我们假设该模型的偏差是众多且多样的。例如，我们还发现，该模型经常预测具有路灯的蓝天图像的类交通灯，如图10a所在任何情况下，模型批评都被证明可以有效地发现模型所学到的不受欢迎的隐藏偏见。4结论通过人类研究和解释，我们已经证明了SOTA模型在Imagenet上的性能被低估了。这几乎没有留下改进的空间，并且需要新的大规模基准，例如涉及多标签注释。我们还从最终用户的角度提高了对对抗性示例的理解这些结果打开了一个令人兴奋的角度设计的解释和视觉模型中的偏见自动检测。我们的研究表明，有必要在这些主题上进行更多的研究，以维持机器学习作为通用技术的使用，并在图像分类方面取得新的突破。引用1. Lecun，Y.，博图湖Bengio，Y.，Haffner，P.：基于梯度的学习应用于文档识别。在：IEEE的会议记录。（一九九八年）14斯托克和西塞2. Krizhevsky，A.，萨茨克弗岛Hinton，G.E.：Imagenet分类与深度卷积神经网络。在：第25届神经信息处理系统国际会议论文集（2012年）3. Deng，J.，Dong，W.，索赫尔河Li，L.J.，Li，K.，李菲菲：ImageNet：一个大规模的层次图像数据库。在：CVPR09中。（二零零九年）4. Perronnin，F.， 是桑切斯，J Mensink，T.：改进Fisher核函数用于大尺度图像分类。第11届欧洲计算机视觉会议论文集：第四部分. （二零一零年）5. 他，K.，张，X.，Ren，S.，孙杰：用于图像识别的深度残差学习2016年IEEE计算机视觉与模式识别会议（CVPR）6. Huang，G.，刘志，Weinberger，K.Q.：密集连接的卷积网络。CoRR（2016）7. Girshick，R.：快速R-CNN。2015年IEEE计算机视觉国际会议（ICCV）论文集。2015年ICCV8. 他，K.，Gkioxari，G.， Dol la'r，P.，Girshick，R.B.： 面罩R-CNN。CoRRabs/1703.06870（2017年）9. Insafutdinov，E.，Pishchulin，L.Andres，B.，Andriluka，M.，Schiele，B.：Deepercut：更深、更强、更快的多人姿势估计模型。CoRRabs/1605.03170（2016）10. Bulat，A.，Tzimiropoulos，G.：通过卷积部分热图回归的人体姿势估计锡永 CoRR（2016）11. Gehring，J.，Auli，M.，Grangier，D.，Yarats，D. Dauphin，Y.N.：卷积序列到序列学习。CoRR（2017）12. 王玉，Deng，X.，Pu，S.，Huang，Z.：用于自动语音识别的剩余卷积CTC网络CoRR（2017）13. 张洪， Ciss e'，M.，Dauphin，Y. N.，Lopez-Paz，D.：混淆：基于经验风险最小化。CoRR（2017）14. 金玛，D.P.，Ba，J.：Adam：随机最佳化的方法。CoRR（2014）15. 塞格迪 角Zaremba， W. ，萨茨 克弗岛 Bruna ，J. ，Erhan ，D. ，Goodfellow ，I.J.Fergus，R.：神经网络的有趣特性。CoRR（2013）16. Goodfellow，I.J. Shlens，J.，Szegedy，C.：解释和利用对抗性的例子。（2014年）17. 这是你的M Adi，Y.， Never ov a，N. Keshet，J.：Houdini：使用对抗性示例来分析深层结构化视觉和在：神经信息处理系统的进展30：神经信息处理系统2017年年会，2017年12月4日至9日（2017年）18. Ritter，S.，巴雷特D.G. TSantoro，A.Botvinick，M.M.：深层神经网络的认知心理学：形状偏差案例研究。第34届机器学习国际会议论文集。机器学习研究论文集（2017）19. Bolukbasi，T.，Chang，K. Zou J.Y. Saligrama，V. Kalai，A.：男人对于计算机程序员就像女人对于家庭主妇一样？去偏置字嵌入。CoRR（2016）20. Kim，B.，卡纳河Koyejo，O.O.：例子是不够的，要学会批评！对int=可理解性的批评。在：神经信息处理系统的进展29。（2016年）21. Karpathy ， A. ： 我 在 imagenet 上 与 一 个 convnet 竞 争 中 学 到 了 什 么 ，http://karpathy.github.io/2014/09/02/what-i-learned-from-competing-against-a-convnet-关于我们22. 古德费洛岛Shlens，J.，Szegedy，C.：解释和利用对抗性的例子。在：学习代表国际会议。（2015年）23. Tabacof，P.Valle，E.：探索对抗图像的空间CoRR（2015）24. Fawzi，A.，Fawzi，O.，Frossard，P.：分类器对抗性扰动的鲁棒性分析。CoRR（2015）ImageNet超越精度1525. 沙赫姆大学Yamada，Y.，Negahban，S.：理解对抗训练：通过鲁棒优化提高CoRR（2015）26. Fawzi，A.，Moosavi-Dezfooli，S.，Frossard，P.：分类器的鲁棒性：从对抗性到随机噪声。CoRR（2016）27. Papernot，N.，麦克丹尼尔警局Wu，X.，中国农业科学院，Jha，S.，Swami，A.：蒸馏作为对深度神经网络的对抗性扰动的防御2016年IEEE安全与隐私研讨会（SP）28. Cisse，M.，Bojanowski，P.，Grave，E.Dauphin，Y.Usunier，N.：Parseval网络：提高对抗性示例的鲁棒性。第34届机器学习国际会议论文集。（2017年）29. Kurakin，A.，Boneh，D.，Tramr，F.，古德费洛岛Papernot，N.，McDaniel，P.：集体对抗训练：攻击和防御。（2018年）30. Guo，C.，中国农业科学院，Rana，M.， Ciss e'，M.， vanderMaaten，L.：使用输入变换对抗广告图像CoRR（2017）31. Moosavi-Dezfooli，S.，Fawzi，A.，Frossard，P.：Deepfool：欺骗深度神经网络的简单而准确的方法。CoRR（2015）32. Kurakin，A.，Goodfellow，I.J.Bengio，S.：物理世界中的对抗性例子CoRR（2016）33. 西蒙，H.A. Newell，A.：人类问题解决：1970年的理论状况（1972）34. Aamodt，A.，Plaza，E.：案例推理;基础问题、方法论变量和系统方法。02 The Dog（1994）35. 比欣达里茨岛Marling，C.：健康科学中的案例推理：接下来呢？（2006年）36. Kim，B.，Rudin，C.，Shah，J.A.：贝叶斯案例模型：基于实例推理和原型分类的生成式方法。在：神经信息处理系统的进展（2014年）37. Gelman，A.：贝叶斯数据分析使用R。（2006年）38. Gre t ton，A.， Bor r g wardt，K.M.，Rasch，M.， Schoül k opf，B.，Smola，A.J.：两样本问题的一种核方法第19届神经信息处理系统国际会议论文集。05 The Dog39. Badanidiyuru，A.，Mirzasoleiman，B.，Karbasi，A.，Krause，A.：流式子模块最大化：动态的海量数据摘要第20届ACM SIGKDD知识发现和数据挖掘国际会议论文集（2014年）40. Lipton，Z.C.：模型可解释性的神话。CoRR（2016）41. Samek，W.，Wiegand，T.，Muller，K.：可解释的人工智能：理解、可视化和解释深度学习模型。CoRR（2017）42. Montavon，G.，Samek，W.，Muller，K.：解释和理解深度神经网络的方法。CoRR（2017）43. Dong，Y.，Su，H.，Zhu，J.，Bao，F.：通过利用对抗性示例实现可解释的深度神经网络CoRR（2017）44. Ribeiro，M.T.，辛格，S.，Guestrin，C.： 解释任何分类器的预测。第22届ACMSIGKDD知识发现和数据挖掘国际会议论文集。（2016年）45. Paperno，D.，Marelli，M.，Tentori，K.，Baroni，M.：基于语料库的词关联估计预测词共现可能性判断中的偏差。《认知心理学》（2014）
我的内容管理
展开
