520公平和可解释性朱立伦echu@mit.edu麻省理工学院NabeelGillaningillani@mit.edu麻省理工学院Sneha Priscilla Makinisnehapm@mit.edu麻省理工学院摘要随着机器学习（ML）系统变得越来越普遍，确保其底层租赁的公平和公正应用至关重要。我们认为，实现这一目标的一种方法是积极培养公众压力，让ML开发者设计和开发更公平的算法--而培养公众压力，同时服务于算法开发者的利益和目标的一种方法是通过 我们提出了一类新的游戏-“公平性和可解释性的游戏”-作为一个例子，激励对齐的方法，生产更公平，更公正的算法。公平性和可解释性的游戏是精心设计的具有大众吸引力的游戏。它们具有内在的吸引力，提供了对机器学习模型如何工作的见解，并最终产生帮助研究人员和开发人员改进算法的数据我们强调了几个可能的游戏例子，它们对公平性和可解释性的影响，它们的扩散如何通过缩小算法开发人员和公众之间的差距来创造积极的公众压力，以及为什么机器学习社区可以从中受益。CCS概念• 以人为中心的计算关键词机器学习，可解释性，公平性，博弈，众包ACM参考格式：Eric Chu，Nabeel Gillani，and Sneha Priscilla Makini.2020年。 公平和可解释性的游戏。 在网络会议2020（WWW'20）的会议记录，2020年4月20日至24日，台北，台湾。ACM，美国纽约州纽约市，5页。https://doi.org/10.1145/3366424.33843741引言随着ML越来越多地渗透到生活的几乎所有方面-并且不平等地服务于或未能服务于人口[4-为了实现这一目标，我们相信有效的公众压力将是改善模式的一个杠杆。历史上有几个例子可以说明公众压力如何促使技术政策发生变化。炸药的发明;美国在二战期间使用原子弹这两个作者都贡献了质量。本文在知识共享署名4.0国际（CC-BY 4.0）许可下发布作者保留在其网站上传播作品的权利。第二次世界大战和20世纪初的优生学运动都是道德上可疑的努力的例子，这些努力至少在一定程度上被批评的公众反应所减弱。然而，最近关于Facebook和剑桥分析公司的故事，无人驾驶汽车的流氓2，甚至机器驱动的劳动力替代[1]都暗示了简单地让历史展开的危险在所有这些情况下，基本的技术方法肯定会发生变化-但很难否认集体公众压力在催化对话以设想围绕这些电动工具的一系列新政策和实践方面的重要性。仅仅改变方法是不够的。公众压力往往是反应性的，在危机之后 为了应对这一点，我们要问：公众压力如何能够主动运作，以确保ML能够有效地立足于-并回应-对公平性和可解释性的呼吁？为此，一些作者最近引发了关于机器学习的道德陷阱的公开讨论[12，32，33]。此外，像Turingbox [11]和OpenML [39]这样的计划正在积极寻求创建平台和市场，科学界和公众的专家可以审计ML算法，以促进更公平，透明和可解释性。这些努力是产生积极的公众压力的重要的第一步。然而，它们未能直接调整设计和部署算法的人与受算法影响的人之间的激励。为什么算法开发人员应该关心一个利基群体如何评价他或她的算法的公平性或可解释性为什么普通公众要花时间去理解，更不用说评估这些算法了？目前尚不清楚，如果没有激励措施，目前产生积极公众压力的努力将如何可持续对齐。为了使ML开发人员和普通公众之间的激励机制保持一致，以寻求更可解释的ML-因此，在适当的时候，更公平- ML，我们提出了2ML驱动的游戏受Luis von Ahn的有目的游戏（GWAP）框架的启发个人和公司网站与适当的归属。WWW©2020 IW 3C 2（国际万维网大会委员会），在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-7023-3/20/04。https://doi.org/10.1145/3366424.33843741https：//www.bostonglobe.com/ideas/2018/03/22/computer-science-faces-ethics-crisis-the-cambridge-analytica-scandal-proves/IzaXxl2BsYBtwM4nxezgcP/story.html2nytimes.com/2018/03/23/technology/uber-self-driving-cars-arizona.htmlWWWTrovato和Tobin等人5212.1有目的的游戏被描述为“人类GWAP不是依靠经济激励或利他主义，而是简单地依靠人们对乐趣和娱乐的渴望。一个成功的GWAP不仅可以为困难的问题提供新颖和创造性的解决方案，还可以为训练机器学习模型提供大量的标记数据。 自成立以来，GWAP已经吸引了数十万参与者，以解决从蛋白质折叠[22]和RNA折叠[27]到检查散点图中人类对相关性的感知的问题。该框架也被扩展到机器学习，例如在游戏过程中使用主动学习来选择示例[2]。GWAP框架包括几个不同的游戏模板[42]。输出协议游戏有两个玩家试图产生相同的输出时，显示相同的输入。在ESP游戏中，如图1所示，玩家被展示一幅图像，并被要求猜测其他玩家会用什么词来描述这幅图像。游戏的一个变体包括每个图像的禁忌词，因此要求用户猜测更多不常见的词，从而产生更有趣的标记数据[41]。在输入协议游戏中，两个参与者都被提供了一个输入，这个输入可能是不同的，也可能不是;参与者被要求输出对输入的描述，然后最后猜测他们是否被显示了相同的输入。例如，在Tagatune游戏中，玩家会得到歌曲片段并被要求输出标签，然后最终猜测他们是否有相同的片段[26]。图1：有目的的游戏（GWAP）的例子：原始的ESP游戏。2.2游戏设计的公平性和可解释性虽然基于声誉的激励措施可以产生社会压力并激励ML开发人员，但我们相信，一个设计良好的游戏3http://guessthecorrelation.com/ML开发人员和ML消费者（即公众）之间的激励由于标记数据对深度神经网络的重要性，我们相信，如果利用它们的游戏可以产生有价值的训练数据或对抗性示例，ML研究人员将有强烈的动机上传他们的模型在消费者方面，GWAP已经表明，这类游戏可以吸引大量观众。此外，更大的受众是更广泛的受众，从而允许对模型进行更多样化的探索我们相信，由于媒体对ML的关注越来越多，以及新模型的能力越来越强，最近吸引普通观众探索ML的游戏示例包括文本自动完成“Talk 5、字嵌入式单词联想游戏6，以及使用生成文本模型构建的无休止文本冒险游戏7。我们将“公平性和可解释性的游戏”定义这些游戏也可以联网，以实现人与人之间的互动和竞争。游戏应该是有趣和吸引人的，提供对底层机器学习模型如何工作的洞察，并产生有助于模型改进的数据-特别是，使模型更好地装备，以更公平地服务于各种各样的个人和场景。人们可能会想象这样一个游戏平台，一旦游戏被设计和开源，它的后端模型就可以被交换为具有类似输入和输出的任何模型该平台还可以作为一个公共论坛，广泛参与和讨论新ML模型的评估这个独特的论坛-ML开发人员和公众成员都出席的论坛-可以作为一个重要的工具，a）提高对ML及其应用程序的更广泛的熟悉和认识，也许最终，b）创造积极的公众压力，激励算法开发人员构建更可解释和更公平的ML。2.3提议的游戏类别本着GWAP的精神，我们在以下部分描述了可能的游戏类别。2.3.1人类与艾.Setup. 玩家1提供输入，玩家2与AI竞争猜出正确答案。游戏1：猜猜是谁？ 玩家1通过自由形式的短文本描述自己，他们的兴趣，工作和其他属性。玩家2和AI试图猜测玩家1的年龄、性别和位置示例游戏2受流行的Co-denames棋盘游戏[44]的启发，玩家将获得一个5x 5的游戏。单词的网格玩家1是一个间谍头子参与人24https://talktotransformer.com/5https://quickdraw.withgoogle.com/6http://robotmindmeld.com/7https：//www.aidungeon.io/公平和可解释性游戏WWW522(a) 一个人类VS。人工智能游戏。参与者1（在这里，由于人类和人工智能都猜到了(b) 一个打破机器人游戏的例子。参与人1和参与人2在产生对抗性攻击方面相互竞争，这将降低模型预测的准确性。玩家应该被激励去做一些小的修改，但是这些修改会导致准确性的大幅下降在这个例子中，玩家被提供工具来改变照明和颜色，或者添加和重新移动公共对象。图2：公平性和可解释性的可能游戏示例。这两种类型的游戏都旨在揭示模型的偏见和缺陷，同时产生更强大和多样化的训练数据。她猜到炸弹游戏就结束了如果所有非炸弹单词都猜对了，游戏就赢了目标是在更少的回合中完成比赛;说一个更大的数字可以让球队更快地获胜，但也更难想出线索。在我们的ML驱动的变体中，AI也会尝试猜测单词;如果AI的猜测与参与人2的猜测相匹配，都是无效的图2a示出了示例性回合。生成数据并深入了解可解释性。玩家1必须产生另一个人可识别的输入，但AI无法检测或错误分类。这需要玩家凭直觉了解模型所理解的输入空间，以及在哪些情况下可能会失败。例如，玩家1可能会发现，文化参考对于ML模型来说更难。 自然语言处理模型，可以结合常识推理和知识也仍然是一个开放的研究领域。成功的输入和线索可以用作更鲁棒的训练数据。此外，人工智能的基线模型可以基于词嵌入，这已被证明反映了人类对性别、种族、职业等的隐性偏见。[6]的文件。如果人工智能不正确地依赖它们来进行预测，这些偏见可能会浮出水面。2.3.2打破机器人。Setup. 每个玩家都被显示一个输入和模型的输出（例如，预测）。每个玩家都被要求对输入进行一个小的修改。 谁能在模型输出中引起最大的变化，同时使用最小的修改，谁就能得到更多的点。示例游戏1-破坏它！深度神经网络的脆弱性已经在几个计算机视觉系统中得到了说明。例如，标志上的涂鸦会显著降低物体识别的准确性[13]，而Rosenfeld等人。研究表明，在场景中添加一个其他物品[36]。 这些缺陷可能会对现实世界的系统产生灾难性的影响。在这个自动驾驶汽车启发的游戏中，玩家会看到街道图像，上面覆盖着检测到的物体的边界框例如，停车标志可以通过模型以概率检测到0.85. 玩家的目标是通过对标志及其周围环境进行小的修改来改变预测。游戏将为玩家提供工具来改变图像的角度，照明，色调，以及添加和减去其他物体和人造物品。（游戏将不得不测量修改的“大小”，以分配分数）。 图2b显示了游戏的外观示例。游戏2：击败银行家ML已经开始使用在高风险的情况下，从累犯预测到贷款违约率预测。不幸的是，这些系统也被证明容易受到人口统计特征和不公平的影响[17]。在这个游戏中，玩家是银行家。 输入是一组假设的个人人口统计特征，输出是该个人的贷款偿还的预测概率。面对贷款拒绝，目标是找到看似无害的变化，可以使贷款批准。生成数据并深入了解可解释性。这些游戏提供对抗性示例和模型输入的敏感性分析这一点很重要，因为对抗性示例领域变得越来越重要[16]，特别是随着ML模型在现实世界中的部署[25]，获得这些示例通常很困难[46]。ML研究人员还可以更好地了解如何以语义上有意义的方式修改输入，以及观察到的模型行为是否可取（例如，公平）。WWWTrovato和Tobin等人5233机器学习博弈与当前研究方向上一节说明了精心设计的游戏如何帮助ML开发人员和公众之间的激励，培养公众压力和意识-以及新的更具代表性的数据集-以促进更公平，更具包容性的ML系统。我们认为现在是开发公平性和可解释性游戏的时候了，这主要是因为它们与ML研究的几个当前方向我们在下面强调了其中的一些方向，并探讨了这些研究社区的成员如何从公平性和可解释性的游戏中受益3.1公平随着机器学习模型变得越来越普遍，人们越来越多地呼吁使用能够防止种族和性别等敏感属性歧视的模型。问题的一部分是发现模型中的偏见甚至存在于首位。为此，最近的研究表明，词嵌入如何编码偏见，如标准测试，如内隐联想测试[6]，词嵌入之间的关系反映了对性别的负面刻板印象[4]。其他工作强调了用于面部识别的数据集的缺陷，导致模型在女性和肤色较深的人中更容易失败[5]。模型如何处理这些敏感属性？如果敏感属性与数据集中剩余的其他属性相关，则删除敏感属性的简单方法可能无法防止区分。强制人口统计学均等（其中结果与敏感属性不相关）也是有问题的，因为它不保证公平性，并且敏感属性实际上可能对于预测是重要的，使得去除所有相关性是不现实的。到目前为止，各种形式化和操作化公平的方法包括使用美国平等就业机会委员会概述的“不同影响”的80%规则作为歧视的定义[ 14 ]，通过对相似个体实施Lipschitz条件和对那些不平等者的分类器预测来相似地对待相似个体[ 10 ]，通过加权和采样等方法预处理数据集[ 21 ]，以及允许使用敏感属性，但旨在通过均衡赔率的某些框架还为人们提供了在模型性能和公平性之间进行权衡的能力。其他工作集中在学习可转移的公平可以跨任务重用的表示[45]。我们相信ML公平性研究人员会在游戏产生的公平性和可解释性数据集中找到价值。例如，来自“AI3.2解释性虽然深度神经网络作为强大的函数逼近器取得了巨大的成功，但它们也被称为黑匣子。可解释性可能是一个“当你看到它时你就知道它”的情况通过定义可解释性，解释为什么它是重要的，并解释什么时候它是必要的[9，29]。还有各种各样的方法专注于内省和可视化，包括（但不限于）“反转”中间表示以生成图像[30，31]，产生输入特征属性和显着性图[3，34，35，37，38]与产生反事实解释[43]与指向原型的例子[7]，局部每个例子的解释[35]与基于整个数据集的特征表示的全局解释[3]，可访问模型梯度的清箱方法[37，38]与黑箱接近[34，35]。这些方法通常突出显示输入的哪些部分（例如，图像的一个片段，或文本的一段），对模型的决定是最重要的虽然也有值得一提的工作（1）在自然语言中生成人类可读的解释[18，28]，（2）将神经网络提炼成更具可解释性的模型，如决策树[15]，以及（3）解开生成模型的变化因素[8，19，24]，但该领域的很大一部分集中在上述内省和可视化方法上。在核心上，许多方法试图将输入或内部表示与模型输出相关联。然而，这些解释的可靠性和直观性存在问题（[20，23]）。游戏的数据可以通过这些方法进行分析，也许可以深入了解当前的预测与人类直觉的匹配程度“Break theBot”游戏也会产生有价值的反事实数据;分析其基础模型的输出变化作为输入变化的函数，可以更深入地了解这些模型是如何进行计算的4结论随着ML驱动的技术继续扩散，有偏见和不透明的决策的威胁越来越大。 我们相信公众压力是一种强大的机制，可以激发算法开发方式的变化。公平性和可解释性游戏提供了一种方法，让公众参与ML系统的探测，同时产生难以获得的数据，为ML开发人员的利益服务。我们相信游戏在吸引不同受众方面是独一无二的，因此是一个有前途的平台，可以解决复杂的、多利益相关者的挑战，比如构建更公平的机器学习系统。展望未来，有几个悬而未决的问题：谁应该负责设计和开发游戏的公平性和可解释性？游戏将如何部署和营销，以招募各种各样的玩家？这些游戏可能带来哪些新的风险或威胁？这些都是需要不断探索和思考的重要问题。我们希望这篇论文能够作为一个初始的垫脚石，并激励ML社区内外的人们考虑游戏的潜在力量引用[1] 大卫·奥特尔。2015年。为什么还有这么多工作？工作场所自动化的历史和未来Journal of Economic Perspectives29，3（2015），3-330.[2] 卢克·巴林顿，道格拉斯·特恩布尔，格特·兰克利特。2012年。游戏驱动的机 器 学 习 。Proceedings of the National Academy of Sciences 109 ， 17（2012），6411-6416.公平和可解释性游戏WWW524[3] David Bau，Bolei Zhou，Aditya Khosla，Aude Oliva和Antonio Torralba。2017年。网络解剖：量化深度视觉表征的可解释性。在计算机视觉和模式识别（CVPR），2017年IEEE会议上。IEEE，3319-3327。[4] Tolga Bolukbasi，Kai-Wei Chang，James Y Zou，Venkatesh Saligrama，andAdam TKalai. 2016.男人之于电脑程序员就像女人之于家庭主妇？去偏置字嵌入。神经信息处理系统进展。4349-4357.[5] Joy Buolamwini和Timnit Gebru。2018年性别阴影：商业性别分类中的交叉准确性差异在机器学习研究会议上，公平，问责制，透明度。1比15[6] Aylin Caliskan，Joanna J Bryson和Arvind Narayanan。2017年。 从语料库中自动生成的语义包含类人的偏向。Science356，6334（2017），183[7] Chaofan Chen， Oscar Li， Daniel Tao，Alina Barnett，Cynthia Rudin， andJonathan K Su.2019.这看起来像这样：用于可解释图像识别的深度学习。神经信息处理系统进展。8928-8939[8] XiChen，Yan Duan，Rein Houthooft，John Schulman，Ilya Sutskever，and Pieter Abbeel. 2016年。Infogan：通过信息最大化生成对抗网络进行可解释表示学习 神经信息处理系统进展。2172-2180。[9] 最后一场Doshi-Velez和Been Kim。2017年。一个严谨的科学，Pretable机器学习（2017年）。[10] Cynthia Dwork ，Moritz Hardt，Toniann Pitassi ，Omer Reingold ，andRichard Zemel. 2012年。通过意识实现公平 第三届理论计算机科学创新会议论文集。ACM，214[11] 作者：Ziv Epstein，Blakely H. Payne，Judy Hanwen Shen，AbhimanyuDubey，Bjarke Felbo，Matthew Groh，Nick Obradovich，Manuel Cebrian，and Iyad Rahwan. 2018年缩小AI知识差距。arXiv预印本arXiv：1803.07233（2018）。[12] 弗吉尼亚·尤班克斯。2018. 自动化不平等：高科技工具如何剖析，警察和惩罚穷人。New York，NY：St. Martin[13] Kevin Eykholt、Ivan Evtimov、Earlence Fernandes、Bo Li、Amir Rahmati、ChaoweiXiao、Atul Prakash、Tadayoshi Kohno和Dawn Song。2018年对深度学习视觉分类的强大物理世界攻击IEEE计算机视觉与模式识别会议论文集。1625-1634年。[14] Michael Feldman 、 Sorelle A Friedler 、 John Moeller 、 Carlos Scheidegger 和SureshVenkatasubramanian 2015 年 。 认 证 和 消 除 不 同 的 影 响 。 第 21 届 ACMSIGKDD知识发现与数据挖掘国际会议论文集。ACM，259[15] 尼古拉斯·弗罗斯特和杰弗里·辛顿。2017年。将神经网络提炼为软决策树arXiv预印本arXiv：1711.09784（2017）。[16] Ian J Goodfellow，Jonathy Shlens，and Christian Szegedy. 2014.解释和利用对抗性的例子。arXiv预印本arXiv：1412.6572（2014）。[17] Moritz Hardt，Eric Price，Nati Srebro，et al. 2016.监督学习中的机会平等。神经信息处理系统的进展。3315- 3323。[18] Lisa Anne Hendricks，Zeynep Akata，Marcus Rohrbach，Jeff Donahue，Bernt Schiele和Trevor Darrell。2016年。产生视觉解释。欧洲计算机视觉会议。斯普林格，3[19] Irina Higgins，Loic Matthey，Arka Bastard，Christopher Burgess，XavierGlorot ， Matthew Botvinick ， Shakir Mohamed ， and Alexander Lerchner.2016. beta-focus：使用受约束的变分框架学习基本的视觉概念（2016年）。[20] Sarthak Jain和Byron C Wallace。2019年。注意力不是解释。在计算语言学协会北美分会2019年会议的开幕式上：人类语言技术，第1卷（长论文和短论文）。3543-3556.[21] Faisal Kamiran和Toon Calders 2012.无差别分类的数据预处理技术知识和信息系统33，1（2012），1[22] FirasKhatib ， Frank DiMaio ， Seth Cooper ， Maciej Kazmierczyk ，Miroslaw Gilski ， Szymon Krzywda ， Helena Zabranska ， Iva Pichova ，James Thompson，Zoran Popović，et al. 2011年。 一种单体逆转录病毒蛋白酶 的 晶 体 结 构 ， 由 蛋 白 质 折 叠 游 戏 玩 家 解 决 。 Nature Structural andMolecular Biology18，10（2011），1175.[23] Pieter-Jan Kindermans，Sara Hooker， Julius Adebayo，Maximilian Alber，Kristof TSchütt，Sven Dähne，Dumitru Erhan，and Been Kim.2019年。显着性方法的可靠性可解释的人工智能：解释，解释和可视化深度学习。斯普林格，267[24] Tejas D Kulkarni ， William F Whitney ， Pushmeet Kohli ， and JoshTenenbaum.2015年。深度卷积逆图形网络。 神经信息处理系统进展。2539-2547[25] Alexey Kurakin，Ian Goodfellow，and Samy Bengio. 2016.物理世界中的对抗性例子。arXiv预印本arXiv：1607.02533（2016）。[26] 伊迪丝·劳和路易斯·冯·安2009.输入协议：一种利用人类计算游戏收集数据SIGCHI计算机系统中的人为因素会议论文集。ACM，1197[27] Jeehyung Lee，Wipapat Kladwang，Minjae Lee ，Daniel Cantu，MartinAzizyan ， Hanjoo Kim ， Alex Limpaecher ， Snehal Gaikwad ， SungrohYoon，Adrien Treuille，等人2014年。来自大型开放实验室的RNA 设计规则Proceedings of theNational Academy of Sciences111，6（2014），2122-2127.[28] Tao Lei， Regina Barzilay，and Tommi Jaakkola.2016年。 使神经预测系统化。arXiv预印本arXiv：1606.04155（2016）。[29] 扎卡里·C·利普顿。2016年。模型可解释性的神话arXiv预印本arXiv：1606.03490（2016）。[30] Aravindh Mahendran和Andrea Vedaldi。2015年。通过反转它们来理解深层图像（2015年）。[31] 亚历山大·莫德文采夫克里斯托弗·奥拉和迈克·泰卡。2015. Inceptionism：深入研究神经网络。 Google Research Blog. 2015年6月20日，14日（2015年），5。[32] Safiya Umoja Noble。2018年压迫的算法：搜索引擎如何强化种族主义。北京：北京大学出版社.[33] 凯茜·奥尼尔2016. 《数学毁灭性武器：大数据如何增加不平等并威胁民主》New York：Crown.[34] Vitali Petsiuk，Abir Das，and Kate Saenko.2018年Rise：用于解释黑盒模型的随机输入抽样。arXiv预印本arXiv：1806.07421（2018）。[35] Marco Tulio Ribeiro，Sameer Singh，and Carlos Guestrin. 2016.我为什么要相信你？：解释任何分类器的预测。第22届ACM SIGKDD知识发现与数据挖掘国际会议。ACM，1135-1144。[36] Amir Rosenfeld，Richard Zemel，and John K Tsotsos.2018年房间里的大象arXiv预印本arXiv：1808.03305（2018）。[37] Daniel Smilkov，Nikhil Thorat，Been Kim，Fernanda Viégas，and MartinWat- tenberg. 2017. Smoothgrad：通过添加噪声来消除噪声。arXiv预印本arXiv：1706.03825（2017）。[38] Mukund Sundararajan，Ankur Taly，and Qiqi Yan.2017年。深度网络的公理化属性。 第34届机器学习国际会议论文集-第70卷。JMLR。org，3319-3328.[39] Joaquin Vanschoren，Jan N Van Rijn，Bernd Bischl，and Luis Torgo.2014年。OpenML： 机 器 学 习 中的 网 络 科 学 。 ACM SIGKDD Explorations Newsletter15，2（2014），49-60.[40] 路易斯·冯·安2008年人类计算。2008年IEEE第24届国际数据工程会议论文集。IEEE计算机学会，1[41] Luis Von Ahn和Laura Dabbish2004年。用电脑游戏标记图像在SIGCHI计算机系统中的人为因素会议上。ACM，319[42] Luis Von Ahn和Laura Dabbish2008年有目的地设计游戏 通讯员。ACM51，8（2008），58-67.[43] Sandra Wachter，Brent Mittelstadt，and Chris Russell. 2017. 不打开黑匣子的反事实解释：自动化决策和GDPR。Harv. JL技术31（2017），841.[44] 维基百科贡献者。2020年。桌面游戏-维基百科，自由的百科全书桌面游戏https://en.wikipedia.org/w/index.php?title=Codenames_（board_game ）&oldid=936348738. [在线;2020年1月20日访问]。[45] Rich Zemel 、 Yu Wu 、 Kevin Swersky 、Toni Pitassi 和 Cynthia Dwork 。2013.学习公平陈述。国际机器学习会议。325-333.[46] Zhengli Zhao，Dheeru Dua，and Sameer Singh.2017年。生成自然的敌对示例。arXiv预印本arXiv：1710.11342（2017）。
