自动驾驶汽车中机器学习安全的实用解决方案

作者拥有的版权自动驾驶汽车中机器学习安全的实用解决方案西娜·莫赫塞尼，1，2曼达尔·皮塔莱，2瓦苏·辛格，3张杨·王11Texas A M University，College Station，TX2NVIDIA，加利福尼亚3NVIDIA，德国慕尼黑{sina.mohseni，atlaswang} @ tamu.edu{mpitale，vasus} @ nvidia.com摘要自动驾驶汽车依靠机器学习来解决感知和运动规划方面的挑战性任务。然而，汽车软件安全标准尚未完全发展，以解决机器学习安全的挑战，如可解释性，验证和性能限制。在本文中，我们回顾并组织了实用的机器学习安全技术，这些技术可以补充自主车辆中基于机器学习的软件的工程安全性。我们的组织将安全策略映射到最先进的机器学习技术，以增强机器学习算法的可靠性和安全性。我们还讨论了自动驾驶汽车中机器学习组件的安全限制和用户体验方面。1介绍机器学习（ML）的进步是过去十年最大的创新如今，ML模型被广泛用于不同的工业领域，如自动驾驶汽车，医疗诊断和机器人技术，以执行各种任务，如语音识别，对象检测和运动规划。在不同的ML模型中，深 度 神 经 网 络 （ DNN ） （ LeCun 、 Bengio 和 Hinton2015）是众所周知的，并且因其在高维数据中的强大表示学习而被广泛使用。例如，在自动驾驶领域中，各种DNN对象检测和图像分割算法已经被用作感知单元来处理相机（例如，摄像机）。Pilot-Net（Bojarski etal. 2016 ） 、 Fast RCNN （ Wang ， Shrivastava ， andGupta 2017））和激光雷达（例如，VoxelNet（Zhouand Tuzel 2018））数据。安全关键系统的开发依赖于严格的安全方法、设计和分析，以预防故障时的危害。在汽车领域，ISO26262和ISO/PAS 21448是用于解决电气和电子部件安全性的两个主要安全标准。这些标准规定了系统、硬件和软件开发的方法。特别是对于软件开发，该过程确保跨需求、架构和单元设计、代码和验证的可追溯性。在具有高复杂性的自主软件的情况下，迭代危险分析和风险评估自主软件需要正式表示操作设计域。另一方面，ML模型具有许多固有的安全缺陷，包括其训练集的准确性和开放世界限制中的操作域中的鲁棒性。例如，ML模型对于域转移（Ganin和Lempitsky2014），数据损坏和自然扰动（Hendrycks和Dietterich2019）是脆弱的。此外，DNN中的预测概率得分并不能提供模型不确定性的真实表示。此外，从安全性的角度来看，已经表明DNN易受对抗性攻击的影响，这些攻击对输入样本进行小扰动（人眼无法区分），但可 以 欺 骗 DNN （ Goodfellow ， Shlens 和 Szegedy2014）。由于缺乏DNN的验证技术，ML模型的验证通常依赖于对不同的大型测试集的简单准确性测量，以覆盖目标操作设计域。虽然这是衡量算法成功的重要指标，但绝对不足以衡量安全关键应用程序的性能，因为真实世界的示例可能与测试集不同。随着ML模型将越来越多地用于安全关键系统的认识，我们需要调查这些模型在现有工程安全标准中暴露的差距。在机器学习安全性中讨论了这些差距的几个例子，包括代码的可解释性和可追溯性、形式验证和设计规范（Salay、Queiroz和Czarnecki2017）。在本文中，我们回顾了ML安全算法技术的挑战和机遇，以补充现有的自动驾驶汽车软件安全标准。第2节简要回顾了两个主要的汽车行业安全标准，并确定了它们与机器学习算法的五个基本差距。第3节通过调查1）错误检测器和2）模型鲁棒性的机器学习研究，描述了我们简要介绍了三个我们自己的实现安全关键型应用程序。第4节讨论了开放的挑战，未来的工作方向，并总结了论文。2背景工业安全广义上指的是对行业内所有操作和事件的管理，以保护其版权所有© 2020由其作者。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用。通过最小化危害、风险和事故，保护员工和用户的安全。鉴于电气和电子（E/E）组件正确操作的重要性，IEC 61508是为电气和电子安全相关系统开发的基本功能安全标准，具有两个基本原则：（a）安全寿命周期：基于最佳实践的工程过程，以发现和消除设计错误，(b)故障分析：考虑系统故障对安全影响的概率方法。IEC 61508有几个特定于不同行业的衍生版本。例如，为了实现汽车工业中的安全，工程师需要遵循ISO26262标准，以将由于E/E故障引起的安全风险最小化到可接受的水平。在本节中，我们简要回顾了两个主要的汽车安全标准，然后列出了满足安全要求的基本ML限制我们注意到，这两个汽车标准都要求对危险和风险进行细致的分析，然后是详细的开发过程，重点是系统要求、记录的体系结构和设计、结构良好的代码以及针对单元、集成和系统级测试的全面验证策略。ISO 26262标准ISO 26262或汽车E/E功能安全标准将车辆安全性定义为不存在由于E/E部件故障而导致的它需要危险分析和风险评估（HARA）来确定车辆级危险。潜在的危险和风险引导安全工程师实现安全目标，然后用于创建功能安全要求。然后，这些安全要求指导系统开发过程，然后将其分解为硬件和软件开发过程。图1显示了本标准的概述。本文的重点是ISO 26262的第6部分，该部分定义了软件开发过程的V模型。图1中V模型的目的是确保软件体系结构设计充分满足软件安全性要求，并通过软件验证测试进行充分测试。同样，软件架构设计进行了验证，软件集成测试证明，包括静态和动态方面的架构实体之间的交互进行了测试。在V模型的最低级别，单元设计规定了每个单元的设计细节（在软件架构设计期间确定），例如输入、输出错误处理、单元行为，以便对其进行编码。最后，单元测试确保对单元进行测试，以满足其要求和设计方面，并满足单元的足够结构覆盖。ISO 26262还确定了故障检测和避免的方法，以将风险降至可接受的水平。然而，当应用于自动驾驶时，ISO 26262有几个限制。它不能解释由于组件无法理解环境（例如由于性能限制或鲁棒性问题）或可预见的系统误用而发生的故障图1：ISO 26262-6（绿色）和ISO/PAS 21448（蓝色）中软件（SW）安全过程V模型的比较ISO/PAS 21448标准ISO/PAS 21448或SOTIF（预期功能的安全性）标准描述了一个迭代开发过程，包括设计规范、开发以及验证和确认阶段。SOTIF标准认识到软件（包括ML组件）的性能限制，并期望长期到不安全未知的场景/输入（例如，训练分布之外的样本样本超出操作设计范围）的情况应降低到剩余误差风险可接受的程度SOTIF过程通过SO-TIF特定的HARA和安全概念增强了ISO 26262。危害分析包括识别由于性能功能不充分、态势感知不足、合理可预见的误用或人机界面缺陷而导致的危害相比之下，ISO 26262的危害和风险分析仅限于E/E故障引起的危害。如果SOTIF分析导致的风险高于可接受的风险，则进行功能修改以降低SOTIF风险。然后制定验证和确认策略，以证明剩余风险低于可接受水平。ML组件的安全间隙近年来，识别ML模型的安全性限制越来越受到关注。例如，Varshney et al.（Varshney 2016）讨论了ML模型的安全性定义，并将其与工业中的四种主要工程安全策略（1）固有安全设计，（2）安全储备，（3）安全故障和（4）程序保障措施）进行了比较。 在汽车软件安全方法的综述中，Salay et al.（Salay、Queiroz和Czarnecki，2017年）介绍了ISO-26262第6部分方法关于ML模型安全性的分析。他们对软件安全方法在机器学习算法（作为软件单元设计）上的适用性进行了评估，结果显示约40%的软件安全方法不适用于ML模型。ML模型的安全性和鲁棒性问题也一直是ML科学家的兴趣所在（Herna' ndez-Oralloetal. 2019）。Amodei等人（Amodei et al. 2016）提出五个具体的研究问题，可能导致现实世界的AI系统的意外和不安全的行为。他们将AI的安全问题集中并描述为定义和评估目标函数。此外，Ortega et al. (Or-tega和Maini 2018）介绍了技术AI安全的三个领域，即规范（设计和紧急），鲁棒性（用于错误预防和恢复）和保证（用于监控和执行）。我们将这些开放性挑战按照汽车软件安全标准的术语进行分类，并简要回顾代表性研究（见表1第一行），以缩小这些安全差距。• 设计规范。记录和审查软件规范是功能安全的关键步骤，然而，ML模型的设计规范通常是不够的，因为模型会学习数据以区分或生成它们对于新的不可见输入的分布。因此，机器学习算法通过其训练数据（和规则化约束）而不使用正式规范来学习目标类。缺乏可指定性可能会导致“设计者目标”和“模型实际学习的内容”之间的不匹配用于训练机器学习模型的变量的这种数据驱动的优化使得不可能定义和提出特定的安全约束。为此，Se-shia et al.（Seshia et al. 2018）调查了DNN的形式化规范的景观，为DNN的属性的形式化和推理奠定了初步基础。管理此设计规范问题的另一种实用方法是将机器学习组件分解为较小的算法（具有较小的任务）以在分层结构中工作。与此相 关 ， Dreossi et al. （Dreossi et al. 2019 ） 提 出 了VerifAI工具包，用于基于AI的系统的正式设计和分析。• 执行透明度。ISO26262要求从需求到设计的可追溯性。然而，在高维数据上训练的高级ML模型不是透明模型中的大量变量使其难以理解或成为设计审查和检查的所谓为了实现可追溯性，对DNN的可解释性方法进行了大量研究，以提供模型预测和DNN中间特征层的实例解释（Zeiler和Fergus 2014）。在自 动 驾 驶 车 辆 应 用 中 ， 使 用 VisualBackProp 技 术（Bojarski et al. 2018）示出了被训练为控制方向盘的DNN算法实际上将学习车道、道路边缘和停放的车辆的模式以执行目标任务。然而，授予可追溯性的可解释性方法的完整性尚未得到证明（Adebayo et al.2018），在实践中，可解释性技术主要被设计人员用于改进网络结构和培训过程，而不是支持安全评估。• 测试和验证。单元测试需要对工作产品进行重要验证，以满足ISO 26262标准。例如，软-软件安全强制执行没有死代码或不可访问代码。根据安全完整性级别，需要完整的语句、分支覆盖或修改的条件和决策覆盖来确认单元测试的充分性。对于DNN，正式验证其正确性是具有挑战性的（可证 明 为 NP- 难 （ Se-shia ， Sadigh 和 Sastry 2016;2016）），因为数据的高维度。因此，达到一个完整的验证和测试的操作设计域是困难的。因此，研究人员提出了新的技术，如搜索未知-未知（Bansal和 Weld 2018 ） 和 预 测 - 验 证 训 练 （ Dvijotham 等人）。2018）。 其他技术包括神经元覆盖和模糊测试（Wang et al. 2018）在神经网络中涵盖了这些方面。注意，用于低维传感器数据的浅模型和线性模型的形式验证不具有DNN验证的挑战。• 性能和稳健性。SOTIF标准将ML模型视为黑盒，并建议使用方法来提高模型性能和鲁棒性。然而改进模型性能和鲁棒性本身是非常具有挑战性的任务。在学习问题中，通常训练模型以训练集上的错误率（由于假阳性和假阴性预测）结束经验误差是学习函数在其目标分布上的预测误差率泛化误差是指模型在训练集和测试集上的经验误差之间的差距。除此之外，操作错误是指开放世界部署的模型错误率可能高于测试集错误率。领域泛化是指模型在学习开放世界任务的可泛化数据表示方面的能力。我们将在第3节中回顾更多细节和机器学习技术，以提高模型的鲁棒性。• 运行时间监控功能。SOTIF和ISO 26262标准建议将运行时监控功能作为软件错误检测解决方案。经典软件中的监控功能是基于规则集来检测案例的如瞬时硬件错误、软件崩溃和退出操作设计域。然而，设计监测功能来预测ML故障（例如，假阳性和假阴性误差）在性质上是不同的。ML模型为输入实例生成预测概率，但研究表明预测概率并不能保证故 障 预 测 （ Hein ， Andriushchenko 和 Bitterwolf2019）。事实上，DNN和许多其他ML模型可能会在分布偏移和对抗性攻击的情况下生成具有高置信度的错误输出。我们将在第3节中重新查看ML模型的错误检测技术的更多细节。3ML安全技术我们引入了ML安全的算法技术，以维护机器学习算法的可靠性，从而在开放世界任务中安全执行。我们在本节中回顾的技术是为了补充软件安全中的经典工程策略我们还将ML安全技术与适当的工程安全策略（见表1），以帮助机器学习科学家和安全工程师在自动驾驶汽车安全的新主题中找到共同点。我们遵循Varshney（Varshney考虑到为确保人工智能的不同安全方面而留下的研究债务（见第2节），我们认为我们还远远没有达到（1）本质安全的人工智能。因此，我们专注于以下两种安全策略的实用机器学习解决方案：• （2）安全故障是指在故障时保持车辆在道路上处于安全状态该策略可以通过使用监控来功能和优雅的降级计划，如通知驾驶员采取车辆我们提出使用运行时错误检测技术来检测机器学习算法的错误输出（例如，错误分类和错误检测）。• （3）机器学习背景下的安全裕度被描述为模型在训练集上的性能与开放世界中的操作性能之间的差异我们建议使用模型鲁棒性技术来提高弹性，从而提高机器学习组件的安全裕度。我们还将简要回顾（4）自动驾驶汽车非专业最终用户（即司机和乘客）在讨论未来的工作。为了区分安全性和安全性问题，我们考虑故意利用系统漏洞的外部因素（例如，对抗攻击中的样本操作）作为安全考虑而不是安全性。监测功能我们的第一个实用的ML安全解决方案利用了机器学习错误分类错误检测的一系列技术，以实现安全失败行为。例如，当硬件（如传感器）中的瞬时错误影响软件（如用于巡航控制的软件）的功能时，错误检测单元（监视功能）可以检测错误并通过适当的警告使系统降级并允许驾驶员接管。类似地，可以为机器学习组件设计各种运行时监控功能和错误检测器，以预测模型故障并触发适当的警告。在下文中，我们将介绍三种类型的机器学习错误检测器，并回顾它们的关系和局限性。请注意，尽管以下三组错误检测器重叠，但我们通过其目标错误类型来分离检测器。不确定性估计概率学习器中的不确定性是维持系统故障安全性的重要因素。即使是经过良好训练和校准的预测器，对噪声、腐败和扰动也很稳健，也能从中受益从不确定性估计到在运行时检测域偏移和分布外样本量化不确定性可以解释模型不知道的内容，即模型对其预测的置信度（认知不确定性或模型图2：基于ConvNet回归模型的显着性图的模型故障预测我们训练了一个学生模型作为Pilot-Net模型的运行时故 障 预 测 器 的 监 控 函 数 （ Mohseni ， Jagadeesh 和Wang2019）。不确定性）和未知样品的不确定性（任意不确定性或数据不确定性）。关 于 安 全 关 键 应用 的 不 确 定 性 方 法 的 重 要 性，McAllister et al.（McAllister et al. 2017年）提出测量ML模型中的不确定性，并在决策管道中向下传播，作为自治系统安全的关键。然而，量化DNN中的预测不确定性是一项具有挑战性的任务。典型地，DNN分类模型生成趋于过度自信的归一化预测分数，并且回归DNN模型在其输出中不给出不确定性表示。DNN的研究提出了诸如深度集成（Lakshminarayanan，Pritzel和Blundell 2017）和蒙特卡罗丢弃（MC-dropout）（Gal和Ghahra-mani 2016）等解决方案来估计预测不确定性。 不确定性 估计方法 已针对 各种模型 错误类型（Kendall和Gal 2017）进行了测试，包括对抗性攻击检测（Smith和Gal2018）。虽然不确定性估计方法为DNN故障预测提供了潜在的有效解决方案，但例如，为了设计用于PilotNet算法的错误检测器，Michelmore等人（2008）在1998年12月 25 日 发 表 了 关 于 错 误 检 测 器 的 论 文 。（Michelmore，Kwiatkowska和Gal 2018）提出了一种MC-dropout不确定性估计的实现，它需要128次随机向前传递来估计模型的不确定性。因此，在资源有限的设置和计算简单性等原因，研究人员致力于替代错误检测解决方案，我们在接下来的两个小节中重新审视。分布内错误检测器由于表示学习能力弱，常导致域内样本的误分类。近年来，先进的神经网络、正则化技术和大型训练数据集的出现，意味着显著改善了DNN的表示学习以及模型性能和鲁棒性。然而，运行时预测错误检测器仍然需要在模型失效的情况下保持系统的安全性。选择性分类（也称为带拒绝选项的分类） 是一种谨慎地为高置信度样本提供预测并在有疑问时放弃的这种方法对于置信预测可以显著提高模型的预测精度图3：基于预测置信度的分布外样本检测。我们提出了一种分布外样本检测器来训练拒绝类，以在自监督步骤中学习离群特征。（Mohseni等人2020年）以测试覆盖率为代价。Geifman和El-Yaniv（Geifman和El-Yaniv 2017）提出了DNN的选择性分类的简单有效的实现他们引入了一个拒绝函数，该函数基于DNNsoftmax输出来保证对真实风险的控制。他们后来引入了SelectiveNet（Geifman和El-Yaniv 2019），这是一个三头网络，用于在正常域上联合训练分类和拒绝函数沿着类似的路线，Guo et al.（Guo et al.2017）提出了温度缩放作为后处理校准技术，以调整由于过度拟合而导致 的模型概 率估计。 在对自 主车辆的 应用中，Hecker et al.（Hecker，Dai和Van Gool 2018）在网络中添加并训练了一个故障头，以便学习预测模型故障的发生。在我们最近的论文中，我们提出了一种用于自动驾驶汽车应用中回归模型的误差检测器（Mohseni，Jagadeesh和Wang 2019）。我们提出了一种新的设计，它训练一个学生模型（故障预测器），用于预测教师模型图2显示了学生模型如何学习教师模型我们还使用主模型的显着图来训练学生模型，以我们评估我们的故障预测模型的预测误差和驾驶安全性的基础上获得的这个系统。分布外（OOD）样本或离群值是指在正态训练分布之外的输入OOD误差是指OOD样本的ML模型误分类误差示例自动驾驶车辆中的OOD样本包括唯一的、不常见的或未知的路标、路标，或者不包括在训练集中或模型不能学习的罕见对象或场景（例如，道路标记）。由于类不平衡）。OOD错误是ReLU家族激活函数的一个固有问题，当输入远离训练分布时，它们会产生任意的高置信度（Hein，Andriushchenko和Bitter-wolf 2019）。然而，各种技术被称为OOD检测器，新颖性检测器和离群值检测器已被保护。用于检测OOD样本。OOD检测器技术的示例包括修改用于学习预测置信度的网络架构（DeVries和Taylor2018 ） ， 采 用 遗 漏 分 类 器 的 集 合 （ Vyas 等 人 ） 。2018）和自监督表示学习（Golan和El-Yaniv 2018）方法用于离群值检测。另一方面，OOD检测中的一种快速且低成本的方法是使用类别概率作为OOD检测的度量（Hendrycks和Gimpel 2016）。在这方面，已经提出了新的技术来校准DNN决策边界以用于鲁棒的OOD检测（Lee et al. 2017）。在我们最近的工作中，我们提出了一种快速和内存高效的OOD错误检测技术，通过将拒绝选项嵌入和训练到具有最小架构变化的任何DNN判别模型中（Mohseniet al. 2020年）。这在图3中示出。我们的基本思想是利用DNN的高级特征学习能力，在一个网络中共同学习可推广的离群值特征以及正常分类的分布图3显示了我们如何在神经网络的最后一层使用两个步骤的监督（带有标记的分布训练集）和自监督（带有自由的未标记的OOD自然样本）训练来训练额外的拒绝函数。我们的评估结果表明，所提出的OOD特征的自监督学习可以很好地推广到拒绝其他看不见的分布。算法的鲁棒性ML安全的第二个实用解决方案利用鲁棒性技术来提高自动驾驶车辆中ML模型的安全裕度。ML研究中的鲁棒性技术提高了算法对不可见样本、自然损坏和扰动、不利示例和域偏移的弹性。ML文献提出了多种技术，如数据集增强，噪声注入和多任务学习，以正则化DNN以学习可概括的特征（Goodfellow，Bengio和Courville 2016 ） 。 其 他 技 术 ， 包 括 迁 移 学 习（Hendrycks，Lee和Mazeika 2019），已经证明可以通过将通用表示从预训练模型转移到新的域来提高模型的 鲁 棒 性 。 此 外 ， Zhang 和 LeCun （ Zhang 和 LeCun2017）探索了使用未标记的自由数据来正则化模型训练以提高其鲁棒性。在下文中，我们回顾了用于开放世界任务的两种主要的安全相关类型的机器学习鲁棒性技术。我们还将在讨论部分简要回顾对抗性示例的鲁棒性对域移位的鲁棒性域移位（也称为 如分布移位和数据集移位）描述了与训练集相比输入数据分布的变化。配送班次降低了运营绩效通过打破训练数据和测试数据之间的I.I.D假设，将MANCE与测试集性能进行比较。在这方面，域泛化是用于开放世界应用的机器学习算法的关键方面，所述开放世界应用诸如自主车辆，其数据从不受控制且快速变化的环境中捕获。领域概括-表1：提高ML算法安全性的实用机器学习技术表。左列展示了工程安全策略，右列映射了机器学习技术，每行有三篇代表性研究论文安全策略实用AI安全机会设计规范（Amodei等人2016; Leike等人2017; Seshia等人2018年））固有安全实现透明度（Bojarski et al. 2018; Zeiler and Fergus 2014; Adebayo等人2018年））设计形式验证（Seshia、Sadigh和Sastry 2016; Dvijotham等人2018; Wang et al. 2018年））不确定性估计（Lakshminarayanan，Pritzel和Blundell 2017; Gal和Ghahramani（2016））安全失效分布误差检测（Geifman和El-Yaniv 2017; 2019; Guo et al. 2017年））分布外错误检测（Mohseni et al. 2020年;戈兰和El-Yaniv 2018年; Vyas等人2018））DomainGeneralization（（Zhang et al. 2019; Ganin and Lempitsky 2014; Lee，Eum，and Kwon 2019））安全裕度扰动和腐蚀鲁棒性（Geirhos et al. 2019; Huang et al. 2018; Hendrycks，Lee和Mazeika 2019））可以通过许多不同的方式来实现。一种方法是对抗域适应（Ganin和Lempit-sky 2014），其利用从目标域捕获的大量未标记数据例如，Zhang et al.（Zhang et al.2019）实现了基于学习的方法来合成新训练样本的前景对象和背景上下文。多任务学习是通过同时学习两个（或更多个）任务来提高模型鲁棒性的另一种技术。例如，Tang et al. （Tang et al.2019）提出了一种姿态感知多任务车辆重新识别技术，以克服对象的视点依赖性。他们创建并使用了大规模的高度随机化的合成数据集，其中自动标注了车辆属性用于训练。从不同的途径，Lee等人（Lee，Eum和Kwon 2019）提出使用模型的集合来捕获和学习对象的不同姿势和视角，以提高整体鲁棒性。此外，为了提高对象检测模型对遮挡和变形的鲁棒性，Wang et al.（Wang，Shrivas-tava和Gupta 2017）使用对抗网络来生成硬正面示例。在最近的工作（Wu et al. 2019），我们提出了一种新的技术，用于提高无人机（UAV）中模型对域偏移的鲁棒性。我们投一个对象检测问题作为一个跨域的对象检测问题，多个细粒度域。然后，我们训练我们的对象检测模型以提取由许多不同的“非理想”变化共享的不变特征天气条件、相机角度、光条件）。为了这样做，我们以模块化的方式在输入和滋扰预测分支（每个非理想条件一个）上添加滋扰解纠缠特征变换块，并在对抗设置中联合训练最终网络。我们在Faster-RCNN 主 干 上 的 实 现 （ Wang ， Shrivas-tava 和 Gupta2017）显示出与vanilla基线相比在提高模型对UAV图像中天气，高度和视图变化的鲁棒性方面的优越结果。自然数据的扰动和破坏通常存在于开放世界环境中.基准 DNN 对腐 蚀和 扰动 的鲁 棒性 （ Hendrycks 和Dietterich 2019）示出了机器学习模型在简单扰动上表现出意想不到的预测误差。实现模型对自然破坏的鲁棒性（例如，由于摄像机镜头、雪、雨、图像数据中的雾）和扰动（例如，传感器瞬变误差、传感器上的电磁干扰）需要技术来提高模型在其干净数据集之上的鲁棒性。以前，经典的数据扩充用于获得对简单图像变化（如旋转和缩放）的鲁棒性（Goodfellow，Bengio和Courville2016）。其他技术，例如使用自适应算法来选择增强变换（Fawzi etal. 2016）和随机补丁擦除（Zhong et al.2017）也被证明对鲁棒性和表示学习都有效。最近，先进的增强，如风格转移（Geirhos et al. 2019）已经证明可以提高模型对纹理偏差的鲁棒性。另一条研究路线提出了更大的网络（Huang et al.2018）通过多尺度和冗余特征学习来提高DNN另 一 方 面 ， 对 抗 性 扰 动 （ Goodfellow ， Shlens 和Szegedy 2014）是由攻击者故意创建的小但最坏情况的扰动，使得扰动样本导致模型以高置信度对样本进行错误分类。我们区分安全危险，由于自然扰动的安全危险，由于对抗性扰动，因为后者故意利用系统漏洞造成伤害。在关于未来工作的讨论中简要提到了与对抗扰动相关的安全问题。4结论和未来工作在这项工作中，我们提出了一个审查和分类的经典软件安全方法的基本限制，在机器学习算法。这项工作的动力是利用工程安全策略和最先进的机器学习技术来提高自主系统中机器学习组件的可靠性和安全性在这方面，维护自动驾驶车辆的安全性需要跨多个领域的多学科努力，包括人机交互、机器学习、软件工程、硬件工程（Koopman和Wagner 2017）。我们简要地回顾并讨论了ML注入系统的安全性和安全性的其他方面，这些方面可以从研究界的关注中受益对抗性攻击的安全风险：一个对抗性的例子是一个干净的图像，它被（对手）微妙地扰动，有一个小的失真，这样它在视觉上看起来就像是一个与原始干净图像相同，但被ML模型错误分类。尽管对抗性攻击很受欢迎，但它主要不是安全问题，而是安全限制（Carlini和Wagner 2017）。对抗性攻击的两种主要防御方法是检测和鲁棒性。例如，Smith和Gal（Smith和Gal 2018）提出了一种用于检测对抗性示例的MC丢弃不确定性估计技术。此外，为了提高模型的鲁棒性和弹性对手扰动Papernot等人。提出了一种基于模型蒸馏的有效防御（Papernot et al. 2016）。尽管如此，当考虑到攻击者总是通过设计更强大的攻击来破坏机器学习组件的安全性来对当前的防御技术做出反应时，对抗性示例的问题仍然是一个未解决的问题（Carlini和Wagner 2017）。ML安全性的程序保障措施：除了系统的功能安全，程序保障措施还可帮助操作员和产品最终用户（例如：自动驾驶车辆），避免由于缺乏说明和不知情而意外误用系统（Varshney 2016）。用户体验（UX）设计和算法透明性是提高自动驾驶车辆操作安全性的两种方法。在这种情况下，最终用户可以从可解释的UX设计中受益，这些设计提供了关于模型推理（Gun- ning 2017）和预测不确定性（Michelmore，Kwiatkowska和Gal 2018）的有用和可理解的信息。例如，用户体验设计可以利用模型不确定性的实时可视化来进行车辆检测和路径规划，以帮助提高驾驶员在我们未来的工作中，我们计划审查最近的自动驾驶汽车应用程序保障设计和研究。包括关键技术和因素在校准用户信任的人类人工智能系统。引用Adebayo ， J.; Gilmer ， J.; Muelly ， M.; 古 德 费 洛 岛Hardt，M.;和Kim，B. 2018.显著性图的健全性检查。在NIPS。Amodei，D.; Olah，C.; Steinhardt，J.; Christiano，P.;Schul-man，J.; 和Man e′，D. 2016年。人工智能安全中的具体问题。arXiv预印本arXiv：1606.06565。Bansal，G.和Weld，D.美国2018.一种用于识别未知未知数的基于覆盖率的实用模型。第32届AAAI人工智能Bojarski ， M.; Del Testa ， D.; Dworakowski ， D.;Firner，B.; Flepp，B.;Goyal，P.;杰克尔湖D.; Monfort，M.;Muller，U.;Zhang，J.;等2016年。自动驾驶汽车的端到端学习。arXiv预印本arXiv：1604.07316。Bojarski ， M.; Choromanska ， A.; Choromanski ， K.;Firner，B.;阿克尔湖J.; Muller，U.; Yeres，P.;和Zieba，K. 2018. Visualbackprop：用于自动驾驶的cnn的高效可视化2018年IEEE机器人与自动化国际会议（ICRA），1-8。IEEE。Carlini，N.和Wagner，D. 2017.对抗性示例不容易检测：绕过十种检测方法。第10届ACM人工智能与安全研讨会论文集，3-14。ACM。DeVries，T. Taylor，G.水渍2018.神经网络中分布外检测的学习置信度。ICLR。Dreossi，T.;弗里蒙特湾J.; Ghosh，S.; Kim，E.;拉万-巴赫什，H.;Vazquez-Chanlatte，M.;和Seshia，S.上午2019年。Verifai：一个用于人工智能系统的形式化设计和分析的工具包计算机辅助验证国际，432-442。斯普林格Dvijotham ， K.;Gowal ， S.;Stanforth ， R.;Arandjelovic ， R.; O'Donoghue ， B.; Uesato ， J.; 和Kohli，P. 2018.用学习过的验证者训练验证过的学习者。arXiv预印本arXiv：1805.10265。Fawzi，A.; Samulowitz，H.; Turaga，D.;和Frossard，P.2016.用于图像分类的自适应数据增强。2016年IEEE图像处理国际会议（ICIP），3688-3692。是啊Gal，Y.，和Ghahramani，Z.2016年。 丢弃作为贝叶斯近似：表示深度学习中的模型不确定性。InICML，1050Ganin，Y.，和Lempitsky，V. 2014. 通过反向传播的无监督域自适应。arXiv预印本arXiv：1409.7495。Geifman，Y.，和El-Yaniv，R.2017. 深度神经网络的选择性在NIPS，4878Geifman，Y.，和El-Yaniv，R. 2019.选择性：具有集成拒 绝 选 项 的 深 度 神 经 网 络 。 arXiv 预 印 本 arXiv ：1901.09192。Geirhos，R.; Rubisch，P.; Michaelis，C.; Bethge，M.;Wich- mann，F. A.;和Brendel，W. 2019. ImageNet训练的CNN偏向于纹理;增加形状偏差提高了准确性和鲁棒性。ICLR。戈兰岛和El-Yaniv，R. 2018.使用几何变换的深度异常检测。在NIPS，9758古德费洛岛Bengio，Y.;和Courville，A. 2016. 深度学习MIT Press.古德费洛岛J.; Shlens，J.;和Szegedy，C.2014年解释和利用对抗性的例子。arXiv预印本arXiv：1412.6572。Gunning，D. 2017.可解释人工智能（XAI）。国防高级研究计划局（DARPA），nd Web2.Guo ， C.; Pleiss ， G.; Sun ， Y.;和 Weinberger ，K. 问 .2017.现代神经网络的校准。在ICML中。Hecker，S.; Dai，D.;和Van Gool，L. 2018.自动驾驶的故障预测。2018年IEEE智能车辆研讨会（IV），1792-1799。IEEE。Hein，M.; Andriushchenko，M.;和Bitterwolf，J. 2019.为什么relu网络产生远离训练数据的高置信度预测，以及如何缓解这个问题。在CVPR中。Hendrycks，D.和Dietterich，T.2019年。基准神经网络的鲁棒性常见的腐败和扰动。ICLR。Hendrycks，D.和Gimpel，K. 2016.用于检测神经网络中错误分类和分布外示例的基线。arXiv预印本arXiv：1610.02136。Hendrycks，D.; Lee，K.;和Mazeika，M. 2019.使用预训练可以提高模型的鲁棒性和不确定性。arXiv预印本arXiv：1901.09960。Hern a'ndez-Orallo ， J.;Mar t'ınez-Plumed， F.;Avin ， S.;和E′igeartaigh、S. 奥。2019 年。确保安全相关特性。在SafeAI@ AAAI。Huang，G.;Chen，D.;Li，T.;Wu，F.;van der Maaten，L.;和Weinberger，K.问. 2018.多尺度密集网络用于资源有效的图像分类。ICLR。Kendall，A.，和Gal，Y. 2017.贝叶斯深度学习在计算机视觉中需要哪些不确定性？在NIPS，5574Koopman，P.，和Wagner，M. 2017.自主车辆安全：跨学 科 的 挑 战 。 IEEE Intelligent Transportation SystemsMagazine9（1）：90-96.Lakshminarayanan，B.; Pritzel，A.;和Blundell，C. 2017.使用深度集成的简单和可扩展的预测不确定性估计。在NIPS。LeCun，Y.;Bengio，Y.;和Hinton，G.2015年。深度学习Nature521（7553）：436-444.Lee，K.; Lee，H.; Lee，K.;和Shin，J.2017.火车-使用置信度校准的分类器来检测分布外的样本。arXiv预印本arXiv：1711.09325。Lee，H.; Eum，S.;和Kwon，H. 2019. Merr-cnn：用于对象检测的多专家r-cnn。IEEE图像处理汇刊。Leike，J.; Martic，M.; Krakovna，V.; Ortega，P. A.;Everitt，T.; Lefrancq，A.; Orseau，L.;和Legg，S. 2017.AI安全网格世界。arXiv预印本arXiv：1711.09883。McAllister，R.; Gal，Y.; Kendall，A.; Van Der Wilk，M.; Sha