深度学习安全性评估的不确定性估计和性能影响

版权归作者所有。深度学习的基准不确定性估计方法与安全相关的测试Maximilian Henne，Adrian Schwaiger，Karsten Roscher，Gereon WeissFraunhofer IKSHansastr. 3280686慕尼黑，德国{firstname.lastname} @ iks.fraunhofer.de摘要深度神经网络通常在提供准确预测方面表现得非常好，但它们往往无法识别这些预测何时可能是错误的。这种缺乏对给定输出可靠性的认识是在安全关键应用中部署此类模型的一大障碍。有一些方法试图通过设计模型来解决这个问题，以便为其不确定性提供更可靠的值。然而，即使这些模型的性能以各种方式相互比较，也没有在安全关键的上下文中使用旨在描述性能和安全系统行为之间的权衡的度量来比较它们的彻底评估。在本文中，我们试图通过评估和比较几种最先进的方法来填补这一空白，这些方法用于估计图像分类的不确定性，这些方法与安全相关的要求和指标有关，适用于描述安全关键领域中我们展示了高置信度预测的剩余误差的关系及其对三个常见数据集性能的影响特别是，深度集成和学习的信心显示出很大的潜力，以显着减少剩余的错误，只有适度的性能损失。介绍深度神经网络（DNN）在许多应用中的成功是基于其在许多不同领域（从计算机视觉到自然语言处理）的大量输入实例上预测正确结果的高能力对于某些任务，如零售中的推荐另一方面，也有一些应用，例如利用深度学习方法的自动驾驶汽车，其中即使是一个错误的预测也可能对人类造成生命危险的后果显然，重要的是要尽可能地提高性能，以尽量减少危险错误的数量。然而，仅仅基于准确性等指标改进模型是不够的，因为它没有考虑不同类型的严重性 错误的结果。例如，一个行人被分类为具有高置信度的不易受攻击的静态对象可能导致戏剧性的结果，而具有低置信度的相同不幸的是，通过仅获取softmax分数并将其解释为关于输出正确性的一种确定性来获得置信度的默认方式通常会导致过度自信的估计（Guo et al. 2017）。尽管如此，有几种不同的方法可以获得比softmax分数更可靠的DNN置信度值，例如贝叶斯神经网络（Gal和Ghahramani2016），DeepEnsem（Lakshminarayanan，Pritzel和Blundell 2017），学习信 心 作 为 另 一 个 输 出 参 数 （ DeVries 和 Taylor2018），或使用Dirichlet分布来量化预测不确定性（Sensoy，Kaplan和Kandemir 2018）。这些方法已经相互比较，主要是在某种意义上如何校准他们的预测。这仅衡量置信度估计值与平均准确度的匹配程度或它们在分布外示例上的表现。虽然这些比较非常有价值，但它们没有从安全角度考虑其他类型的错误及其严重性。我们的主要目标是确定各个方法对特定安全关键应用的适用性。为此，本文的主要内容是这些方法在安全关键应用的相关度量和特性方面的基准。用于自治系统的一个突出的用例，其中人工智能的信心关键是自主系统。描述了自动驾驶系统感知链的示例性安全系统虽然DNN已被证明能够实现感知任务的令人印象深刻的性能，但对于安全关键系统中的使用，感知的可靠性是不可避免的先决条件，并且由于DNN的复杂性，无法内在地保证。为了解决这个问题，一种常见的做法是，通过将AI封装在所谓的安全信封（或安全袋）中，可以将潜在的不安全AI嵌入到安全关键系统中，该安全信封（或安全袋）可以持续监控AI。如果发生-版权所有© 2020本文由其作者。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用。当检测到故障时，AI被隔离，并使用经验证的安全路径作为回退解决方案。图1给出了这种系统的感知管道的概述。图1：利用模块化感知阶段的不确定性信息进行动态依赖性管理的概念概述。在感知的不同阶段，AI被应用于解决相应的任务，如物体解释。此外，还描述了如何将不确定性用作自我报告和诊断机制，其进而由周围的安全系统使用以做出关于信任哪些信息以及采取哪些潜在缓解动作的运行时决策然而，如果DNN的自报告机制（特别是不确定性量化）从安全的角度来看是足够可靠和高性能的，则像所提出的安全监督器系统这样的安全监督器系统才是可能的。相关工作在安全关键系统中嵌入AI已经做了大量的工作来分析和定义有助于使AI安全的各个方面 例如，在白皮书《自动驾驶安全第一》（Wood et al. 2019）中，有11家从事自动驾驶系统的公司做出了贡献，其中涵盖了自动驾驶系统中DNN的许多潜在风险和可行对策。其中包括数据质量，包括收集和标记、自我报告、可扩展性、DNN的外部观察以及周围系统，例如安全信封。（Czarnecki and Salay 2018）提出了一个更具体的框架，用于管理感知不确定性，特别是自动驾驶。作者描述了影响DNN不确定性的各种因素，并涵盖了从数据获取到训练模型部署的整个过 程 。 最 后 ， 实 践 经 验 报 告 ， 例 如 （ Frtunikj2019），显示了在为自动驾驶系统开发基于DNN的感知时遇到的困难，并可以提供有关不同安全措施可行性的第一个提示。DNN的验证DNN的自动化验证以及由此产生的对它们的正式保证将极大地有利于这些模型在安全关键系统中的适用性。然而，由于其高度非线性和非凸性，经典的验证工具，如可满足性，模理论或线性规划求解器不适合于神经网络（Katz etal.2017年）。也就是说，在这一领域有一些进步，例如Reluplex（Katz et al. 2017）或Ehlers 2017提出的方法，其目的是生成神经网络行为的线性近似，然后使用传统的验证工具解决这些问题。然而，这些方法有一些局限性，并且到目前为止，仅适用于非常浅和窄的网络。特别是在机器感知领域，大型架构占主导地位，状态空间巨大，DNN的形式化验证目前很难解决。与不确定性估计类似，分布外（OOD）检测可用于最小化DNN造成的错误分类。这里的目标是检测不包括在网络已经训练的数据分布中的输入，因为不能假设这些输入的泛化能力。存在用于此任务的各种方法，例如，在运行时监控激活模式（Cheng，Nuberg和Yasuoka2018）或添加基于对抗性自动编码器的编 码 器 （ Pidhorskyi ， Almohsen 和 Doretto 2018 ） 。OOD检测在提高开放世界域中运行的系统的安全性方面肯定是有希望的，但它们本身是不够的，因为它们可解释的AI DNN是黑盒子，因此大多数时候并不完全清楚它们的预测基于什么特征。为了解决这一问题，人们努力使网络变得可解释，这属于可解释人工智能（XAI）的研究领域。在这些方法中，最相关的特征或预测输入区域的可视化，也称为显着性图（Hong等人，2015）。XAI的另一个方向是将学习到的特征从语义上分解为高级的、人类可理解的特征，然后将其用于形成网络虽然这些方法找到合适的架构，在设计时验证安全性，并提供一个工具来分析模型部署后发生的错误。DNN的预测不确定性量化在下文中，将介绍用于基准测试的方法Softmax使用神经网络的softmax输出并将其解释为概率分布或不确定性，无疑是解决这个问题的最简单方法。然而，在之前的研究中已经表明，特别是对于更深的神经网络，这些值往往过于自信和校准不良（Guoet al. 2017）。此外，通常用于分类的交叉熵损失我我我同意我我任务，可以解释为最大似然估计。因此，它不适用于预测分布方差的估计，而预测分布方差则反映了特别是对于安全关键域，这些特性是非常不期望的。尽管如此，我们仍然使用softmax作为基线来比较其他不确定性估计方法。蒙特卡罗辍学可以说是最知名的量化方法DNN中的不确定性是蒙特卡罗丢弃（Gal和Ghahramani 2016）。他们认为，当在训练和测试时应用dropout因此，当在具有随机丢弃掩码的多个正向通路上随机采样并对所获得的softmax分布求平均值时，可以近似预测分布的均值和方差。由于dropout已经是许多现代DNN架构的一部分，或者可以集成到其中，因此使用Monte-Carlo dropout来估计其预测不确定性非常简单然而，应该注意的是，需要几次向前通过来实现适当的近似。在嵌入式实时系统中，这可能是一个障碍。Deep Ensembles深度集成是另一种基于采样的方法，用于估计DNN的 预 测 不 确 定 性 （ Lakshmi-narayanan ， Pritzel 和Blundell 2017）。与其他集成方法一样，训练具有相同基本架构的多个模型。然后将其softmax输出平均化，以获得预测均值和方差。虽然bootstrapping或bagging经常用于其他集成学习方法，但作者认为DNN通常在更多数据的情况下表现更好，并且它们的训练需要大量时间，这就是为什么它们并行训练每个集成成员并在整个数据集上到神经网络生成置信度估计值，正确反映模型对给定输入进行正确预测的能力，以换取损失的减少，如（DeVries和Taylor 2018）所示。他们提出了一种方法，使神经网络能够在训练过程中寻求提示。这是通过将置信度估计分支与类预测分支并行添加到任何神经网络来完成的公式1形式化了网络的输出，其中p是softmax分布，c是softmax输出的置信度。CIMMp，c=f（x，θ）pi，c∈[0，1]pi= 1.（一）i=1置信度分支输出0和1之间的单个标量，其被参数化为S形。该值表示神经网络对给定输入正确生成目标输出的置信度。低置信度值表示网络不能信任给定的预测。在训练过程中，通过调整分类的softmax预测分数，在目标和原始预测概率分布之间进行插值，为网络提供提示，其中插值的程度由网络置信度确定，如等式2所示。p′=cp+（1−c）y。（二）整体损失是由一个任务和信心损失组成的。通过对修改的预测输出应用标准分类损失函数（例如，负对数似然）来计算任务损失。置信度损失是二元交叉熵损失，其中目标值始终为1。该置信度损失被添加到具有特定加权因子的任务损失中，以防止网络通过始终选择具有0置信度并接收整个地面实况来最小化损失然后，可以根据等式3计算两种损失。进一步平滑Deep Ensem的预测分布，使其对对抗性攻击更具鲁棒性，通过对抗性示例L任务=−CIMMi=1log（p′）y，L=−log（c）。（三）（Lakshminarayanan，Pritzel和Blun-dell 2017）。尽管深度集成没有贝叶斯基础，但从经验上讲，它们的表现往往优于蒙特卡罗丢弃，甚至需要更少的样本，例如（Beluchetal.2018）和（Lakshminarayanan，Pritzel和Blundell 2017）已经表明。（Beluch et al. 2018）研究了为什么深度集成通常表现更好，并认为这主要是由于增加了模型容量，因为深度集成在推理时不需要丢弃，并且由于不同的权重初始化，这导致每个网络收敛到不同的局部最小值。学习置信度估计估计神经网络的不确定性的另一种方法是通过激励最后，将任务和置信度损失合并，得到总损失。Lall=Ltask+ λLconf。（四）现在它表明，对于置信度c接近1的情况，预测分布将不会从地面实况接收任何提示（参见等式2），因此等于标准预测分布。由于置信度损失将为零，因此总体损失与具有标准任务损失的正常分类网络相同（参见等式3）。另一方面，如果c接近0，则预测偏差将等于地面实况，因此，任务损失将接近零。相反，这将导致非常高的信心损失。λ参数用于平衡网络请求提示的成本。2i=1证据式深度学习另一种用于不确定性量化的无采样方法是证据深度学习（Sensoy，Kaplan和Kan- demir 2018）。作者从Dempster- Shafer证据理论及其形式化、主观逻辑中汲取思想.在分类任务的情况下，Dirichlet分布用于量化置信质量和总体预测不确定性。这种狄利克雷分布的参数可以通过用不同的激活函数（例如ReLU或softplus）替换输出层的softmax激活来学习。为了拟合Dirichlet分布，本文提出了三种损失计算方法.经验上表现最好的有以下形式某些不确定正确CCUC不正确CIUI表1：具有不确定性学习方法，而后者与自动驾驶系统领域高度相关。对于CIFAR-10，应用了数据增强（旋转、翻转、颜色、裁剪）以提高性能。作为优化器，Adam的学习率设置为3·10−4，动量参数设置为tensorflow keras的默认值。如果验证损失在几个时期内没有改变，不幸的是，EDLLi（θ）=Kj=1（yij−p<$ij）+普济杰（1−pij）Si+ 1（五）在GTSRB数据集上，两个选定的模型都没有表现得相当好。因此，相应的结果被排除在下面的讨论中。其中，i是当前数据样本，y是地面真值，p是预测，K是各个类标签，因此，学习的狄利克雷分布的参数是K，而S=（e i+1），其中e i是a的证据class labeli.该损失函数为正确分类生成更多证据，同时删除可能导致错误分类的证据。总的来说，作者在他们的实验中表明，证据深度学习可以与其他不确定性方法相提并论，并且还可以帮助检测OOD样本，同时只需要一次向前传递。评价我们的基准不确定性估计适用于图像分类的共同任务，其中从一组定义的类的标签被分配给每个单独的输入图像。我们比较了上一节中描述的以下方法：Softmax，Monte-Carlo Dropout（MCDO），深度Entrance（DE），学习置信度（LC）和Evidential深度学习（EDL）。实验装置为了比较不确定性估计方法，我们训练了一个简单的 6 层 CNN （ SimpleCNN ） 和 一 个 更 深 的 VGG16（Simonyan和Zisserman 2014）网络。在这两个网络中，在每个卷积层之后使用批量归一化，并且在每个最大池化层之后以0.5的速率应用dropout。对于LC和EDL方法，最后的预测层和损失函数必须如前一节所述进行我们比较了三种不同的图像分类数据集的性能：MNIST ， CIFAR-10 和 德 国 交 通 标 志 识 别 基 准（GTSRB）（Stallkamp等人，2011），它们都是公开的。MNIST数据集的任务是将手写数字分为10类。对于CIFAR-10，图像必须分类为10个不同的类别，例如汽车，卡车或狗。GTSRB的目标是将德国交通标志的图像分类为43类之一。前两个数据集可以说是测试新机器的简单标准数据集。评估指标在没有不确定性的情况下，如果最高softmax输出与相应的目标标签匹配，则预测的标签是正确的，否则然而，如果我们也考虑置信度，如果置信度高于定义的阈值，则每个结果也可以是确定的，或者不确定的。表1总结了可能的结果。如果预测是确定的，则期望依赖于这些估计的系统处于功能模式，如果预测是不确定的，则期望依赖于这些估计的系统处于回退/缓解模式。然而，关于安全性的最关键的结果是预测，其中模型对其预测是确定的，但不正确（CI）。我们将某些但不正确的样本数与所 有样本数之比称为剩余错误率（RER）。为了最大限度地降低整体风险，它需要尽可能低尽管如此，如果模型总是给出低置信度作为输出，则系统将始终保持在回退模式，并且将无法提供预期的功能。因此，某些和正确样本的数量与所有样本的比例-我们称之为剩余准确率（RAR）-需要尽可能高，以便在大部分时间内保持性能模式。结果和讨论所有显示的结果都基于一个单独的测试集，该测试集既不用于训练也不用于超参数选择。模型选择所有测试均采用两种模型进行，其中普通分类准确度仅显示两者之间的微小差异。因此，我们在大部分讨论中坚持使用SimpleCNN，因为它的参数非常少，因此训练和应用速度更快，而且更接近嵌入式实时系统中使用的网络大小。此外，我们观察到MCDO在所有三个数据集的VGG16采样输出中几乎没有变化。即使我们在架构中引入了更多的dropout层，这仍然是正确的。我们推测，考虑到中等难度和小通过计算三个数据集的输入图像大小，大型VGG16模型学习了大量冗余路径，即使网络的部分被丢弃，这些路径也会导致相同的输出。与我们一直观察到的相反，LC方法在VGG16的置信度预测方面表现得更好，这就是我们选择它用于这种特定方法的原因。根据我们的观察，我们假设网络深度的增加提高了模型然而，进一步的研究必须在未来进行，以允许更好的兼容性之间的不确定性量化方法和其底层架构，特别是在嵌入式系统中的适用性。1.000.980.960.940.920.900.000 0.001 0.002 0.003 0.004 0.005 0.006剩余错误率(a) MNIST样本数量对于基于抽样的方法，我们研究了样本数量对准确度和不确定性估计性能的影响。对于DE，5个样品已经提供了良好的结果，如果考虑7个样品，增加更多的样本并没有进一步改善结果。另一方面，MCDO从更高的样本数量中受益更多，其中10-20个样本已经提供了良好的结果，并且使用100个样本可以观察到进一步的微小改进。在下面的讨论中，我们使用了7个DE样本和100个MCDO样本，以突出每种方法的最佳性能。1.000.950.900.850.800.750.700.650.600.00 0.05 0.10 0.15剩余错误率(b) CIFAR-100.20 0.251.000剩余误差和准确度剩余误差和准确度直接取决于不确定性估计方法和将确定输出与不确定输出分开的阈值。然而，对误差或准确率的要求是高度依赖于应用的，因此是一个合适的阈值的选择。因此，图2显示了针对所有阈值t∈[0，1）绘制的每种方法的剩余准确度与剩余误差，这些阈值以0.005的步长进行采样以进行可视化。在所有三个数据集上，DE在保留多个模型实例和在推理时间内采样的代价下，在剩余误差和准确性方面提供了最好的结果。使用MNIST，根据所选择的阈值，RER可以从0.3%降低到小于0.1%，RAR仅略有降低。在该数据集上，MCDO可以以损失近4%的准确度为代价进一步降低RER请注意，MNIST的结果应持保留态度，因为每个模型的整体性能已经非常好，差异通常在于大量错误的预测，这也可以归因于每个模型收敛到不同的局部最小值。CIFAR-10的整体性能要低得多此外，由于所有曲线都更陡，因此剩余误差的减少对剩余精度的影响更大。然而，它也涵盖了所有三个数据集中最大的尽管如此，如果RAR降低到75%是可以接受的，RER可以从近12%降低到2%。在这个数据集上，LC实现了0.9750.9500.9250.9000.8750.8500.8250.8000.000 0.005 0.010 0.015 0.020 0.025剩余错误率(c) GTSRB图2：每种方法一个强大的第二位和EDL表现几乎一样好MCDO。最后，GTSRB上的性能显示出与MNIST的一些相似之处：曲线在右侧具有合理的平坦部分，表明对于较低的阈值，在剩余误差和准确度之间进行了良好的权衡LC、MCDO和softmax非常接近，尤其是softmax的结果非常好。然而，softmax的曲线结束得更早，而所有其他方法都可以进一步降低RER。Confidence Calibration置信度校准一个更进一步的度量标准，通常用于显示上下文SoftmaxMCDODELCEDLSoftmaxMCDODELCEDLSoftmax市民防办DELC剩余准确率（RAR）剩余准确率（RAR）剩余准确率（RAR）对整体性能的影响是网络校准。图3显示了每个置信区间上预测的准确度。1.000.750.500.250.000.0 0.2 0.4 0.6 0.8 1.01.000.750.500.250.000.0 0.2 0.4 0.6 0.8 1.0阈值(a) 抽样方法置信范围1.00图3：网络校准，CIFAR-10一个完美的校准将匹配从左下角到右上角的对角线。可以观察到，深度集合给出了最佳的校准结果，因为曲线在很大程度上非常接近对角线，并且还包含低置信区间中的值。虽然softmax预测往往过于自信（置信度高于准确度），但MCDO也会为更高的置信度得分生成校准良好的估计。然而，这两种方法都不会估计小于0.2的置信度。与此相反，对EDL和LC的估计非常谨慎，即使输出是正确的，也经常导致低置信度值。然而，这些方法估计的置信度覆盖了整个值范围，这对于安全关键应用是有益的。不确定性估计质量完美的不确定性估计方法将所有不正确的预测评定为不确定，所有正确的预测评定为确定，从而最大限度地提高可实现的性能，同时将剩余误差降至零。为了可视化方法的不确定性估计质量，我们分别绘制了不确定正确/不正确与所有正确/不正确样本的比率，突出了将预测从确定的不确定性取决于定义的阈值。图4显示了每种方法的两个比率。基于采样的方法和softmax不估计低于0.3的低置信度值，即使是不正确的分类的例子。然而，一旦他们开始将预测标记为不确定，不准确输出的比率会增加得更快，这是一个好兆头。总的来说，具有最大间隔的有利阈值可以在阈值间隔的较高端处找到，例如大约0.8。另一方面，不包括softmax的无采样方法在预测中更为保守，对绝大多数不正确的预测提供了低置信度。不幸的是，它们也将一些正确分类的输出转移到了不确定的输出中。0.750.500.250.000.0 0.2 0.4 0.6 0.8 1.01.000.750.500.250.000.0 0.2 0.4 0.6 0.8 1.01.000.750.500.250.000.0 0.2 0.4 0.6 0.8 1.0阈值(b) 无抽样方法图4：不同阈值域从一开始。然而，它们提供了非常宽范围的合适阈值，允许对剩余性能和误差之间的权衡进行更精细的控制。此外，无采样方法在推理期间更有时间效率，因为它们仅需要一次前向传递，这使得它们成为时间敏感和安全关键应用（例如，自动驾驶车辆中的对象检测）的强有力候选。还值得一提的是，DE需要少得多的前向传球，同时在性能以及安全性相关指标方面仍然始终尽管softmax的性能通常优于其他提出的方法，但它的得分比我们预期的更好，特别是在GTSRB上。我们将此归因于SimpleCNN的模型大小相对较小，这与（Guo et al. 2017）中的观察结果一致，其中softmax显示出对小模型进行了良好的校准。图5通过比较SimpleCNN和VGG16的结果，为这一假设提供了进一步的证据。SoftmaxMCDODELCEDL正确不正确阈值正确不正确正确不正确阈值正确不正确正确比例阈值正确不正确不确定性比率证据DL不确定性比率深度包围不确定度Softmax不确定性比率蒙特卡罗脱落不确定率在剩余精度和误差以及校准方面。可以观察到，与较小模型的输出相比，VGG16的softmax输出对于降低RER的作用要小得多，并且校准也明显更差。0.850.800.750.700.650.600.550.020.040.060.080.100.120.14零点一六剩余错误率(a) 剩余精度与误差置信范围(b) 校准图5：CIFAR-10的SimpleCNN和VGG 16的Softmax不确定性结论和今后的工作在本文中，我们描述和评估了几种不同的方法，不确定性估计的指标，旨在提供更多的见解的性能方面的安全关键的应用程序。我们还简要地将从这些不确定性值中获得的信息放到自治系统的上下文中，在自治系统中，它可以用于系统自适应和风险缓解。在结果中，我们看到，几乎在所有情况下，所有四种不确定性估计方法都优于浅层softmax预测，特别是对于softmax高度过度自信的深层网络。此外，我们发现，无样本方法，特别是学习的信心方法，在预测方面更具限制性，始终提供较低的信心，并显示出较高的拒绝错误预测的能力，同时仍然保持相当低的不确定性。另一方面，对于较低的阈值，基于采样的方法具有低得多的拒绝率，因为它们几乎从不给出低于0.2的置信度值。然而，特别是Deep Ensembles更强的性能，同时对于高于该水平的许多阈值仍然拒绝大多数错误示例总的来说，我们看到了强大的潜力，通过结合两个整体最好的执行方法，即深度集成和学习的信心，并将深度集成的良好校准和一般性能与拒绝错误示例的强大能力结合在一起，学习的信心非常低在未来的工作中，我们将检查这些有前途的方法和它们的组合在其他任务，如分布外检测相对于建议的安全指标。致谢这项工作得到了巴伐利亚州经济事务、区域发展和能源部通过分析-引用贝卢奇，W. H.的; Gene wein，T.;Nürnberger， A.;和Kohler，J. M. 2018.集成在图像分类中的主动学习能力。IEEE计算机视觉与模式识别会议六月郑角，澳-地H.的; Nu？ berg， G.;和Yasuoka，H.2018年实时监控神经元活动模式。Czarnecki，K.，和Salay，R. 2018.建立一个框架来管理安全自动驾驶的感知不确定性。In Gallina，B.;Skavhaug，A.; Schoitsch，E.;和Bitsch，F.，编辑，计算机安全，可靠性和安全性，439Springer InternationalPublishing.DeVries，T.，Taylor，G. W. 2018.神经网络中分布外检测的学习置信度。埃勒斯河2017.分段线性前馈神经网络的形式化验证。Frtunikj，J. 2019.实践经验报告：为自动驾驶系统设计 安 全 的 深 度 神 经 网 络 。 In Romanovsky ， A.;Troubitsyna，E.;和Bitsch，F.，编辑，计算机安全性、可靠性和安全性，计算机科学讲义第11698卷。Springer International Publishing.235-244。Gal ， Y. ， 和 Ghahramani ， Z.2016 年 。 Dropout as abaker-approximation ： Representing model uncertainty indeep learning.在Balcan，M. F.、Weinberger，K.问：编辑，第33届国际机器学习会议的主席，机器学习研究会议论文集第48卷，1050PMLR。6月20日Guo，C.; Pleiss，G.;孙，Y.; Weinberger，K. Q. 2017.现代神经网络的校准。ICML 2017.洪，S.;你，T。Kwak，S.;和Han，B. 2015.利用卷积神经 网 络 学 习 判 别 显 著 图 进 行 在 线 跟 踪 。 在Proceedings of the 32NdInternational Conference onInternational Conference on Machine Learning-Volume37，ICML '15，597-606中。JMLR.org.SimpleCNNVGG16剩余准确率（RAR）SimpleCNNVGG16正确比例Katz，G.; Barrett，C.; Dill，D.; Julian，K.;和科臣德弗M. 2017. Reluplex：一个用于验证深度神经网络的高效SMT求解器。这是一篇与CAV 2017上发表的论文标题相同的论文的扩展版本Lakshminarayanan，B.; Pritzel，A.;和Blundell，C. 2017.使用深度集成进行简单和可扩展的预测不确定性估计 。 在 盖 永 岛 ， 勒 克 斯 堡 大 学 五 、 Bengio ， S.;Wallach ， H.; Fergus ， R.; Vishwanathan ， S.; 和 加 内特，R.，编辑，神经信息处理系统进展30. Curran Associates，Inc.6402-6413Pidhorskyi，S.; Almohsen，R.; Doretto，G. 2018.用对抗 性 自 动 编 码 器 进 行 生 成 概 率 新 颖 性 检 测 InBengio，S.; Wallach，H.; Larochelle，H.; Grau- man，K.; Cesa-Bianchi，N.;和加内特，R.，编辑，神经信息处 理 系 统 的 进 展 31. Curran Asso-ciates ， Inc.6822-6833。Sensoy，M.; Kaplan，L.;和Kandemir，M. 2018. 证据深度学习量化分类不确定性。Simonyan，K.，和Zisserman，A. 2014.用于大规模图像识别的深度Stallkamp，J.; Schlipsing，M.; Salmen，J.;和Igel，C.2011 年 。 德 国 交 通 标 志 识 别 基 准 ： 多 类 分 类 竞赛 .IEEEInternationalJointConferenceonNeuralNetworks，1453Weiss，G.; Schleiss，P.; Schneider，D.; Trapp，M. 2018.在安全关键环境中集成不可靠的自适应系统。第13届国际自适应和自管理系统。Wood，M.;Robbel，P.;Maass，M.;特本斯河D.的; 眉脊泗M.; Harb，M.;Reach，J.;Robinson，K.;Wittmann，D.;斯里兰卡-vastava，T.;布祖拉湾E.的; Liu，S.;王玉;Knobel，C.;Boymanns，D.; Lhning，M.; Dehlink，B.; Kaule，D.;Krger ， R.; Frtunikj ， J.; Raisch ， F.; Gruber ， M.;Steck，J.; Meja- Hernandez，J.; Syguda，S.; Blher，P.;Klonecki，K.; Schnarz，P.; Wiltschko，T.; Pukallus，S.;Sedlaczek ， K.; Garbacik ， N.;Szmera ， D.;Li ，D.;Timmons ， A.;Bellotti ， M.; Scho ？ llhorn ， M.;Dannebaum ， U.;东 ， J 。Tatourian ， A.;Dornieden，B.;Schnetter，P.;Themann，P.;Weigeen，T.;和Schlicht，P. 2019。自动驾驶的安全第一。技术报告。张，Q.;曹河;施，F.;Wu，Y.N.的; Zhu，S.-C. 2018年通过解释图解释cnn知识。