基于神经网络的目标检测器的程序化语义解释方法

1一种基于神经网络的目标检测器的程序化语义解释方法Ed w ardKim2001，D i vyaGopinath†2，CorinaS. Pas a reanu2和SanjitA. 加州大学伯克利分校2美国宇航局艾姆斯研究中心图1：本文中提出的工作流程概述图像中的绿色和红色边界框分别是地面实况和预测摘要即使深度神经网络在视觉和感知任务中变得非常有效，但仍然很难解释和调试它们的行为。在本文中，我们提出了一个程序化和语义化的方法来解释，理解和调试基于神经网络的感知系统的正确和不正确的被测试者。我们的方法是语义的，因为它采用了一个高层次的代表性的分布环境的情况下，检测器的目的是工作。它是纲领性的在场景表示中，是一种使用领域特定概率编程语言编程，可以用来生成合成数据以测试给定的感知模块。我们的框架评估每个人的表现感知模块识别正确和不正确的检测，从语义上表征正确和不正确场景的那些结果中提取规则，然后用那些规则来具体化概率程序，以便更精确地表征感知模块正确或不正确操作的场景。我们demonstrate我们的结果使用SCENIC概率编程语言和基于神经网络的对象检测器。我们的实验表明，可以自动生成紧凑的规则，显着提高网络的正确检测率（或相反的错误检测率），从而有助于理解和调试其行为。11128111291. 介绍机器学习（ML）算法产生的模型，特别是深度神经网络（DNN），已经证明在计算机视觉和感知中执行各种任务非常有效。此外，ML模型被部署在可信度是一个大问题的领域，例如汽车系统[18]，医疗保健[3]和网络安全[6]。对抗机器学习[11]，验证[8，24]和测试[28]的研究表明，基于DNN的视觉/感知系统并不总是鲁棒的，并且可能被愚弄，有时会导致整个系统的不安全情况（例如，自动驾驶汽车）。鉴于这种缺乏鲁棒性和不安全的潜在故障，我们开发方法来更好地理解、调试和表征基于DNN的感知组件失败以及它们正确执行的场景是至关重要的。关于解释和理解ML模型的新兴文献提供了一种解决这一问题的方法。然而，虽然有几种技术被提出来解释基于ML的感知的行为（例如，[5，16，17，19，25]），几乎所有这些都是在网络的具体输入特征空间上操作的。例如，基于属性的方法（例如，[26，31，23]）指示输入图像中与DNN在该输入上的输出相关联的像素。这些方法虽然非常有用，但不能直接识别与该决策相关联的场景的更高级别的“语义”特征;他们需要一个人来做判断另外，在许多情况下，重要的是生成关于这样的更高级别特征的正确/不正确行为的例如，识别自主车辆的感知模块是否通常错过特定型号或颜色的汽车，或者在道路的特定区域上，并且利用该知识来描述感知模块的高级成功/失败场景而没有人为干预的瓶颈，这将是有用的。在本文中，我们提出了一个程序化和语义化的方法来解释和调试基于DNN的检测模块，重点是对象检测。在该方法中，我们通过将语义特征空间形式化为场景集合上的分布开始汽车的位置和方向、其型号和颜色、一天中的时间、天气等）。然后，我们使用特定于领域的编程语言中的程序来表示语义特征空间给定这样的表示和对应于对象检测器的正确和不正确行为的生成数据，我们寻求计算对应于这些正确/不正确行为的程序的专门化。专门的程序作为环境场景的可解释的表示，导致那些正确的/在-正确的行为，使我们能够调试失败的情况，并了解对象检测器成功的地方。我们使用SCENIC [2，9]概率编程语言实现我们的方法。概率编程已经被证明适用于各种计算机视觉任务（参见，例如，[14]）。SCENIC是一种用于对语义特征空间进行建模的领域特定语言，即，分布在场景中。它有一个生成的后端，当它连接到渲染器或模拟器时， 可以 自动 生成 合成 数据 ，例 如侠 盗猎 车手 V（GTA-V）视频游戏。因此，它特别适合我们的方法。使用S CENIC，我们实现了图1所示的工作流程。1.一、我们从一个SCENIC程序P开始，它捕获了一个我们希望基于DNN的检测器能够处理的分布。从P生成测试数据，我们评估检测器的性能，将测试集划分为正确和不正确的检测。对于每个分区，我们使用一个规则提取算法来生成规则的语义特征是高度相关的成功/失败的检测器。使用决策树学习和anchors [22]执行规则提取。我们进一步提出了一种新的白盒方法，分析神经网络的神经元激活模式，以深入了解其内部工作。使用这些激活模式，我们展示了如何从高级输入功能中推导出语义上不可理解的规则，以实现字符串场景。然后，生成的规则被用来细化P，产生程序P`和P′，它们分别更精确地表征正确和不正确的特征空间。使用这个框架，我们评估基于DNN的对象检测器的自动驾驶车辆，使用SCENIC和GTA-V生成的数据。我们证明了我们的方法是非常有效的，产生的规则和完善的程序，显着提高了正确的检测率（从65。3%至89。4%）和误检率（从34. 7%至87。2%）的网络，因此可以帮助理解，调试和重新训练网络。总之，我们做出以下贡献：• 制定基于编程语言的语义框架，以将基于ML的感知模块的成功/失败场景表征为有助于描绘其性能边界并以原则性方式生成新数据的程序;• 基于锚点和决策树学习的情景规划规则提取方法• 一种新的白盒技术，它使用卷积神经网络的激活模式来增强SCENARIO特征空间的细化;• 一个数据生成平台，可以研究调试和解释基于DNN的感知，以及• 实验结果表明，我们的框架是有效的复杂卷积神经网络11130特征范围天气中性，清晰，超阳光，烟雾，云，阴天，雨，雷，晴，圣诞节，雾，雪花，暴风雪，雪时间[0024：00）车模布利斯塔，巴士，尼尼夫，阿西亚，巴勒，野牛，布法罗，鲍勃-catxl，统治者，格兰杰，豺狼，甲骨文，爱国者，Pranger汽车颜色R = [0，255]，G = [0，255]，B=[0，255]汽车航向[0，360）度表1：GTA-V中的环境特征及其范围用于自动驾驶。2. 背景SCENIC是一种概率编程语言，用于场景规范和场景生成。该语言可用于描述各种自动驾驶系统（如自动驾驶汽车或机器人）的环境环境是场景，即对象和代理的配置。SCENIC允许将分布分配给场景的特征，以及场景中的特征上的硬和软物理约束。从SCENIC程序生成场景需要从程序中定义的分布中采样。SCENIC具有高效的采样技术，利用SCENIC程序的结构，使用采样空间的积极修剪生成的场景在模拟器的帮助下渲染成图像 在本文中（类似于[9]），我们使用侠盗猎车手V（GTA-V）游戏引擎[10]创建逼真的图像，并使用SqueezeDet [30]进行案例研究，SqueezeDet是一种用于自动驾驶汽车中物体检测的卷积神经网络。请注意，我们提出的框架并不特定于这个网络，也可以与其他对象检测器一起使用。表1描述了我们在案例研究中使用的语义特征。这些功能由模拟器允许用户控制的环境参数确定和限制。如果在SCENIC程序中没有指定这些环境特征的分布，则默认情况下，它们是从表1所示的范围中均匀随机选择的。请注意，对于不同的应用程序域，我们将具有不同的功能集。SCENIC被设计为易于理解，具有简单直观的语法。我们通过一个示例来说明它，如图2所示。形式语法和语义可以在[9]中找到。如图2所示，该程序描述了一种罕见的情况，即一辆汽车非法侵入一个白色条纹的交通岛，以切入或迟到地避免进入高架公路。在第1行，图2：示例SCENIC程序表示从6：00到18：00均匀随机采样一天中的时间。在第2行中，一辆自我汽车被放置在GTA-V地图上的特定x @ y坐标处在第4行中，选择交通岛（在SCENIC中，我们将其称为路缘）上的一个点，该点位于安装在自我汽车上的摄像机的可见区域内。在交通岛的所有可见区域中，均匀随机地采样一个点。在第7和第8行中，其他汽车被放置在与本汽车所面对的位置成-90至90度角的位置上，模拟汽车可能会进入交通流的情况。最后，SCENIC允许用户使用require语句定义硬约束和软约束。在这个场景中，所有四个require语句都定义了硬约束。在第10行中，其他汽车的整个表面必须在自我汽车的视野范围因此，不允许只看到另一辆车的前半部分的场景在第11行中，otherCar必须位于ego car可见区域的右半部分。在12、13号线，对方车与本车的距离应在5 ~ 20米之间。3. 相关工作大多数旨在为计算机视觉领域的深度神经网络（DNN）提供可解释性和可解释性的技术都GradCAM[23]是一种用于解释CNN模型的流行方法，它通过查看类激活图（CAM）来可视化图像的部分如何影响神经网络其他技术专注于通过可视化其激活模式来理解内部层[5，17]。另一方面，我们的方法旨在提供比原始图像像素更高级别的字符化，即在SCENIC程序中定义的抽象特征级别。规则提取技术的目的是将网络的全部功能表示为一组规则，使其过于复杂[32]，或者需要存在预先挖掘的规则集[15]，这对于对象检测场景来说是难以获得的。在LIME [21]的基础上进行改进的Algorithms [22 ]与我们的工作最接近（我们将在更多内容中讨论它）。细节稍后）。最近的工作旨在解释DNN的决策，11131更高层次的概念。[13]中的技术引入了概念激活向量的概念，它提供了对人类友好概念的神经网络内部状态的解释。特征引导探索[29]旨在通过对从原始图像中提取的高级输入特征应用扰动来分析计算机视觉应用中使用的网络的鲁棒性。他们使用对象检测技术（如SIFT– Scale Invariant Feature Transform) to extract the与这些技术相比，我们直接利用SCENIC，它以人类已经可以理解的方式定义高级特征。现有的方法通常使用分类网络，其输出直接对应于正在做出的决策，并且依赖于输出相对于输入的导数来计算重要性。在我们的应用中，对象检测器网络的输出与边界框的有效性之间没有直接的相关性。此外，与以前的所有工作不同，我们可以使用合成规则自动生成更多的输入实例，通过细化原始的SCENIC程序，然后使用它来生成数据。这些实例可用于测试、调试和重新训练网络。4. 方法我们的方法的关键思想是利用SCENIC程序中正式编码的高级语义特征来推导规则（充分条件），这些规则解释了检测模块在这些特征方面的行为。我们的假设是，由于这些特征描述了图像中应该存在的重要特征，并且它们比原始的低级别像素少得多，因此它们应该导致对开发人员具有明确意义的小而紧凑的规则。我们的技术旨在解决的问题可以形式化如下。假设一个函数g定义了一个从特征向量r，rf1，f2，.，fnsPD1D2...Dn，转换为像素矩阵mPM，图像，其中每个Di表示特征fi的特征域，M是m的域。让函数h表示给定的感知模块。最后，设e是一个评估函数，它将感知模块的预测与地面实况进行比较，并基于某个性能阈值输出布尔类（正确或不正确）。给出了一个S CENIC程序，根据其特征依赖性、硬约束和软约束，真空间，D1D2… …Dn，是DefineDn。第二个问题就是找到一个最优的特征空间，D2… …dn在图3中显示。我们从一个SCENIC程序开始，该程序对与特定应用领域相关的高级语义特征的约束（和分布）进行编码，在我们的情况下，该应用领域是用于自动驾驶的对象检测。直观地说，程序（以下称为场景）编码用户想要关注的环境，以便测试模块。基于这种情况，SCENIC通过从指定的分布中采样来生成一组特征向量然后使用模拟器来生成一组逼真的合成图像（即，原始低级像素值）。图像被馈送到对象检测器。每个图像都被分配一个二进制标签，正确或不正确，基于图像上的对象检测器的性能（见第4.1节）。为图像获得的标签被映射回导致生成相应图像的特征向量。结果是一个标记的数据集，它将每个高级特征向量映射到相应的标签。然后，我们使用现成的方法从这个数据集中提取规则。规则提取在第2节中有更详细的描述。四点二。其结果是一组规则，对导致可能正确或不正确检测的高级特征的条件进行编码。所获得的规则可以用于细化SCENIC程序，S CENIC程序又可以被采样以生成更多的图像，这些图像可以用于测试、调试或重新训练检测模块。这种迭代过程可以继续，直到获得所需精度的精炼规则和SCENIC程序。在下文中，我们提供了有关我们方法的更多细节。4.1. 标签获取图像的标签（正确/不正确）是使用F1分数度量（精确度和召回率的调和平均值）执行的。 该度量通常用于二进制分类的统计分析。F1分数的计算方法如下。对于每个图像，真阳性（TP）是由检测模块正确预测的地面实况边界框的数量这里正确预测意味着交集大于并集（用于对象检测的IoU）大于0.5。假阳性（FP）是错误地预测地面实况的预测边界框的数量。该错误预测包括对一个地面实况框的重复预测。假阴性（FN）是未正确检测到的地面真值框的数量我们计算每个图像的F1分数，如果它大于阈值，我们分配正确的标签;如果不是，则不正确。我们实验中使用的阈值为0.8。4.2. 规则提取D1D2...这样当我们在一个特定的特征的数量rf1，f2，...，fns P d1d2...dn，研究方法：我们试验了两种方法，ephpgprf1，f2，.，Qget class（正确或不正确）被最大化。我们的分析管道的高层次概述是illustrated-树（DT）学习分类[20]和锚[22]，提取规则捕捉给定SCENIC程序中定义的特征空间的子空间。11132图3：分析管道决策树学习通常用于提取解释复杂系统的全局行为的规则，而锚方法是用于提取局部忠实的解释规则的最先进技术。决策树以树状结构对决策（及其结果）进行编码。如果树矮的话，它们是非常有趣的。人们可以很容易地提取规则来解释不同的类，只需遵循通过树的路径，并结合在树节点中编码的我们使用R软件中的rpart[27]包，它实现了[4]中相应的al-tax m，具有默认参数。锚点方法是一种最先进的技术，旨在用称为锚点的高精度规则解释复杂ML模型的行为，这些规则表示局部的、足够的预测条件该系统可以有效地计算任何具有高概率保证的黑盒模型的这些解释。我们使用[1]中的代码和默认参数。将该方法直接应用于对象检测器将导致描述关于低级别像素值的条件的锚，这将难以解释和使用。相反，我们想要的是从高级特征中提取锚点。虽然可以将模拟器与对象检测器一起用作黑盒模型，但这将非常低效。相反，我们建立了一个代理模型，将高级S CENIC特征映射到输出标签;如代码中所示，我们为此目的使用了随机森林学习算法。然后将此代理模型传递给anchor方法以提取规则。黑盒与白盒分析：到目前为止，我们解释了如何将检测模块视为黑盒时获得规则。我们还研究了白盒分析，以确定我们是否可以利用有关模块内部工作的信息来改进规则推理。白盒分析是本文的创新之一。我们利用最近的工作[12]，旨在推断神经网络的可能属性属性是根据导致相同预测的开/关激活模式（在不同的内部层）这些pat-通过在训练集或测试集上执行网络期间观察到的激活上应用决策树学习来我们分析了SqueezeDet网络的架构，并确定有三个maxpool层，它们提供了网络的自然分解然而，它们具有相对较低的维数，使它们成为属性推断的良好目标。我们认为激活模式的最大池神经元的神经元输出是否大于或等于零。然后，可以在这些模式上学习决策树，以适应预测标签。对于我们的实验，我们从maxpool层5中选择了模式，这些模式与导致正确/不正确预测的图像高度相关然后，我们以下面的方式用相应的决策模式来增强分配的正确和不正确标签。例如，使用用于正确标签的决策模式（即，与具有正确标签的图像最相关的决策模式通过仅将具有正确标记的图像馈送到感知模块，满足决策模式的图像被重新标记为“正确决策模式”，否则被重新标记为“正确未标记”。同样，使用与具有不正确标签的图像最相关的决策模式来增加不正确的类。我们的直觉是，决策模式在属于目标类的图像中捕获更集中的属性（或规则）。因此，我们假设这种标签增强将有助于锚和决策树方法更好地识别规则。规则选择标准：一旦我们用DT或锚提取规则，我们就使用以下标准选择最佳规则。为了最好地实现我们的目标，首先，我们在特征向量的保持测试集上选择具有最高精度的规则。 如果有多个规则具有相同的高精度，那么我们选择具有最高覆盖率的规则（即，满足规则的特征向量的数目）。最后，如果仍然有多个规则，那么我们通过选择最紧凑的规则来打破平局，11133表2：具有来自表6的最高精度的检测模块的正确行为表3：表7最少的特征。最后两个标准是用来选择最一般的高精度规则的。5. 实验在本节中，我们报告了我们的实验与提出的方法对对象检测器。我们调查我们是否可以合成的规则，是有效的生成测试输入，增加正确/不正确的检测的概率，从而解释正确/不正确的被分析的模块。我们沿着以下维度评估所提出的技术：决策树（DT）与锚，黑盒（BB）与白盒（WB）。5.1. 场景我们在四个不同的场景中试验了我们的方法。从这些场景生成的图像如图4所示。场景1（图2）描述了一辆汽车非法侵入高架公路入口处的白色条纹场景2描述了两辆车场景，其中一辆车在高架道路上的T形交叉路口处遮挡了自我车对另一辆车的视野。描述了其他汽车并入自我汽车在这个场景中的位置是精心选择的，这样太阳就从我的车前面升起，引起眩光。描述了一组场景，此时最近的汽车突然切换到本车的车道上，而相反交通方向车道上的另一辆汽车稍微越过中间黄线进入本车的车道。15.2. 设置对象检测器在一组单独的10，000个GTA图像上进行训练，其中在地图的各个位置有一到四辆汽车，产生不同的背景场景。GTA-V模拟器提供了图像、地面实况框和环境特征值。对于每个场景，我们生成了950张新图像作为训练集，另外950张新图像作为测试集。我们将对应于maxpool层5判定模式的标签定义为p5c（正确）和p5 ic（不正确），并将剩余的标签定义为正确的未标记和不正确的未标记。我们用一些额外的特征来增强特征向量，这些特征不是模拟器提供的特征值的一部分，但可以帮助提取有意义的规则。例如，在场景1中，从自我到其他Car的距离不是GTA提供的特征值的一部分然而，它可以使用ego和otherCar的（x，y）位置坐标此外，自我和其他汽车之间的航向角差异也被添加为额外的功能，以表示从训练集中，我们提取规则来预测基于特征向量的每个标签。这些规则在基于精确度、召回率和F1评分标准的测试集上进行了对于DT学习，我们调整了标签权重，以考虑黑盒和白盒标签之间的不均匀比例。对于分类器方法，我们将其应用于训练集的每个实例，直到我们为每个标签覆盖了最多50个实例（对于BlackBox，正确，不正确;对于White Box，p5 c，p5 ic，正确未标记，不正确未标记）。每个标签的最佳锚规则是根据第4.2节中提到的规则选择标准选择的。1请参考情景2、3和4的SCENIC计划以及改进的SCENIC计划的补充材料场景编号（基线规则精度）规则场景1(65. 3%，89。4%）x坐标灵芝-198.1场景2(72. 3%，82。3%）小时灵芝7.5^天气=除中性外的所有天气^car0 模 型 ={ Asea ， Bison ，Blista ， Buffalo ， Dominator ，Jackal，Ninef，Oracle}场景3(61. 百分之七点七九。4%）car0红色灵芝74.5^car0标题灵芝220.3度场景4(89. 6%，96。2%）car 0模型={ Asea，Baller，Blista，Buffal，Dominator，Jackal，Ninef，Oracle}场景编号（基线规则精度）规则场景1(34. 7%，87。2%）x坐标为<$-200.76^距离8.84^车型= PRANGER场景2(27. 百分之七点四四。9%）小时灵芝7.5^天气=除中性外的所有天气^car0到ego的距离11.3场景3(38. 3%的人83岁。4%）天气=中性^代理0航向=218.08度小时8.00^car2红色95.00场景4(10. 4%，57。3%）car0 model=PATRIOT^car1 model =NINEF^car2 model =BALLER^92.25皮卡0绿色 158^car0蓝色84.25^178.00皮卡2红色 22411134场景编号1234正确DP0.6260.6510.5140.824DP不正确0.2760.1750.2340.212图4：从左上角的一辆车的图像，每个图像对应于场景1，2，3，和4在顺时针方向的方式。场景编号是汽车5.3. 结果表2和表3显示了最佳规则（wrt。精度），以及每个给定场景的基线正确/不正确检测率和生成规则的检测率。结果表明，我们的框架确实可以生成规则，表4：对正确和不正确决策模式的场景编号1234BB决策树0.7230.3420.6310.622WB决策树0.7270.6960.6010.778BB锚钉0.3610.4570.3020.438WB锚钉0.5200.1880.1490.438表5：测试集场景编号1234原始程序0.6530.7230.6170.896BB决策树0.8430.7780.7870.950WB决策树0.8260.8230.7880.962BB锚钉0.7270.8110.6520.928WB锚钉0.8940.8170.7940.928表6：测试集显著提高正确和错误检测率的模块。此外，生成的规则是COM-场景编号1234紧凑且易于解释。原始程序0.3470.2770.3830.104例如，场景1的正确行为规则BB决策树0.7030.4180.5060.375是“x坐标灵芝”198。1.”在GTA-V中，在自我车WB决策树0.730.4490.4940.099位置，x坐标上的条件相当于BB锚钉0.8720.3570.8340.573otherCar对WB锚钉0.6740.4220.3650.176另一方面，Scenario1要求另一辆车在8.84米以内，车型为PRANGER。与直觉相反，这些规则表明，当otherCar靠近时，对象检测器会失败，而当距离更远时，则表现良好。正确行为的结果：表5和表6总结了解释正确行为的规则的结果。结果表明，在高度抽象的特征空间中有清晰的信号，它们可以通过生成的高精度规则有效结果还表明，DT学习提取的规则具有更好的F1分数为所有场景相比，anchors。这可以归因于技术性质的差异锚点方法的目的是构造在给定实例的局部具有高精度的规则。另一方面，决策树的目标是构建区分一个标签与另一个标签的全局规则鉴于分析模块正确检测到大部分实例，决策树能够构建具有高精度和正确行为覆盖率的表7：500个新数据生成从每个细化的SCENIC程序中删除结果还突出了使用白盒信息提取正确行为规则的好处。表4显示了对决策模式的支持是显著的（对于所有场景，平均大于65%支持度被定义为决策模式与特定标签的相关性使用这些信息来增加数据集的标签有助于提高规则的精度和F1得分（w.r.t.SCENIC特征）用于DT学习和锚定方法。错误行为的结果：表3和表7总结了解释不正确行为的规则的结果。对于不正确行为的规则推导比对于正确行为的规则推导更具挑战性，这是由于对于良好训练的网络，导致不正确检测的输入百分比较低。事实上，规则11135图5：从精制SCENIC程序（使用不正确规则）生成的错误检测图像的累积比率稳定了500多个样本。每种颜色都有四个图形，代表四种不同的规则提取方法预测不正确的行为太低，因为召回值非常低（在某些情况下为0）。为了正确验证生成的规则的有效性，我们通过将规则编码为约束来改进SCENIC程序，并生成了500张新图像。然后，我们评估了我们的模块图5证明了我们选择500作为我们生成用于评估的新图像的数量的合理性。所有四种方法都有助于更精确地识别模块性能较差的子集特征空间具体而言，表7说明了与基线相比，在场景1、3和4中，黑箱锚方法将错误检测图像的生成率平均提高了48%。这是程序生成的错误标记图像的比例显着增加，证明改进的程序更准确地描述了故障场景。我们还注意到锚方法优于DT学习。这是预期的，因为锚方法提取在局部特征空间内高度精确的规则。例外情况是场景2。 我们推测，锚点方法没有比DT学习表现更好的原因是由于GTA-V中不可控的非确定性，即使其SCENIC程序没有任何行人，GTA-V也会在靠近自我汽车摄像头的地方产生行人。GTA-V非确定性地确定了这些行人，感知模块错误地将行人预测为汽车。这是GTA-V的一个问题，它最初不是为了数据生成而构建的。GTA-V不允许用户控制或消除这些行人，并且在数据收集过程中不提供与行人相关的功能。在未来的工作中，我们计划将允许确定性控制的模拟器（如CARLA [7]）用于进一步的实验。与正确行为的结果不同，当关注不正确的行为时，白盒方法往往比黑盒方法执行得更差。这一结果可归因于对不正确行为计算的决策模式的极低支持，如表4所示，四种情景中的最大值为27.6%。然而，我们确实观察到，与原始程序相比，DT学习和锚点的白盒方法通常会提高错误检测图像的比例，如表7局限性：我们的技术依赖于将具有高分辨率（例如在我们的示例中为1920 x 1200）的图像抽象为一小组语义特征的向量。在我们的实验中，我们能够获得高精度和覆盖率的紧凑规则。然而，我们确实注意到，在除自动驾驶之外的其他应用领域中，抽象可能导致欠确定的表示，这可能不会产生任何明显的模式。因此，为给定的应用领域适当选择基本特征的子集（通过使用SCENIC的适当定义来促进）是至关重要的。我们还注意到，我们实验的所有SCENIC程序都只包含均匀分布。此外，对于我们分析的每个场景程序，我们固定了摄像机的位置和在这些受限的设置中，我们能够提取出区分正确检测场景和错误场景的规则。6. 结论和未来工作我们提出了一个语义和编程框架，用于以程序的形式表征给定感知模块的成功和失败场景。该技术利用SCENIC语言来导出高级的、有意义的特征的规则，并生成符合这些规则的新输入。对于未来的工作，我们计划通过研究更一般的输入分布和转换，将这种方法应用到其他领域。7. 确认我们感谢Daniel Fremont对我们使用SCENIC的帮助，感 谢 Jinkyu Kim 和 Taesung Park 的 全 面 评 论 ， 感 谢Xiangyu Yue将GTA-V与SCENIC连接起来。该项目由NSF研究生奖学金（资助编号：DGE 1752814），NSF授予CNS- 1545126（VeetraL）、CNS-1739816和CCF-1837132，DARPA 的 Assured Autonomy 项 目 ， 伯 克 利 的 DeepDrive项目，以及iCyPhy中心下的丰田项目。这项工作部分是在2019年NASA Ames实习计划下完成的。11136引用[1] 锚定方法存储库。https://github.com/marcotcr/anchor. 5[2] Scenic Probabilistic Programming Language.https://github.com/BerkeleyLearnVerify/www.example.com 2[3] BabakAlipanahi ， AndrewDelong ， MatthewTWeirauch，and Brendan J Frey.通过深度学习预测DNA和RNA结合蛋白的序列特异性。Nature Biotechnology，2015. 2[4] L.作者：Breiman，J. Olshen和C.史东. 分类和回归树。Wadsworth和Brooks，Monterey，CA，1984年。5[5] 山·卡特，赞·阿姆斯特朗，路德维希·舒伯特，伊恩·约翰 森 和 克 里 斯 · 奥 拉 . 激 活 图 谱 。 蒸 馏 ， 2019 年 。https://distill.pub/2019/activation-atlas. 二、三[6] George E Dahl，Jack W Stokes，Li Deng，and Dong Yu.使用随机投影和神经网络进行大规模恶意软件分类在IEEE声学、语音和信号处理国际会议中，第3422-3426页。IEEE，2013。2[7] Alexey Dosovitskiy 、 German Ros 、 Felipe Codevilla 、Antonio Lopez和Vladlen Koltun。卡拉：一个开放的城市驾驶模拟器。在第一届机器人学习年会论文集，第1-16页，2017年。8[8] Tommaso Dreossi，Alexandre Donze和Sanjit A.塞希亚利用机器学习组件对网络物理系统进行组合伪造。在美国宇航局正式方法会议（NFM）的会议记录中，第357-372页，2017年5月。2[9] Daniel J.作者：张文辉，张文辉，张文辉.Sangiovanni-Vincentelli和Sanjit A.塞希亚Scenic：一种用于场景描述和场景生成的语言。第40届ACM SIGPLAN编程语言设计与实现（PLDI）年会集，2019年6月。二、三[10] Rockstar Games.侠盗飞车V Windows PC版本，2015。3[11] Ian Goodfellow，Patrick McDaniel，和Nicolas Papernot.使机器学习对对抗性输入具有鲁棒性。ACM通信，61（7）：56-66，2018。2[12] 放 大 图 片 作 者 ： Divya Gopinath ， Hayes Converse ，Corina S. Pasareanu和Ankur Taly。神经网络的属性推断。CoRR，abs/1904.13215，2019。5[13] 金、马丁·瓦滕伯格、贾斯汀·吉尔默、凯莉·J。放大图片作者：JamesWexle r，FernandaB. 维·艾格斯和罗里·塞尔斯。 超越特征属性的可解释性：概念激活向量定量测 试 。 在 Jennifer G.Dy 和 Andreas Krause ， 编 辑 ，ICML，Proceedings of Machine Learning Research，第80卷，第2673-2682页PMLR，2018。4[14] Tejas D Kulkarni、Pushmeet Kohli、Joshua B Tenenbaum和Vikash Mansinghka。图像：一种用于场景感知的概率编程语言InProceedings of theIEEE计算机视觉和模式识别会议，第4390-4399页，2015年。2[15] Himabindu Lakkaraju，Stephen H.巴赫和尤里·莱斯科维克。可解释的决策集：描述和预测的联合框架。在Proceedings of the 22nd ACM SIGKDD InternationalConference on Knowledge Discovery and Data Mining，San Francisco，CA，USA，August 13-17，2016，pages1675-1684，2016。3[16] Scott M Lundberg和Su-In Lee。解释模型预测的统一方法。在重症盖永诉卢森堡S. Bengio，H.瓦拉赫河Fergus，S. Vishwanathan和R. Garnett，编辑，神经信息处理系统进展30，第4765-4774页Curran Associates，Inc. 2017. 二、三[17] 亚历山大·莫德文采夫，迈克尔·泰卡，克里斯托弗·奥拉 。DeepDream ，https://github.com/google/deepdream. 二、三[18] NVIDIA。Nvidia tegra drive px：自动驾驶汽车，2015年。2[19] Zhongang Qi，Saeed Khorram，and Fuxin Li. 通过集成梯度优化来可视化深度网络。在IEEE计算机视觉和模式识别会议（CVPR）研讨会上，2019年6月。二、三[20] J· 罗 斯 · 昆 兰 决 策 树 的 归 纳 。 Machine learning ， 1（1）：81-106，1986. 4[21] Mar c oTu'lioRibeiro，SameerSingh，andCarlosGuestrin. 解释任何分类器的预测在Proceedings of the 22nd ACMSIGKDDInternationalConferenceonKnowledgeDiscovery and Data Mining ， San Francisco ， CA ，USA，August 13-17，2016，pages 11353[22] Mar c oTu'lioRibeiro ， SameerSingh ， andCarlosGuestrin.锚：高精度模型不可知解释。在第三十二届AAAI人工智能会议的会议记录中，新奥尔良，路易斯安那州，美国，2018年2月2日至7日，第1527-1535页，2018年。二、三、四[23] 兰 普 拉 萨 河 Selvaraju ， Michael Cogswell ， AbhishekDas，Ramakrishna Vedantam，Devi Parikh，and DhruvBatra. Grad-cam：通过基于梯度的定位从深度网络进行视觉解释。在IEEE国际计算机视觉会议，ICCV 2017，意大利威尼斯，2017年10月22日至29日，第618-626页，2017年。二、三[24] 桑吉特河Seshia、Dorsa Sadigh和S. Shankar Sastry人工智能验证. ArXiv电子印刷品，2016年7月。2[25] Daniel Smilkov，Nikhil Thorat，Been Kim，Fernanda B.Viegas和MartinWattenbe r g。 Smoothgrad：通过添加噪音来消除CoRR，abs/1706.03825，2017。二、三[26] Mukund Sundarararajan，Ankur Taly，and Qiqi Yan.深度网络的公理化属性。CoRR，abs/1703.01365，2017。二、三[27] 特里·瑟诺贝丝·阿特金森和布莱恩·瑞普利rpart：递归分区和回归树。511137[28] 尉迟天、裴可心、苏曼嘉娜、拜沙基雷。Deeptest：深度神经网络驱动的自动驾驶汽车的自动化测试。在第40届软件工程国际会议论文集，ICSE 2018，瑞典哥德堡，2018年5月27日至6月3日，第3032[29] MatthewWicker ， XiaoweiHuang ， andMartaKwiatkowska.深度神经网络的秘密引导的黑盒安全测试在系统构建和分析的工具和算法-第24届国际会议，TACAS 2018，作为欧洲软件理论与实践联合会议的一部分举行，ETAPS 2018，希腊塞萨洛尼基，2018年4月14日至20日，会议记录，第一部分，第408- 426页，2018年。4[30] 吴 碧 晨 ， Forrest N. Iandola ， Peter H. Jin 和 KurtKeutzer。Squeezedet：统一、小型、低功耗的全卷积神经网络，用于自动驾驶的实时目标检测。在计算机视觉和模式识别研讨会会议上，第446-454页3[31] Bolei Zhou ， David Bau ， Aude Oliva ， and AntonioTorralba.通过网络解剖解释深层视觉表征。CoRR，abs/1711.05611，2017。二、三[32] Jan Zilke ， Eneldo Menc 'ıa ， and Frederik Janssen.Deepred第457-473页，2016年10月。3