点云网络的全局可解释性

4741可视化点云DNN的全局解释谭含笑AI Group，TU Dortmundhanxiao. tu-dortmund.de摘要到目前为止，很少有研究人员针对点云神经网络的可解释性。 由于这些网络的结构特点，部分解释方法不能直接应用于这些网络。在这项工作中，我们表明，激活最大化（AM）与传统的像素级正则化未能产生人类可感知的全局解释点云网络。我们提出了新的基于生成模型的AM方法，以清晰地勾勒出全球的解释，并提高其可理解性。此外，针对现有评价方法的局限性，提出了一种综合评价方法，该方法同时考虑了激活值、多样性和可感知性。大量的实验表明，我们的生成为基础的AM方法的性能优于基于正则化的定性和定量。据我们所知，这是第一次研究点云网络的全局可解释性的工作。我们的代码可从以下网址获得：https：//github.com/Explain3D/PointCloudAM.1. 介绍点云是最广泛使用的三维表示数据形式之一。传统的CNN由于其不规则性，不能直接应用于点云数据。最近，一些研究提出了用于点云的各种深度然而，到目前为止，很少有人关注点云网络的可信度。在自动驾驶等事关人命的领域，没有可信度的车型将带来潜在风险。可解释性的研究在解决可信人工智能问题中起着重要之前的研究提出了大量的可解释性方法，包括基于梯度的方法[34，4，32，36，35，38]和基于局部代理模型的[28，16，29]，其生成对特定输入实例的事后局部解释。全局可解释性方法是另一种解决方案允许对整个黑盒模型进行包容性解释，例如代理模型简化[14]和激活最大化（AM）[25]。虽然上述方法有助于处理表格和图像数据的模型的可靠性，但很少讨论点云网络的可解释性。由于特定的架构，点云网络具有与传统的多宽度卷积神经网络不同的特性（例如，[10]发现点云网络学习的特征非常稀疏），这表明点云网络的可解释性研究可能会导致新的发现。另一方面，由于缺乏基本事实，难以定量评估所生成的解释的准确性，并且人类评估是高度主观的，因此缺乏说服力和可再现性。对于AM，一些先前的研究已经使用定量度量来评估合成图像的质量[21，18，46]。然而，我们认为，这些传统的指标作为- sessed的性能是既不全面，也不精确的点云网络。这项工作致力于研究流行的点云网络与AM的全局解释，这可视化点云模型从整个数据集的分布中学习到什么。我们还表明，基于非生成网络的图像AM方法不适用于点云（见图1），并提出了点云网络全局可解释性的生成AM方法。此外，我们提出了一个更有说服力和全面的评价指标点云AM，并证明我们的点云AM方法优于所有其他方法，无论是在人类认知水平，定量评估。我们的贡献主要概述如下：• 作为第一个研究点云网络全局可解释性的工作，我们证明了非生成AM方法无法生成人类可理解的解释。为了解决这一挑战，我们提出了基于生成模型的AM方法，该方法描述了点云网络的全局特性。4742• 我们为点云AM提出了一个令人信服的评估指标：点云激活最大化分数（PC-AM S），它同时捕获生成的AM示例的激活值、多样性、人类感知级别和物理级别的真实性。本文其余部分的组织结构如下：第二节介绍了点云的可解释性方法，特别是AM和相应的评价方法。第3节提出了点云的生成式AM方法第4节展示了我们的实验结果，我们在第5节总结了我们的工作。2. 相关工作在这一节中，我们介绍了流行的可解释性方法，回顾了已提出的AM方法，并陈述了点云神经网络可解释性研究的当前进展。可解释性方法：与使决策过程可理解的可解释性方法相反，可解释性方法旨在阐明黑盒模型的操作原理，其机制与决策周期不一致。可解释性方法根据其对象分为两组：本地和全球解释者。本地解释器通常通过跟踪梯度[34，4，32，36，35，38]或采用代理模型和Pertur生成对应于单个输入的解释。[28，16，29]。尽管如此，基于梯度的可解释性方法被认为是嘈杂的，并且在最近的健康研究中，发现部分方法与模型无关[2]。基于代理模型的方法需要大量的扰动实例作为训练数据集，因此计算密集。局部可解释性方法的另一个常见缺点是缺乏整体数据集的整体视图，从而增加了从本质上理解决策过程的成本。全局解释器通过展示其固有特性来提供关于整个数据集而不是单个输入实例的解释。对于每个分类情况，全局解释可能并不精确，但是，它提供了模型如何工作的更直观的表示。全局解释通常以以下形式呈现：[14]从原始模型中提取用户可理解的决策规则对于计算机视觉任务，列出特征重要性是具有挑战性的，因为大量的未对齐特征。作为一种替代方案，AM，从而提出了直观的全球性的解释，生成高度代表性的例子，特定的类。激活最大化（AM）：AM是一个高级别的特征可视化技术是由[9]首次提出的。 AM选择一个目标激活单位，它通过优化输入向量，同时冻结DNN中的所有其他神经元。然而，在没有任何先验或约束的情况下，AM将合成人类无法理解且无法解释的马赛克图像优化约束，如L2范数[33]，高斯模糊[44]，总变差[17]或先验，如平均图像初始化[24]和补丁数据集[41，20]，成功地合成具有清晰轮廓的对象图像，因此有助于解释。增强AM图像可理解性的另一种解决方案是使用生成模型来学习真实对象的分布。[22，46，18，15]利用自动编码器和GAN来产生高质量的AM图像。[21]提出了即插即用嵌入生成网络，同时解决高分辨率和合成AM图像的多样性。此外，[43]提出了一种基于进化算法的黑盒AM方法。然而，点云在结构上不同于传统图像DNN，使得上述AM方法不能直接应用于点云网络。此外，评价AM图像的质量具有挑战性，到目前为止，大多数先前的工作依赖于主观的人类直觉作为评价标准。[21]通过Inception Score（IS）访问AM图像的清晰度和多样性[30]。[18]结合了Fre'chetInceptionDistance（FID）[13]来估计生成的AM示例与潜在空间中的真实实例之间的相似性。AM评分是[46]提出的另一个评估指标，它是从IS中改进而来的，解决了数据类别分布不均匀的问题。点云的可解释性研究：目前点云可解释性研究相对较少[45]追踪关键点以生成显著图点云网络的一部分。[10]是第一个结合可解释性方法的工作，他开始通过集成参数（IG）观察点云网络的内在特征[39]进行了一项后续研究，提出了一种基于局部代理模型的方法来解释点云网络。然而，上述方法的一个局限性是，局部可解释性方法只关注特定的输入，很难呈现整个点云网络的内在属性。3. 方法在本节中，我们将演示点云的AM方法（第3.1节）以及点云AM的拟议评估指标（第3.2节）。4743∈{|}{∼LCC∼Σ3.1. 全局解释和AM全局可解释性可以被认为是数据分布和模型行为的总结相对于局部可解释性，它更关注整体模型和数据的内在属性，而不是个体决策的可解释性。全局可解释性可以通过各种技术来实现，通过泛化模型决策规则[12]或通过训练全局代理模型[19]。对于点云，由于3D空间中的高维度和结构复杂性，上述方法具有挑战性。由于点云模型的结构是不透明的，很难概括其决策条件。可解释的全局代理模型由于无法模拟复杂的体系结构而经常遭受显著的性能下降[19]。AM是对点云的更直观的全局解释，它可视化了最大化特定激活的实例，并向人类呈现特定类别的全局代表性输入[31]。为了在DNN中可视化这种激活，[9]提出了AM，其表述为：xmax= argmax（al（θ，x））（1）提出的模块。点云NN的AM：通常，作为点云模型的输入的实例可以表示为P=p i i=1，.，NRN×D，其中N是点数，D是尺寸（如果附有颜色信息，则D = 6，否则D = 3）。该模型输出一个logits向量 fc（P）RNc×1，其中Nc表示类别数. 我们的目标是建立一个模块，它输出一个P g，argmaxfi（P g），和OgPx，其中fi（P g）表示logits的第i次激活，Px表示数据集X中的真实实例。 我们的方法首先训练一个模块，该模块在RN ×D空间中搜索具有与P x相似分布的示例，然后过滤掉那些最大化目标激活的示例。点云自动编码器（AE）：现有的研究[1]已经证明，自动编码器可以重建点云实例，具有高水平的恢复。他们使用逐点卷积，然后使用对称池层将点云编码为1维潜在表示，并构建一个简单的多层，完全连接的网络来解码潜在向量。我们遵循他们的设计，并利用自动编码器（AE）学习的dis-encoder-xi=真实数据。 点云AE包括其中x和θ分别表示DNN中的输入实例和参数，并且al（θ，x）表示第i个neu。两个分量，编码器hAE和生成器（解码器）gAE。编码器hAE的输入是点云罗恩 lth我层.所选图层通常是最后一个图层实例Px∈RN×D，输出是一个潜在编码的向量V∈R1×k，其中k是可调维数（logits），因为该层的输出可以被认为是对应类的预测概率，而中间层中的神经元不具有语义。然而，没有任何先验知识的2D AM遭受生成具有不可识别的高频马赛克的示例[23]。一些研究调查了具有非生成先验的正则化AM示例，例如L2参数.生成器gAE将V作为输入，并生成具有与Px和PgPx相同维度的点云Pg。AE的详细结构如图所示。S4.在训练时，我们使用Chamfer Distance度量(CD)损失信用证，公式为：范数、高斯模糊和总变差[33，44，17]。而上述改进措施取得了进展，LgAE =LC1= |PG|minp∈Ppm— pn2（二）由于人类对2D图像的可解释性，在处理点云时，其有效性受到严重影响（见图1）。 我们认为，一方面，点云网络的特征相对稀疏，实例的全局结构信息严重受损[10]，另一方面，基于邻接的正则化由于点云的无序性而失败。为了解决结构信息的稀缺性，我们尝试搜索受两个强制性限制的输出：它们在网络的高级高度激活神经元（等式1），并且处于与人类可识别的数据集类似的分布下。前者是一个简单的任务，只需要通过反向传播最大化点云网络的激活对于后者，我们选择生成模型来约束生成的点云的分布尽可能真实。我们的方法的概要如图所示。2.在下面的内容中，我们将详细介绍n gpm∈P x带有判别器的自动编码器（AED）：虽然AE能够在高级别上重建点云实例，但它不足以作为全局解释，因为多样性是可解释性的重要属性[7]。在AM优化阶段添加高斯噪声是一种潜在的解决方案。然而，无限制的噪音倾向于降低解释的质量，而不是提高其多样性。因此，我们提出了具有鉴别器的自动编码器（AED），其基于具有两个增强的AE：a Δ Dc和潜在距离损失F。D c在GAN中的作用类似：而AED的生成器（g AED）试图通过生成误导Dc将其分类为真实实例的假实例来欺骗Dc，并且Dc试图正确地识别两者。 Dc的输入也是一个N×D的点云，输出是概率 pb∈[0，1]（对于真实实例，pb→1;对于假实例，pb→0）。 我们建立判别损失4744LDAEDLDDAEDDAEDDAEDDAEDL×LG∈GG∈VcnGΣLL−L−L →−图1.AM用于没有生成先验的点云（类由于点云网络的特定架构，传统的正则化先验（对于2D图像）无法生成人类可感知的全局解释。更多详情可在第二节中找到。S1.1.图2.点云AM体系结构的一般概述绿色和灰色的条分别代表向量和网络在点云网络中，黑色和蓝色圆圈分别代表中间层和最后一层（激活）的神经元粗黑色箭头和细绿色箭头分别表示前向推理和后向传播。dDAED如：其中Dc为Δ，其公式为其中wF、wD是相应的权重，G表示生成器欺骗判别器的损失LDAED =Dc（Pg）−Dc（Px）（3）tor，即−Dc（Pg）。 AED的详细架构注意，d的值域是[ 1，1]。我们观察到，由于在训练期间Dc的性能容易优于gAED（d 1因此，我们每批只交替训练其中一个：如果d<0，我们只训练g AED，反之亦然。此外，如果判别器表现过度（d<0. 75），我们将高斯噪声添加到其参数中以破坏性能。潜在距离损失F测量两个输入之间的特征区分。我们选择第二卷积层的输出用于测量，其是维度N128的隐藏向量。潜在距离损失计算如下：在S5中显示。带鉴别器的噪声自动编码器（NAED）：尽管多样性增强，但实践表明由AED生成的样本遭受不稳定性。为了解决这个问题，我们继续在AED的基础上完善结构。有两个主要的改进：a）将高斯噪声添加到编码器，以及b）引入另一全局潜在距离正则化。前者实现起来很简单，只需要将高斯噪声插入编码器中每层的输出然而，实验表明，这是显着的（见第二节。S1.5）。对于后者，回想AED中使用的潜在距离正则化，其潜在向量从编码器的第二卷积层提取。然而，由于不规则性，点的卷积层1LF=|V c|minV∈VcMXBZVM— vn中国（4）云网络通常只提取本地特征，全球信息在《易经》中，我们有一个比喻。其中Vc和Vc表示第二卷积器的输出可调损耗LF2，通过计算潜在的x g从最大池化层输出的距离。那个...在编码器中的lutional层，分别用真实实例和生成的示例计算。F可以被认为是在潜在空间上计算的CD。AED的最终生成损失公式为：LgAED=LC+wFLF−wDLDAED（5）测量结果与Eq. 3，唯一的区别是局部向量Vc被替换为全局向量VRk。NAED的最终生成损失被公式化为：LgNAED=（LC+wFLF+wF2LF2）−wDLDNAED（六）v4745DNAEDGL∈∈LL2∞∼ N ∼ NG我pn∈xnLL其中wF2是F2的权重，g是NAED的区分损失，计算方法与DAED相同。NAED的详细架构如图所示。S6.AM优化：在上述模块经过良好训练后，我们将它们与点云模型连接起来。最后的优化过程是我们初始化一个潜在向量ViniR1×k并用生成器（g（N）AE（D））解码。 这里生成了初始化的点云示例P iniRN×D。随后，P ini被馈送到整个编码器-解码器系统中，并且我们提取输出的P i′ni和丢失的D（N）AED，这迫使生成的示例接近真实的示例（对于AE不存在 DAE，但是为了公平，我们也重复这个编码和解码过程）。然后我们得到目标激活-但它并不便于人们理解模型的特性。以FID为代表的潜在特征度量在特征层次上度量了特征之间的区别，在理论上有很好的应用前景，在二维生成模型中得到了广泛的应用我们遵循[37]中的FID，该FID比较了PointNet架构的全局特征。尽管如此，我们观察到该度量对于AM是脆弱的（参见表1：随机初始化的实例实现与来自生成模型的那些一样高的FID分数，尽管它们不被人类很好地感知）。我们认为，由于点云网络中相邻关系的稀缺性，点云的稀疏性在一定程度上影响了FID。PC-AMS：针对上述方法的局限性，我们提出了一种复合AM评估方法，ft（P′）值）并通过反向传播优化V ini。公制：PC-AMS。 我们的PC-AMS公式如下：尼报AM优化损失的一般术语为：（log（FIDPN）+log（CD））t′PCAMS=ISm−（八）2−（fc（Pini）+LD（N））AED）（7）此外，受[24]的启发，我们计算数据集的平均值并将其编码为Vini，以便初始分布不会显著偏离真实数据。当优化过程被卡住时，我们将高斯噪声引入到Vini中以摆脱局部最优值。最后，优化在达到一定数量的迭代后停止3.2. 点云AM大多数先前的研究通过向人类展示示例来评估可解释性然而，这种方法成本高且相对主观。我们的目标是找到一个定量的测量，这是既符合人类的感知和计算评估在一个全，ISm表示修改的初始评分（M-IS）[11]，其公式为：ISm=eE x i[E x j[（KL（p（y|xi）||p（y|（9）其中xi和xj表示具有相同标签的不同实例。除了相应的活动的值，M-IS更集中于类内生成的示例的多样性，而不是类间标签的多样性。因此，我们利用M-IS，其采用类内示例内的预测的交叉熵M-IS的取值范围为[1，Nc]。FIDPN表示基于PointNet的FID，其公式为：日期为：的方式。由于没有针对点云AM提出的度量，我们列出了三种类型的度量，FIDPN =0µr — µg+Tr（σr +σg1-2（σrσg）2）（十）激励值或原型相似性：以IS [30]或AM评分[46]为代表的激活目标指标旨在评估logits中某个神经元的最大化然而，这一系列的方法只通过计算logits的熵来评估生成质量，而人类感知水平的差异对于点云，他们无法区分没有先验知识的AM方法和基于生成模型的AM方法，尽管后者显然更容易被人类理解。由Lp（2D）、Chamfer和Hausdorff距离（3D）表示的逐像素度量解决了迫使所生成的实例逐像素地近似于真实物体的问题。然而，符合这些标准的实例可能会失去“全局可解释”的能力，什么其中，A r（µ r，σ r）和A g（µ g，σ g）是来自参考网络的激励，可近似视为高斯分布。FID测量两个分布之间的距离，较低的FID分数意味着生成的示例与真实实例更接近，因此具有更高的可感知性。然而，标准参考网络Inception-v3不再适用于FIDPN，因为图像的多宽度卷积核不能从无序点云中提取相邻特征。在[37]之后，我们将PointNet的主干替换为Inception-v3，并从最大池（全局特征）之上的层中选择激活。FID的取值范围为[0，+]。由于FIDPN的脆弱性，我们引入了一个附加的感知性度量：CD，公式为：提出一个发电机，完美地重建原来的-即使距离损失可以最小化到0，1CD（x，x）=最小值-p（十一）|Xg|pm∈xgM我2Σ4746∞−∞ΣΣN−×−EMD（x，x）=i=1j=1其值范围也是[0，+]。虽然CD更精确地估计示例之间的相似性，但它作为AM的评分标准缺乏通用性。为了缓解这一缺陷，我们从数据集中随机抽取了几个与生成的示例具有相同标签的实例，并计算CD的平均值我们通过将FID和CD与M-IS在数量级上按比例缩放到相同的数量级来最终确定上述三个度量PC-AMS的最终值字段是[，Nc]。此外，我们在第4节中引入了另一个用于比较的逐点距离：地球移动器的距离（EMD），其公式为：关于ModelNet40零和随机初始化虽然高度激活所选择的神经元，但由于缺乏先验，仅导致个体点的扩展，因此无法产生人类可理解的全局解释。在2D图像中，使用测试数据的平均值进行插值的效果更好然而，在点云，可解释性并没有显着增强相比，无先验的方法，因为在中心的点簇挣扎，以渲染常见对象的分布。从特定实例初始化虽然最好地概述了对象，但是，“全局”的信息是缺席的，即，整个数据集的一般分布。对象的轮廓从输入实例乌姆登Pri，jdi，j而不是全局激活优化（十二）过程前者倾向于暴露更多的本地信息-gimi=1nj=1 Pri，j对于特定的输入，因此更一般-其中Pri，j表示中的点的成对组合，xg和xi，di，j表示它们的空间距离。总之，当评估点云的AM解释时，PC-AMS同时考虑激活值（M-IS）、多样性（M-IS4. 实验在本节中，我们定性地展示了我们提出的点云适用AM的生成示例（第4.1节），并显示了现有点云AM方法的定量评估（第4.2节）。此外，在4.3节中，我们还提供了一个示例，说明了所提出的预测检验方法的应用场景。在我们的实验中，我们选择ModelNet40 [42]作为测试数据集，它包含40个常见类中的12311个CAD模型，是目前使用最广泛的点云数据集。此外，我们还在ShapeNet [6]的分类集上测试了我们的方法，该分类集由55个类中的45969个点云实例（35708个用于训练，10261个用于测试）我们选择PointNet作为我们的主要实验模型，它是原始点云深度学习的先驱我们还在最流行的点云模型中验证了我们的结果，即，PointNet++ [27]和DGCNN [40]。在AM生成过程中，我们将AE的潜在维度设置为128，学习率为5e6。AM优化在2 104次迭代后停止。所有引入的高斯噪声都是（0，1e5）。当训练生成模块时，所有损失权重都是1（例如wF、wF2和wD对于定量评估，我们为每个类生成10个AM示例，并且我们从数据集中随机选择5个真实实例作为计算FID和CD的基线，并对相应结果进行平均。4.1. 点云AM可视化可感知性：图3显示了由各种应用程序生成的常见类在对抗性攻击中使用的盟友。此外，由于点云的不规则性，结合传统的正则化（L2、高斯模糊和全变分）也不能产生全局可感知的解释。相比之下，我们的发电机与潜在的先验在形状一致性和人类感知方面占主导地位。在生成方法中，AE提供的AM示例直观上更稳定，特别是与AED提供的示例相比。我们认为这是由于没有噪声机制和奇异性的损失项。在AE中，除了防止优化过程陷入局部最优的神经元最大化模块之外，不包含噪声，并且生成器通过单倍CD损失进行训练，这仅迫使输出逐点近似于真实对象。这些机制将生成的示例的轮廓规则化，以精确地重建为来自数据集的真实实例，而输出则缺乏多样性。另一方面，在AED和NAED中，多重损失函数平衡了在逐点和潜在特征水平上近似数据集的约束与AE相比，这个模块会导致输出几何结构的一些崩溃，但是通过引入带有一个扩展的对抗学习，生成器仍然能够重建真实物体的轮廓，同时丰富它们的多样性。此外，我们惊讶地发现，在训练期间将级联高斯噪声并入编码器进一步增强了AM输出的质量和多样性。我们在下一小节中介绍了世代多样性。多样性：AM质量的另一个关键因素是多样性。在图4中，我们可视化了从生成库中随机选择的每个生成AM方法的5个示例我们还展示了数据集中最高度激活神经元“表”的五个例子从图中可以看出，AE比其他类型更稳定，但缺乏多样性。相比较而言，4747图3.不同方法的AM结果从左到右：零初始化，随机初始化，用每个类的测试数据的平均值初始化，从特定实例初始化，用L2范数，高斯模糊和全变差正则化，以及我们提出的AE，AED和噪声NAED。显然，除了实例初始化之外，基于非生成模型的方法在AM示例的可感知性方面存在严重缺陷此外，从某个实例初始化的AM示例缺乏更多的定性比较可以在图中找到。S2.图4.不同的世代。我们从（从上到下）1）最高度激活神经元2）随机选择3）来自AE 4）AED 5）NAED代的实例中选择5个实例。可以看出，AE生成的示例虽然稳定，但多样性严重不足。AED增强了多样性，但存在不稳定性，其中部分生成的示例无法感知。NAED在多样性和稳定性方面都表现出色。AED和NAED都描述了对象的多样性，而AED在稳定性方面有些不足。我们对每个模块进行了消融研究，并在第2节中展示了结果。S1.5。ShapeNet 上 的 实 验 ： 我 们 还 展 示 了 通 过 采 用ShapeNet作为实验数据集的方法生成的类“飞机”的AM结果，与ModelNet40类似，AE呈现的全局解释也仅表现出最小的空间偏移，而AED和NAED在对象轮廓的多样性方面优于AE。主观上，由于在训练过程中引入了噪声，NAED生成的示例更稳定4.2. 点云AM视觉评估AM全局解释是高度主观的，因此我们通过表1中提出的方法定量评估结果。由于没有现有的AM研究点云，我们认为没有事先和逐点事先的方法作为我们的基线。注意，就FID而言，具有随机初始化的AM也实现了令人满意的损失，而示例几乎无法被人类区分，这导致无法准确地捕获示例之间的感知距离。因此，我们引入CD作为另一种正则化。我们还将EMD验证的逼近的例子。根据比较，我们的生成AM方法（潜在先验）在PC-AMS方面占主导地位。虽然AE具有最小距离损失，但它遭受分集的显著缺点，这导致M-IS低于其他方法（这与图4中的演示一致）。此外，图3报告了ShapeNet上的相应评估，从中可以看出，我们提出的方法在不同的数据集上始终实现了类似的性能。我们还评估了所提出的方法在不同点云网络上的性能，并在表2中给出了结果。作为参考，我们在图5中显示了相应可视化的示例。我们注意到AED执行不稳定，特别是在解释PointNet++时，它偶尔无法生成可感知的结构（第二行的中间图PC-AMS中也显示了这一点：在表2中，通过使用AED解释PointNet++获得了最低分数。我们注意到的另一个有趣的观察是[37]提出的基于全局特征的FID在某种程度上只测量为了验证，我们合成了随机分布的，因此完全“不相似”的大小实例我们给出的例子是uni-形式分布Pu<$U（−r，r），正态分布4748N≈≈m-ISFIDCDEMDPC-AM零1.113零点一一九0.266 364.35 2.84与真实物体的相当大的FID，因为他们没有初始化随机1.081零点零一六413.52 3.85平均值1.001零点零七0.230 377.20 2.90可识别的几何结构。 然而，如图S7所示，显示，FID（更亮的蓝线）显着地实例1.0150.071个单位228.87 3.57L2范数1.0010.256个单位0.139 375.93 2.66正则化高斯模糊1.000 0.4200.148 372.88 2.38电视1千0.0920.376490.842 2.67NAED表1.点云AM的PC-AMS评估度量。EMD也被引入用于逐点距离验证。请注意，由于点云没有可比的全局可解释性方法，因此我们将传统AM视为基线。基线的详细说明可参见第2.2节。S1.1.PNm-IS1.085FID0.016CD0.044EMD143.13PC-AM4.71AEPN++1.1030.0080.041134.165.12DGCNN1.0200.0100.105252.824.43PN1.1240.0180.086241.354.37AEDPN++1.1070.0200.122255.464.12DGCNN 1.358 0.013 0.109 343.15 4.632009年12月31日NAED PN++1.8660.011 0.072 236.425.43DGCNN 1.316 0.015 0.109 335.51 4.52表2.不同点云模型的PC-AMS评估，其中PN和PN++表示PointNet和 PointNet++。图5.最流行的点云网络的AM可视化：PointNet，PointNet++和DGCNN。该方法适用于所有点云网络。m-IS FID CD EMDPC-AM AE 1.0120.0170.047 147.874.571.146迪拉姆0.012 0.076 208.02 4.65203.744.75表3.ShapeNet上的定量评估Pn（0，σ2），其中r从0增加到1，σ从0增加到0。1，以表示具有不同“扩散度”的输入为了比较，我们随机选择真实的对象从数据集，并计算其FID与同类的对象。理论上，FID的表现与人类的判断一致。随机分布的人工样本应该显示出信号，随着实例的点扩展而增加（r=0. 1且σ=0。02）。 当扩散达到阈值（r0. 2和σ0。05），FID无法区分无意义的点云与真实物体（深蓝色线），尽管我们仍然可以通过CD和EMD观察到它们之间的差异一个更好的点云适用的感知性度量生成的例子，在潜在的距离是一个很有前途的研究方向。4.3. 数据审查AM解释可以促进人类对DNN的操作行为的理解。作为一种全局可解释性方法，AM描述了模型学习到的理想输入。当模型的性能得到充分保证时，我们认为AM的结果应该是来自相应类的对象轮廓的因此，我们可以利用这一特性来审查那些被错误分类的输入实例示例如图S8所示数据集中具有“植物”标签的几个实例观察第二列和第三列，AM正确地描述了模型中相应神经元的对象轮廓，没有任何混淆。为了验证，我们还使用点云适用的LIME [39]（最后一列）为这些实例生成解释。这两种解释的结论是近似的，模型给出的解释与人类感知中对它的预测标签是一致的。5. 结论这项工作提出了三个生成模型为基础的AM方法，显着提高感知的生成的例子，同时也保持其多样性。提出了一种综合评价指标，平衡了激活值、多样性和可感知性.结果表明，我们的生成式AM方法优于基于正则化的定性和定量方面。 对于今后的工作，我们期待着更高效的AM生成方法以及底层神经元的可视化，进一步探索点云神经网络的工作机制。鸣谢。这项研究由德国联邦教育和研究部以及北莱茵-威斯特伐利亚州资助，作为拉马尔机器学习和人工智能研究所LAMARR 22 B的一部分生成性AE型号AED1.085零点零一六0.044 143.131.1240.0180.086 241.354.714.371.4610.014个单位0.074 207.654.894749引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas Guibas.三维点云的学习表示与生成模型。国际机器学习会议，第40-49页。PMLR，2018。[2] 朱利叶斯·阿德巴约，贾斯汀·吉尔默，迈克尔·穆利，伊恩·古德费洛，莫里茨·哈特和比恩·金。显著性图的健全性检查。arXiv预印本arXiv：1810.03292，2018。[3] 马 丁 ·阿 乔 对 ky ， 苏 米 特 ·钦 塔 拉 和 Le'onBottou 。Wasserstein生成对抗网络在机器学习国际会议上，第214-223页。PMLR，2017年。[4] Sebastian Bach等关于逐层相关传播对非线性分类器决策的逐像素解释。PLoS ONE，10（7）：1[5] 朱塞佩·卡斯卡奇奥、克里斯托夫·莫尔纳和贝恩德·比舍尔。可视化黑盒模型的特征重要性。在联合欧洲会议机器学习和知识发现数据库，第655-670页。Springer，2018.[6] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimming Li，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，et al. Shapenet：一个信息丰富的3D模型存储库。arXiv预印本arXiv：1512.03012，2015。[7] RobertoConfalonieri ， LudovikCoba ， BenediktWagner，and Tarek R Besold.可解释人工智能的历史透视。Wiley 跨学科评论：数据挖掘和知识发现，11（1）：e1391，2021。[8] Ian Covert，Scott Lundberg，and Su-In Lee.理解全局特征 贡 献 与 附 加 重 要 性 度 量 。 arXiv 预 印 本 arXiv ：2004.00668，2020。[9] Dumitru Erhan 、 Yoshua Bengio 、 Aaron Courville 和Pascal Vincent。可视化深度网络的高层功能蒙特利尔大学，1341（3）：1，2009。[10] Ananya Gupta，Simon Watson，and Hujun Yin.使用基于梯度的方法解释三维点云特征。2020年国际神经网络联合会议（IJCNN），第1-8页。IEEE，2020年。[11] Swaminathan Gurumurthy，Ravi Kiran Sarvadevabhatla，and R Venkatesh Babu.Deligan：生成对抗网络-适用于多样化和有限的数据。在IEEE计算机视觉和模式识别会议论文集，第166-174页[12] 塔梅鲁·海勒斯拉西 深度神经网络的规则提取算法：审查. arXiv预印本arXiv：1610.05267，2016年。[13] Martin Heusel、Hubert Ramsauer、Thomas Unterthiner、Bernhard Nessler和Sepp Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。神经信息处理系统的进展，30，2017。[14] SM Kamruzzaman，MD Islam，et al.医学诊断问题的人工 神 经 网 络 规 则 提 取 算 法 arXiv 预 印 本 arXiv ：1009.4566，2010年。[15] Alexander Katzmann ， OliverTaubmann ， StephenAhmad ， Ale xanderMuhlberg ， MichaelSuhling ，andHorst-Michael真恶心使用周期一致性激活最大化解释医学成像中的临床决策支持系统。神经计算，458：141[16] 斯科特·M Lundberg和Su In Lee。解释模型预测的统一方法。神经信息处理系统进展，2017年12月（第2节 ）：4766-4775 ，2017 年 。arXiv 预 印本 ，arXiv：1705.07874。[17] Aravindh Mahendran和Andrea Vedaldi。使用自然前图像可视化国际计算机视觉杂志，120（3）：233-255，2016。[18] Saumitra Mishra，Daniel Stoller，Emmanouil Benetos，Bob L Sturm，and Simon Dixon.基于Gan的神经网络解释 的 生 成 和 自 动 选 择 。 arXiv 预 印 本 arXiv ：1904.09533，2019。[19] 克里斯托夫·莫尔纳可解释的机器学习第2版，2022年。[20] Alexander Mordvintsev Christopher Olah和Mike Tyka 。猜想主义：深入研究神经网络。2015年。[21] Anh Nguyen ， Jeff Clune ， Yoshua Bengio ， AlexeyDosovit- skiy，and Jason Yosinski. 即插&即用生成网络：潜空间中图像的条件迭代生成。在IEEE计算机视觉和模式识别会议论文集，第4467-4477页[22] Anh Nguyen 、 Alexey Dosovitskiy 、 Jason Yosinski 、Thomas Brox和Jeff Clune。通过深度生成器网络合成神经网络中神经信息处理系统的进展，29：3387[23] Anh Nguyen，Jason Yosinski和Jeff Clune。深度神经网络很容易被愚弄：无法识别图像的高置信度预测。在Proceedings of the IEEE conference on computer visionand pattern recognition，pages 427[24] Anh Nguyen，Jason Yosinski和Jeff Clune。多面特征可视化：揭示深度神经网络中每个神经元学习的不同类型的特征。arXiv预印本arXiv：1602.03616，2016。[25] Anh Nguyen，Jason Yosinski和Jeff Clune。通过特征可视化理解神经网络：A Survey，第55-76页。SpringerInternational Publishing，Cham，2019.[26] Charles R Qi， Hao Su ，Kaichun Mo， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在IEEE计算机视觉和模式识别集，第652[27] Charles R Qi，Li Yi，Hao Su，and Leonidas J Guibas.Point- net++：度量空间中点集上的深度层次特征学习。arXiv预印本arXiv：1706.02413，2017。[28] Marco Tulio Ribeiro Sameer Singh和Carlos Guestrin。“我凭什么相信你？“解释任何分类器的预测。ProceedingsoftheACMSIGKDDInternationalConferenceonKnowledge Discovery and Data Mining ， 13-17-Augu ：1135-1144 ， 2016.arXiv 预 印 本 ， ar