3D深度学习在对抗环境中的鲁棒性分析

117673D深度学习在对抗环境牛津大学Universityof邮箱：matthew. cs.ox.ac.uk牛津大学marta. cs.ox.ac.uk摘要了解真实世界物体的空间排列和性质对于许多复杂的工程任务（包括自主导航）至关重要。深度学习已经彻底改变了3D环境中任务的最先进性能;然而，对这些方法在对抗环境中的鲁棒性知之甚少。由于缺乏全面的分析，很难证明在现实世界中部署3D深度学习模型的合理性，安全关键型应用程序。在这项工作中，我们开发了一种算法，用于分析神经网络的逐点我们表明，目前的方法来理解国家的最先进的模型的弹性大大高估了他们的鲁棒性。然后，我们使用我们的算法来评估一系列的国家的最先进的模型，以证明他们的脆弱性遮挡攻击。我们表明，在最坏的情况下，这些网络可以减少到0%的classi- fication准确性后，最多6.5%的占用输入空间的闭塞。1. 介绍在过去的几年里，机器学习社区一直致力于将深度2D视觉算法的成功应用于3D环境。 虽然最初达到2D的性能水平很慢，但最近的进展已经将3D深度学习管道的准确性提高了约18%，在ModelNet 10和Model-Net40基准测试中[31]。现在，3D深度学习算法能够在标准基准测试中实现卓越的性能（目前达到95%的准确率），已经有许多令人鼓舞的尝试来使这些模型适应实时，安全关键的场景，例如空中无人机的着陆区检测[15]和自动驾驶车辆的物体识别和分类[20，32，3]。尽管最近取得了一些进展，但人们对这些管道的坚固性仍知之甚少。关于2D视觉算法的鲁棒性（或缺乏鲁棒性）的文献迅速增长，这使人们对2D视觉算法的稳定性产生了怀疑图1：尽管PointNet [21]能够在ModelNet40测试集上实现高准确度，但我们表明，通过利用诱导关键点集的低基数，我们可以导致网络在2048个点中只有32个点从点云中删除后，将一个穿着冬季外套和帽子的人错误分类为植物他们的3D亲戚。在这项工作中，我们证明了3D深度学习对对抗性遮挡缺乏鲁棒性，尽管随机输入遮挡的结果表明它们对扰动相对不变。考虑到将行人（如图1所示）误分类为植物可能导致自动驾驶车辆规划不良，因此对这些系统进行全面的测试方法至关重要，现实世界中的死亡事件突出了这一问题[9]。在过去的几年中，出现了许多制作对抗性示例的方法[25，13，19，28]，包括几个安全性验证框架[12，11]。与针对图像识别的深度学习模型由于其对不利示例的敏感性而存在的这在一定程度上是因为3D深度学习算法所使用的数据表示方案不适用于许多当前的鲁棒性分析工具（参见第2.2节中的讨论11768潜在翻译最大池化神经网络（一）神经网络潜在翻译卷积+最大池化层最大池化体素化/输入变换（b）第（1）款迭代显著性遮挡（d） 对抗性操纵（c）第（1）款临界点/潜在显著性计算图2：我们概述了最先进的3D深度学习管道的高级统一[21]这是一个恶魔的形象说明PointNet架构。（b）来自[10]的图，展示了特定体积网络的架构(c) 从点云和体积网络中提取的显着性表示，然后用于生成（d）最小的对抗性操作。通过统一基础3D深度学习管道的结构，我们解决了这个问题，并为这些系统未来的安全测试和验证方法奠定了基础理解3D深度学习管道的鲁棒性的价值不仅在于它们在安全关键系统（如自动驾驶汽车）中的潜在用途，还在于收集3D数据的非常嘈杂和不可预测的性质。模型很少会接收到关于它们试图识别的对象的全部信息;相反，它们将接收对象的单角度、部分遮挡的视图。在这项工作中，我们正式提出了一个框架，用于了解各种3D深度学习算法的性能。我们提出的高效算法可以很容易地用于进一步理解和提高未来3D深度学习算法的鲁棒性和性能。为此，我们为3D深度学习的研究提供了一些新的• 我们提出了体积和顺序不变的3D深度学习管道的统一视图，以利用对输入中微小变化的敏感性。• 我们开发了一种新的算法来制作对抗性的例子，并提供有关质量和存在错误分类的保证• 我们使用我们的算法对3D深度学习算法的鲁棒性使用体积和点云表示的算法。1我们首先简要介绍3D深度学习和深度学习算法的鲁棒性分析的相关背景。接下来，我们形式化了对抗性遮挡下的逐在说明问题后，我们给出了一个算法，可以在白盒和黑盒设置。进一步证明了该算法可以保证对抗样本的存在最后，我们使用该算法来攻击3D深度学习中的几个最先进的模型。2. 背景在本节中，我们的目标是概述3D深度学习领域以及深度学习算法鲁棒性分析的最新技术2.1. 3D深度学习当前3D深度学习方法的复兴可以归因于用于收集3D数据的廉价传感器的广泛可用性以及3D对象的大型标准数据集的发布多亏了这些数据集，1在https://github.com/matthewwicker/IterativeSalienceOcclusion上托管的所有实验的代码[29]117693D深度学习已经受到机器学习从业者越来越多的关注。这导致了标准基准测试中性能的显著飞跃这一进展在很大程度上归功于下文详述的新的数据表示方案。第一种用于深度3D形状分类的方法之一ShapeNet[31]通过以体积方式表示数据实现了77%的准确度。3D形状的体积表示涉及传递离散化的3D张量（通常是立方体），其中3D张量中的每个条目的值表示对象占据该空间的概率。ShapeNet被另一个利用体积方法进行形状分类的网络VoxNet[16]超越，VoxNet [16]利用计算昂贵的3D卷积，能够在模型网络基准上实现83%的分类准确度。体积方法在标准对象识别任务之外继续取得成功，并已用于无人机的着陆点识别[15]和3D驾驶场景中已经定位的对象的分类[32]。多视图表示多视图网络采用对象的完整3D模型，并从该模型生成一系列2D RGB图像，这些图像被馈送到2D视觉算法中，以实现分类。对象分类中的多视图方法[24]在准确性方面保持了一致的最新技术水平然而，在实时场景和对象识别中使用这些网络是不平凡的，并且在某些情况下是不可能的，这是由于它们固有地需要用于分类的对象的完整3D信息。点云表示最近的开创性工作齐等。[21]（在[27]和[22]中扩展）使用神经网络来学习点集函数，该函数直接从传感器（点云）获取输入，并能够对其进行分类而不需要昂贵的操作，例如转换到更膨胀的域（如体积度量和多视图表示方案的情况）或3D卷积。与体积方法相比，这些网络能够实现类似或更好的分类精度，并且它们的效率是无与伦比的。PointNets在无数不同的分类和分割任务中取得了成功。也许这项工作最有趣的是它们在识别自动驾驶汽车场景中的物体中的用途[20]。点云识别的先前工作在没有深度学习的情况下完成[26]。在这项工作中，我们不考虑多视图表示。首先，多视图表示将3D数据转换为2D图像的集合，从而使它们与用于图像类的鲁棒性分析的现有方法筛选器（例如，[19、2、25、13]）。此外，多视图网络需要关于所考虑的对象的完整3D信息，这在实时场景中操作时很少可用[2]同时分析这些方法的困难在于它们的体系结构组成差异很大。为了纠正这一点，我们将在以下框架下统一这两种方法（适用于体积和顺序不变的网络架构）：Data›→ Latent Translation›→ Pooling›→ FCN，其中FCN代表完全连接的网络，指的是具有潜在的几层完全连接的神经元的神经网络。3D深度学习的统一框架的细节将在第3节中详细介绍，不同表示的示例[16，21]在图2中给出。2.2. 深度学习的安全性对抗性示例的现象引起了人们对深度学习算法安全性的日益关注。一般来说，我们可以根据威胁模型（即，[18]《易经》中的“道”字，是指“道”字，也是指“道”字。攻击分为白盒算法和黑盒算法，这取决于对手可以访问模型的哪些方面我们说，一个可以访问模型的输入、输出、权重和架构的算法是一种白盒方法，因为它可以查看模型内部以确定最佳攻击。另一方面，黑盒攻击只能在仔细检查的情况下查询模型，或者在某些极端情况下，算法可能只能访问输入输出对。算法可以进一步分解，这取决于它们能够提供什么样的关于它们所制作的对抗性示例的保证;如果算法能够保证它找到最小的对抗性示例，或者如果它找不到对抗性示例，则可以保证对抗性示例不存在，那么我们认为它是验证算法，这与启发式搜索算法相反，启发式搜索算法不保证任何精心制作的对抗性示例的质量或存在。在我们对这些方法的回顾中，我们试图只对相关的工作做一个简短的总结，而不是对该领域进行详尽的处理。白盒启发式算法对抗性示例的第一次探索之一在[25]中被报道，它将对抗性示例的发现框L2范数下的约束优化问题 这是[18]后又有一种“以物易物，以物易物”的说法。Rithm在[25]中提出了一种新的攻击方法，并将其推广到L∞公制白盒攻击冰毒的最新技术[2]尽管使用了多视图这个术语，[3]实际上指的是多模态视图的融合，而不是多个单峰视图。11770[0，1]X[0，1]然而，ods是CW攻击[2]，它使用不同的优化问题来生成更精确的（即，更类似于原始输入）对抗示例。白盒验证算法验证神经网络的早期尝试将分类器简化为线性系统，并将验证过程公式化为一组线性约束的潜在解决方案最近的工作已经成功地将这种方法扩展到整流线性单元，通过采用单纯形法的扩展来求解方程组[12]。其他方法使用不同的迭代细化，以找到对抗性的例子或证明不存在。这方面的早期尝试（DLV）通过网络的连接使用多路径搜索，通过有限离散化彻底探索输入周围的区域[11]。另一种白盒验证方法采用全局优化[23]。黑盒算法发现对抗性示例的第一个黑盒方法之一涉及训练代理模型，然后对代理模型[18]。这种方法依赖于将攻击从替代模型转移到真实模型，但这被证明是经验有效的。此外，在黑盒设置中也使用了迭代方法来验证神经网络，例如[28]，它使用详尽的输入层探索，以制定最佳的l0攻击图像。 对该方法进行了细化和改进在[30]中利用Lipschitz连续性。据我们所知，3D深度学习管道的鲁棒性工作完全集中在随机遮挡上。在[21]中，他们提出了一个具体的鲁棒性声明，该声明源于临界集的存在。在这项工作中，我们将把临界集的概念推广到体积网络，并将推翻他们的主张，以表明，y为Ny（x）。最后运用| · |为了表示基数（即，唯一元素的数目）的集合（其中元素属于R3）。在第2.1节中，我们提到了几乎所有深度3D分类算法可以分解为两个功能，一个功能将输入转换为潜在表示，另一个功能基于该潜在表示进行分类我们将输入x的潜在平移表示为L（x）=l，其中l是d维潜在向量上的最大池化操作的结果（具体细节在下面给出在该潜在转换之后，我们使用y=M（l）来表示来自FCNM的最大池化潜在向量l的输出。总之，这意味着我们将原始神经网络N分解为函数M（L（x））的组合。PointNets如第2.1节所述，PointNets设计用于处理原始点云数据.形式上，PointNet的输入x是（如我们的表中所示）一组n个点从R3归一化到单位立方体。 一个主要挑战处理这类数据的一个事实是，n！一个输入的可能顺序。因此，PointNet必须是对称函数（即，顺序不变）。这是使用数据的潜在翻译来实现的本质上输入的每个分量xi（R3中的一个点）都被传递通过一系列向更高维度的平移，通过卷积运算降低。在最初的PointNet论文中，[21]，每个点xi∈R3通过CNN（卷积神经网络）转换为R64，然后这个64-对一维向量进行一维卷积运算。重复类似的过程，直到网络到达n个1024维潜在向量，此时所有n个1024维向量被最大汇集成单个代表性1024维潜在向量，L. 我们刚才描述的过程将（如以前的人-虽然在理论上，临界集可以提供鲁棒性，但在实践L点：R3×n›→R1024。的这其实是一个可以利用的弱点进一步讨论见第5节。3. 鲁棒性分析在本节中，我们将形式化的想法和符号，使我们能够分析3D深度学习管道的鲁棒性。3.1. 3D数据的表示我们将神经网络N：X<$→ Y设为一个具有域X和余域Y的函数。输入或对象是向量x={x0，.，xn}其中xi∈R3.在本文的其余部分，我们将假设该域是一个R3这样的集合的集合，x∈ <$2[0，1]。此外，我们将定义Y是每个对象的可能类的集合。出去-网络关于x的输出为N（x）=y，其中y∈Y。此外，我们将网络表示为x属于某个类的有符号概率（或置信度）原始PointNet体系结构如图2所示。体积网络与PointNet相比，体积网络具有更规范的潜在向量平移在一个体积网络的第一步，假设输入是一组向量从R3，是translation到一个体素化立方体（在第2.1节中描述）。在VoxNet [16]的情况下，输入立方体x∈Rd×d×d通过三维卷积算子，为立方体产生m个不同的过滤器;这被重复多次，然后得到一系列的m-许多 s×s×s立方体被传递到一个完全连接的网络中。因此，我们将m个按比例缩小的立方体的平坦化版本作为潜在平移L体积的输出。当然，简单的卷积神经网络并不是唯一一种被研究的体积网络。许多流行形式的2D CNN已经被扩展[3]请注意，这在[21]中明确完成，以便获得阶不变输入。11771迭代样本遮挡仅移除56个点错误分类-统计分析28%置信度分类为汽车85%置信度随机遮挡删除1385误分类-飞机12%置信度图3：一辆汽车，虽然最初被正确地分类为高置信度，但很容易被改变为沙发，只有26点变化。原始输入已用红点标记，以表示存在于关键集中的输入的所有部分。直接到3D。在图2中还可以看到体积3D管道的分解的示例。考虑到我们将3D深度学习管道分解为潜在翻译和全连接网络（FCN），似乎可以简单地使用标准的鲁棒性分析技术攻击FCN，然后将潜在向量投影回环境空间。不幸的是，目前几乎所有制作对抗性示例的方法都不适合3D的安全性测试深度学习管道最流行的生成对抗性示例的方法使用l∞或l2范数。针对这些操作的优化鼓励将输入的所有（或几乎所有）分量改变某个小值±N。这对于体积表示是不合适的，因为输入的每个分量表示该分量被占用的概率，并且将场景中的每个非占用点分配为具有占用对象的± 1/3概率是不现实的。此外，在点云表示方案的情况下，使用对点云表示方案输入（在不同的方向上）具有将输入带到自然数据流形之外的潜力，也就是说，如果不确定性是不可忽略的，则我们可能破坏使其可被人类识别的输入的底层结构。这种现象的例子存在于自然图像中的适度值的[6]，因为点云是很多图4：我们采用了与图3相同的模型，并生成了一个针对VoxNet架构的输入对抗示例。模型显著性的细节可以在图8中找到。在这种情况下，我们转向l0范数优化的攻击算法。l0范数攻击只是针对对输入所做的更改的数量进行优化。 我们注意到基数算子|·|允许由L0范数所允许的操作的子集。这优先考虑维护点云的底层结构，同时允许遮挡、引入虚假特征以及数据位置的少量移位。在下一节中，我们将详细说明在3D数据上制作具有对抗性遮挡的对抗性示例的问题的形式化。3.2. 阻塞攻击在诸如2D行人识别和面部识别的任务中，已经在几种不同的模型下研究了遮挡[14，17]。在评估决策网络的安全性时，考虑遮挡输入是有价值的，因为行人、车辆或感兴趣的对象并不总是处于完整和清晰的视野中。这些闭塞可能并不总是自然的，无论如何。事实上，通常情况下，来自传感器的数据（点云）表现出随机性。因此，必须对某些数据可能丢失的情况由于点云和体积域不如图像域丰富，因此无法直接使用预先开发的遮挡模型。作为替代，我们简单地将x的遮挡定义为某个x′x，并设置优化以找到定义的最小遮挡如：如果不进行操作，人类更难识别，似乎对所有点进行全面改变，arg min（|X| − |x′|）S.T.N（x′）x′xN（x）（1）实践中，使许多点云无法识别人类。当然，如果我们有一个n点输入，2n-1个可能的遮挡，可能满足这个条件迭代样本阻塞错误分类为沙发-仅删除26个点32.3%置信度分类为汽车- 94%置信度随机采样遮挡1905个点误分类为水槽-21.2%置信度11772nnn我nobjective. 为了减少这个搜索空间，我们将使用潜在平移的概念来定义临界点集Cx（焦v.Cn），这是在[21]中引入的概念。我们再次区分我们对临界集的使用，注意到在这项工作中，我们将其推广到体积网络，并明确使用它来显示模型的弱点，而不是假设鲁棒性：C x={x i∈x|L（x/xi）/= L（x）}⑵其中我们定义x/xi为不包含xi的x的值。也就是说，当且仅当从输入中移除值会影响输入的潜在表示时，临界点集中存在值。 对于L点，我们知道，x i∈Cx，如果nij，l i≥l j. 此外，我们知道，对于L体积，xi ∈Cx，如果<$lj∈η（li），α（li）≥α（lj）其中α（li）表示ac-卷积4之后的第x个输入体素的激活值，以及η（xi）表示在平坦化和全连接网络之前的潜在平移的最后一层的池化邻域。这两个公式都要求我们使用向量l，这意味着该方法需要白盒访问网络才能找到对抗性示例;然而，我们稍后将证明，通过利用我们对3D深度学习方法的了解，我们的攻击算法确实可以在黑盒设置中工作。迭代显著性遮挡给定上述计算临界点集的能力，我们提出以下简单算法来随机探索和迭代改进遮挡攻击。算法1迭代显著性遮挡一曰： 程序ISO（N，y，x，g）2：x′←x3：当g（N，y，x，x′）4：Cn←CalcCn（N，x′）5：Cn←Rank（Cn）可以根据显着性来计算和排序临界点集，并假设Rank永远不会将相同的排列返回两次，直到它用尽了所有其他选项。算法中的所有操作都使用标准的集理论符号。我们的算法有几个属性，使其成为理想的方法，用于评估最坏情况下的遮挡。首先，该算法是任意时间的，这意味着该算法可以在给定任何用户定义的终止条件的情况下终止，我们将其编码为布尔函数g，该布尔函数g是该算法的输入。 函数g可以编码敌对目标，包括：降低置信度（Ny（x）−Ny（x′）> k），制作对抗性示例（N（x）/=N（x′）），或制作目标对抗性示例（N（x′）=y′）。也可以稍微改变算法，使其返回最佳对抗性例如，它在指定的时间内找到。除了随时，我们可以证明，在PointNet架构的情况下，该算法（目前是白盒）可以在黑盒设置中运行。定理1. 给定一个输入x和一个PointNet网络N，我们可以在黑盒设置中计算临界集Cn，假设M中的所有权重都不为零。证据对于每个xi∈x，我们可以通过从x中移除xi并检查网络的最终输出来确定它是否存在于临界集中。如果xi∈Cn，那么根据定义，输出将由于消除其对l的贡献而改变。如果xi/∈Cn ，则输出不会改变，因为l不会改变。最后，该算法具有作为验证方法的优势，这意味着它提供了关于以下两者的保证：（1）如果存在则找到对抗性示例，以及（2）如果存在则找到满足等式1的对抗性示例。下面我们表明，如果我们设置g，使得当且仅当所有可能的Cs排列都已被检查时，它返回真，则必须满足等式1。R3定理2. 给定一个输入x∈2[0，1]和一个神经网络，6：对于xi∈Cn，7：if（N（x′）/=y）8：休息9：如果（Ny（x′/xi）≤Ny（x′））10：x′←x′/xi11：对于xi∈x−x′do12：if（N（x′ <$xi）/=y）13：x′←x′xi14：if（N（x′）/=yandg（N，y，x，x′）/=true）15：x′←x16：返回x′在ISO算法中，我们将Rank函数用于[4]注意，由于卷积算子的下采样，多个xi工作N满足我们的框架，我们可以证明ISO算法将找到满足Eq. 1.一、证据首先，如果存在一个反例，我们必须通过穷举搜索找到它这是因为Rank函数将允许我们检查所有可能的manip-关键集的计算顺序，并且我们设置g函数，使得算法不会终止，直到出现这种情况。接下来，我们知道，对于每个被检查的操作顺序，我们必须为该顺序产生最小的可能子集，因为算法的第11- 13行上的迭代细化（任何不必要删除的点将被添加回来）。这意味着如果一个对抗性的例子存在，我们会找到它，并且我们找到的任何例子都必须是最小的。117734. 评价鉴于ISO算法的优势，我们将用它来证明，在几乎所有情况下，随机遮挡都大大高估了3D深度学习管道的鲁棒性这一发现加剧了进一步研究开发强大的3D深度学习算法和方法以检查其安全性的需求。为了研究所提出的算法在点云和体积表示上的有效性，我们在ModelNet10和ModelNet40基准测试[31]以及从KITTI自动驾驶汽车的LIDAR传感器中提取的3D对象上重新训练了VoxNet [16]和PointNet [21]网络架构[7]。在所有情况下，根据各自论文中提供的训练细节，对网络进行了50次训练使用ModelNet中预定义的测试训练分割，所有经过训练的网络在测试集上的准确度都在4%以内。在训练每个网络之后，我们从测试集中抽取了200个对象，以评估每个模型的鲁棒性。在ModelNet10的情况下，网络以2秒的截止时间进行测试，以找到对抗性示例，而在ModelNet40的情况下，ISO算法的截止时间为5秒。另一方面，随机阻塞算法只是简单地给出了数据的随机排列，并以该随机顺序删除数据，直到发现错误分类，此时它将报告需要删除的点的数量。正如我们在图6.a和7.a中所看到的，随机遮挡报告的结果与[21]中报告的结果非常匹配。在200个对象的集合中，我们跟踪网络的准确性如何随着我们从每个模型中遮挡更多点而变化在最坏的情况下，VoxNet在Model-Net 40上训练，它只需要6.5%的输入的遮挡，以便将网络的分类精度降低到0%图6和图7的更容易解释的版本存在于表1中。我们看到，一般来说，使用随机遮挡而不是ISO算法会高估网络对遮挡的鲁棒性约60%。此外，我们看到，每个模型都降低到低于10%的分类精度，只要ISO算法有时间处理一半的数据。5. 讨论从我们的理论分析来看，准确分析3D深度学习架构的关键组成部分之一一方面，似乎希望有一个具有低临界集基数的网络，也就是说，一个只考虑输入的几个关键点以做出决策的网络。很明显，临界集中的点的数量与有效性(a)（b）第（1）款图5：在ModelNet 10和ModelNet 40上训练的Point- Net的关键集基数分布。这些分布是通过对1000个试验集模型的临界点集基数计算得到的图 6 ： ModelNet 10 （b ） 和Mod-elNet 40 （ a ） 上 的PointNet鲁棒性蓝色图表示随机遮挡引起的准确度变化，而红色图表示ISO遮挡引起的准确度变化。在（a）中，我们还从[21]中执行的相同随机遮挡测试中提取了值。of a random随机occlusion闭塞approach方法.例如，随机网络将选择对任何给定输入点云的分类重要的点的概率精确地等于临界集的基数除以输入中唯一点的基数另一方面，似乎低临界点集基数将直接导致所提出的ISO算法的成功，因为它只操纵存在于临界集中的点。PointNet在图5中，我们看到ModelNet输入的关键集的基数为2048个点，徘徊在450到500个点之间，大约是数据的四分之一。鉴于平均临界点集基数约为输入模型的25%，我们想强调ISO算法在删除25%数据后的性能网络不会立即崩溃到0%分类精度的原因是，在从临界点集中删除一个点之后，有一个新点成为临界点的开口。尽管有这种复杂性，我们的简单算法允许我们随着遮挡的增加而获得准确度的最终，这增加了我们对临界点集的修改与网络整体鲁棒性之间联系的虽然定义PointNet的临界集很简单，但VoxNet（以及一般的体积方法）提出了一个更困难的问题。与PointNet不同，11774架构数据集方法0%发生率25%发生率50%发生率75%发生率95%发生率VoxNetModelNet10随机的百分之七十九点八72.1%百分之六十六点九百分之五十一点九百分之十点九ISO百分之七十九点八百分之一点零0%的百分比0%的百分比0%的百分比ModelNet40随机的76.1%百分之六十点九百分之三十九点一百分之十二点三百分之二点零ISO76.1%0%的百分比0%的百分比0%的百分比0%的百分比KITTI随机的71.5%百分之五十五点五30.0%13.5%百分之六点五ISO71.5%0%的百分比0%的百分比0%的百分比0%的百分比PointNetModelNet10随机的86.1%84.0%83.0%百分之七十九点二百分之六十点二ISO86.1%百分之二十七百分之五0%的百分比0%的百分比ModelNet40随机的82.5%百分之七十九点四百分之七十八点二74.3%35.9%ISO82.5%百分之十七点九4.1%0%的百分比0%的百分比KITTI随机的73.0%72.5%72.0%68.5%百分之四十点五ISO73.0%百分之四十九点五百分之三十七点五0%的百分比0%的百分比表1：所有测试数据集（ModelNet10，ModelNet40和KITTI）的不同水平的随机和迭代显着性遮挡的分类准确性降低图7：图遵循与图6相同的格式。ModelNet10（b）和ModelNet40（a）上的VoxNet鲁棒性在ModelNet40基准测试中，将网络性能降低到0%需要大约6.5%的阻塞率。在关键集合中的成员是二进制的情况下，卷积体积网络产生连续的显著性值。这意味着输入中的每个点都存在于临界集中。为了纠正这一点，我们设置了一个阈值来确定哪些点是关键点。为了与PointNet的分析保持一致，我们将关键集的识别阈值设置为输入的最显著的25%。这在图8中可视化;然而，当我们看表1中的25%遮挡点时，我们看到我们可以强制几乎所有的例子被错误分类。本文中提出的方法的一个目的是在评估可能在实时、安全关键场景中使用的3D深度学习管道时，引入并鼓励使用替代指标来提高准确在这项工作中计算显着性的方法可以直接用于[28，30，1]的框架中，以便导出分类安全性的界限。通过制定更强大的处理点云数据的管道，将大大有助于3D深度学习泛化的改进。11775图8：对于体素化输入，（a），我们按照第3.1节所述计算我们将点的潜在显着性归一化为显着性分布。不同的四分位数（q1-黄线，q3-红线（b））给我们一个相对显著性的概念;在（c）中，我们将输入中的每个点映射到其显著性，其中绿色表示最不显著，红色表示最显著。然后，临界集被认为是落在所有计算的显著性值的上25%中的任何点，这已经在（d）中可视化。6. 结论在这项工作中，我们证明了由3D深度学习管道中的潜在空间平移引起的临界点集，对于点云和体积表示，暴露了对抗性遮挡攻击的漏洞我们表明，在最坏的情况下，黑盒验证方法可以在每个输入示例仅使用4秒的情况下，将网络的准确性降低到0%，尽管最多可以操纵6.5%的输入。确认这 项 工 作 得 到 了 EPSRC 移 动 自 主 计 划 资 助（EP/M019918/1）的部分支持。11776引用[1] L. 卡德利M. Kwiatkowska，L. 劳伦蒂，N. 宝莱蒂A. Patane和M.柳条贝叶斯神经网络鲁棒性的统计保证arXiv电子打印，2019年3月。[2] N. Carlini和D.瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会（SP），第39-57页[3] X. Chen，H.Ma，J.万湾，澳-地Li和T.夏用于自动驾驶的多视角三维第6526[4] S. Choi，Q. Zhou，S. Miller和V.科尔顿。对象扫描的大型数据集。CoRR，abs/1602.02481，2016。[5] M. De Deuge，A.夸德罗斯角Hung和B.杜拉德用于户外三维扫描分类的无监督特征学习。澳大利亚机器人与自动化会议，ACRA，2013年1月。[6] G. F. Elsayed，S.尚卡尔湾Cheung，N. Papernot，A.库拉金岛。Goodfellow和J.索尔-迪克斯汀欺骗人类和计算机视觉的对抗性例子。CoRR，abs/1802.08195，2018。[7] A. Geiger，P. Lenz，和R.盖革，等.乌塔松我们准备好了吗？Kitti Vision基准套件。在CVPR 2012，2012。[8] I. Goodfellow，J. Shlens和C.赛格迪解释和利用对抗性的例子。2015年，国际会议[9] T. Griggs和D.若林自动驾驶Uber如何在亚利桑那州杀死一名行人，2018年3月。[10] V. Hegde和R.扎德Fusionnet：使用多种数据表示的3d对象分类。CoRR，abs/1607.05695，2016。[11] X. Huang，M. Kwiatkowska，S. Wang和M.吴深度神经网络的安全性验证。在CAV中，第3-29页，Cham，2017年。施普林格国际出版社.[12] G. 卡 茨 角 W. Barrett ， D. L. Dill ， K. Julian 和 M. J.Kochenderfer。Reluplex：一个有效的SMT求解器，用于验证深度神经网络。在CAV，2017年。[13] A. 马德里 A. 马克洛夫 L. 施密特 D. 齐普拉斯 和A.弗拉多面向抵抗对抗性攻击的深度学习模型。在ICLR，2018年。[14] M.马蒂亚斯河贝嫩松河Timofte和L. V.Gool 用分类器处理闭塞。ICCV 2013，第1505-1512页，2013年12月[15] D. Maturana和S.谢勒3D卷积神经网络-用于激光雷达着陆区检测。2015年IEEE机器人与自动化国际会议（ICRA），第3471-3478页[16] D. Maturana和S.谢勒VoxNet：用于实时对象识别的3D卷积神经网络InIROS，2015.[17] J. Noh，S.李湾Kim和G. Kim.改进单级行人探测器的遮挡和硬负处理在CVPR 2018，2018年6月。[18] N. Papernot，P.麦克丹尼尔岛Goodfellow，S.Jha Z.B.Celik和A.大师针对机器的学习在2017年ACM亚洲计算机和通信安全会议上，ASIA CCS'17，第506-519页。ACM，2017。[19] N. Papernot，P. D. McDaniel，S.贾，M。Fredrikson，Z.B. Celik和A.大师深度学习在对抗环境中的局限性。2016年IEEE欧洲安全与隐私研讨会（EuroS P），第372-387页[20] C. R.齐，W. Liu，C. Wu，H. Su和L.吉巴斯从RGB-D数据中进行3D物体检测的平截头体点网 在CVPR 2018中。，第918-927页[21] C. R. Qi，H. Su，K. Mo和L.吉巴斯Pointnet：对点集进行深度学习，用于3D分类和分割。2017年IEEE计算机视觉和模式识别会议，CVPR 2017，第77-85页[22] C. R.齐湖，加-地Yi，H. Su和L.吉巴斯Pointnet++：度量空间中点集的深度层次特征学习。在神经信息处理系统的进展30：2017年神经信息处理系统年会。，第5105-5114页[23] W.阮，X. Huang和M.奎亚特科夫斯卡具有可证明保证的深度神经网络的可达性分析。在IJCAI 2018。，第2651-2659页[24] H. Su，S. Maji、E. Kalogerakis和E.学习米勒。用于三维形状识别的多视图卷积神经网络。ICCV 2015，第945-953页，2015年12月[25] C. 塞格迪，W。扎伦巴岛萨茨克弗布鲁纳D。二涵I. J. Goodfellow，和R。费格斯。神经网络的有趣特性CoRR，abs/1312.6199，2013年。[26] D. Z.王和我。波斯纳在线点云目标检测中的投票。在Proceedings of Robotics：科学与系统，罗马，意大利，2015年7月。[27] Y. Wang，Y.太阳，Z.Liu，S.E. Sarma，M.M. 布朗斯坦，还有J. M.所罗门用于点云学习的动态图CNN。arXiv电子打印，扬。2018年。[28] M. Wicker，X.Huang和M.奎亚特科夫斯卡深度神经网络的安全性测试。系统构造与分析的工具与算法- 第24届国际会议，TACAS 2018，第408- 426页[29] M. Wicker和M.奎亚特科夫斯卡3D深度学习在对抗环境中的鲁棒性。arXiv电子打印，2019年4月。[30] M.吴先生，M.柳条W.阮X.Huang和M.奎亚特科夫斯卡基于游戏的深度神经网络近似验证与可证明保证。ArXiv电子打印，2018年7月。[31] Z. Wu ， S. Song ， 中 国 黑 杨 A. Khosla 和 J. 萧 3dshapenets：体积形状的深度表示。（CVPR）2015，第1912-1920页，2015年6月[32] Y. Zhou和O.图泽尔Voxelnet：基于点云的3D对象检测的端到端学习。在CVPR 2018中，第4490-4499页