DUP-Net：3D对抗点云防御

1961DUP-Net：用于3D对抗点云防御的杭州周克江陈伟明张晓涵方文博周能海于中国{zh2991，chenkj，fanghan，welbeckz}@ mail.ustc.edu.cn{zhangwm，ynh}@ustc.edu.cn摘要神经网络容易受到对抗性样本的攻击，这对神经网络在安全敏感系统中的应用构成了威胁。我们提出了一个去噪和上采样器网络（DUP-Net）结构作为3D对抗点云分类的防御，其中两个模块通过删除或添加点来重建表面平滑度。 本文将统计离群点去除算法和数据驱动的上采样网络分别作为去噪器与基线防御相比，DUP-Net有三个优势。首先，使用DUP-Net作为防御，目标模型对白盒广告攻击更具鲁棒性。其次，统计离群值去除提供了增加的鲁棒性，因为它是不可微的去噪操作。第三，上采样器网络可以在小数据集上进行训练，并且可以很好地抵御来自其他点云数据集的恶意攻击我们进行了各种实验，以验证DUP-Net是非常有效的防御在实践中。我们的最佳防御消除了83.8%的C W和l2损失为基础的攻击（点转移），50.0%的C W和Hausdorff距离损失为基础的攻击（点添加）和9.0%的显着图为基础的攻击（点下降）在PointNet上200下降点。1. 介绍深度学习在几类机器学习问题上表现出了卓越的性能，尤其是分类任务。这些深度神经网络（DNN）从大量训练数据中学习模型，以高精度高效地对未见样本进行然而，最近的工作已经表明，DNN容易受到攻击者通过向原始输入添加不可感知的扰动而恶意创建的对抗性示例的攻击不利扰动的示例已被部署到at-tack图像分类服务[18]、语音识别系统[5]和自动驾驶系统[34]。*通讯作者。迄今为止，已经提出了许多算法来生成2D图像的对抗性示例。当模型参数已知时，称为白盒攻击的范例包括基于计算网络梯度的方法，例如FGSM [9]，IGSM [10]和JSMA [23]，以及基于解决优化问题的方法，例如L-BFGS [29]，Deepfool [21]和Carlini Wagner（CW）攻击[3]。在无法访问模型的情况下，称为黑盒攻击。由于DNN对对抗性示例的鲁棒性是一个关键特征，因此迫切需要考虑针对对抗性示例增加鲁棒性的防御，并且可以分为三个主要类别：输入变换[7，19，20]，对抗性训练[29]和梯度掩蔽[22，41]。除了防御之外，在将对抗性示例输入网络之前对其进行检测是另一种抵御攻击的方法，例如MagNet [20]和基于隐写分析的检测[17]。LiDAR和RGBD相机等3D传感器的普及引起了许多关于3D视觉的越来越多的可访问数据促使数据驱动的深度学习方法实际用于许多领域，包括自动驾驶仪[24，43]，机器人[12，6]和图形学[35，13，31]。点云是表示三维几何图形最自然的数据结构之一。在DeepSets [40]，PointNet [4]及其变体[26，32]解决了不规则数据格式的难题之后，点云数据可以直接由DNN处理，并已成为3D计算机视觉任务的有前途的数据结构。Hua等人[11]提出了一个逐点卷积算子，可以输出每个点的特征，它可以提供有竞争力的精度，同时易于实现。Yang等[36]基于网格形状和纹理构建损失以生成对抗性示例，其目的是将优化的“对抗性网格”投影Xiang等[34]攻击点云建立在C W损失和点云特定的扰动度量上，具有高成功率。 Zheng等[42]提出 一种恶意降分方法，1962伊日里基于学习整个点云的显著性图的点云，其为每个点分配反映其对模型识别损失的贡献的分数。Liu等[16]提出了几种基于迭代梯度的攻击方法和基于输入恢复的防御方法。Yang等[37]提出了利用临界点特性攻击神经网络分类系统的点分离策略，并介绍了几种扰动防御方法。对抗性示例在3D点云分类中表现良好2.2. 对抗性攻击的现有方法点转移。Xiang等[34]提出了一种基于C-W框架[3]的点扰动的不可见对抗点云。C W是一种基于优化的攻击，它结合了模型分类精度的可微代理。它通过解决以下优化问题来生成对抗性示例：minD（X， X+δ）+c·f（X+δ）可能会引起一些不方便的问题，甚至是...安全问题。 因此，对3DδS.T. X+δ∈[ 0，1]n（一）点云对抗实例是急需的。基于基于上述推理，本文提出了一种对抗点云的防御方法，通过训练去噪和上采样网络（DUP-Net）来减轻对抗效果。据我们所知，这是第一个证明在推理时点删除和点添加操作对减轻3D数据集上的对抗效应的有效性的工作，例如，ModelNet40.我们将我们工作的主要贡献总结如下：• 我们提出了两个新的防御模块来减轻对抗点云，与基线方法相比，具有更好的性能。• 利用去噪层的不可微性--统计离群点去除来抵御恶意白盒攻击。• 上采样器网络可以在小数据集上进行训练，并且可以很好地抵御从其他点云数据集生成的对抗性攻击。我们进行了全面的实验来测试我们的防御方法对点移动/删除/添加攻击的有效性[34，39]。第4节中的结果表明，所提出的DUP-Net可以显著减轻对抗效应。2. 相关工作2.1. 点云和PointNet点云是从对象表面采样的一组点 考虑具有n个点的3D点云，表示为X={xi|i=1，2，…n}，其中每个点 xi是其xyz坐标的向量。[25]以及Qi等人提出的PointNet [26]变体。利用一个符号，度量函数，最大池，以减少无序和维数灵活的输入数据到一个固定长度的全局特征向量，并使端到端的神经网络学习。他们证明了PointNet的鲁棒性，并介绍了临界点和上界的概念。位于临界点和上界之间的点集产生相同的全局特征，因此PointNet对缺失点和随机扰动具有鲁棒性。这种攻击寻求获得最小扰动D和促使网络错误地分类对抗示例的解决方案。对于非目标攻击，f（X）是用于测量输入和敌对对象之间距离的损失函数，定义如下：f（X）=max（Z（X）true−max{Z（X）i}，−κ）（2）I true其中κ表示调节模型可传递性和扰动度的裕度，Z（X）是logit向量。Xiang等转移现有的点可以忽略不计，并采取不同的，f （ X ， X′ ） （ lp 范 数 、 Hausdorff 距 离 和 Chamfer 测量），其中X′代表对抗点云。Liu等[16]将快速迭代梯度法推广到不同维数的微扰球表面。点添加。Xiang等[34]还提出了基于点添加的攻击与CW和Hausdorff/Chamfer测量。因为直接给联合国加分-由于搜索空间很大，受限的3D空间是不可行的，他们提出了一种初始化和移位方法来为每个添加的点找到合适的位置。此外，对于对抗性聚类，它们最小化生成的聚类的半径Yang等[37]开发一种单像素攻击的变体[28]，使用逐点梯度方法仅更新附加点，而不改变原始点云。点下降。对于任何点云X，Qiet al. [25]证明存在一个子集CX，即临界子集，它决定了所有最大池化特征max{h（xi）}，因此PointNet的输出仅为xi∈X适用于类似于γmax{h（xi）}的网络结构。xi∈X从视觉上看，C通常均匀地分布在X.从这个意义上说，在C中丢弃点也可以生成对抗性点云。Zheng等[42]通过首先构建显着图来提出基于点s= −rαrL，（3）我我伊布尔其中rα<$L=（xi−xc） ·gi（内积），xc是云中心，gi是正交坐标下的梯度我19632图1：我们的DUP-Net防御方法的管道。输入点云首先通过统计离群点去除层去噪，然后通过预训练的上采样神经网络进行上采样然后将预处理的点云馈送到分类神经网络中。gi=<$xiL（X，y;θ），α是一个重标度超参数。具有n/T最低si的点被丢弃，并且操作对于T循环迭代执行。Yang等[37]开发类似于[42]的点分离策略，该策略利用临界点属性迭代分离最重要的点以混淆被攻击的网络。2.3.现有的防御对抗训练。对抗性训练[9，15，30]是针对对抗性攻击的最受研究的防御之一，它使用对抗性示例来增强训练集，以提高模型对抗性训练提高了目标模型在对抗性样本上的分类精度。简单随机抽样。在统计学中，一个简单的随机抽样，或简称SRS，是从一个更大的集合中选择的个体的子集，其中每个样本都是以相同的概率随机选择的。对于包含n个点的X，我们从X中随机抽样r（r n）个点，Pi（X）={1x|x∈X，1x∈Ber（0.（5）}，（4）其中x是从Bernoulli（0. 5）分布来指示后采样集中点X如[37]中所述，高斯噪声和量化是点云的另两个基本防御，类似于图像对抗示例的防御。3. 对抗点云的防御对3D点云进行防御的目标是建立一个对对抗性示例具有鲁棒性的网络，即，该算法能够正确地对对抗点云进行分类，而对干净点云的分类性能损失很小 从形式上讲，给定一个类-一个量化模型f和一个输入X，其可以是一个原始输入X或对抗性输入X′，防御方法的目标是增强数据以训练鲁棒的f′，使得f′（X）=f（X），或者将X变换为非线性变换 T，使得f（ T（X） ）=f（X）。为了实现这一目标，我们提出了一种由去噪器和上采样器形成的方法，如图1所示，该方法在分类网络的前面添加了离群值去除层和上采样网络，以实现网络鲁棒性。这些层是在ModelNet40 [33]数据集上的点云分类的背景下设计的，并与经过训练的分类器f结合使用。德-防御函数表示为D：X′→X′，其中X′表示去噪和上采样的点云。灵感来自于-为了生成更密集和均匀的点集[39]，我们将损失函数定义为L （ X ， X<$ ） =Lrec （ X ， X<$ ） +βLrep （ X ，X<$）+γεθ<$2，（五）其中Lrec是重建损失，Lrep 是排斥损失。θ表示网络参数，β平衡重构损耗和排斥损耗，γ表示重量衰减的乘数。3.1. 统计离群值去除（SOR）针对三维扫描仪生成的原始点云数据中存在离群点的问题，Rusu等提出了一种基于离群点的三维点云数据处理方法。[27]提出了统计离群值去除方法（简称SOR），该方法通过计算平均值μ和标准值μ来校正这些不规则性最近邻距离的标准偏差σ，并修剪落在μ±α·σ之外的点，其中α取决于所分析邻域的大小。我们使用k-最近邻（kNN）去除离群值。具体地，将点云X的每个点xi的k个NN点集定义为knn（xi，k）。那么平均距离19641我我.′我我我我每个点xi到其k个NN的距离di表示为1di= 1ΣKxj∈knn（ xi，k）i = 1，. . . ，n.（六）0.80.60.40.2计算所有这些距离的平均值和标准偏差以确定距离阈值：Σn00 50 100 150 200 250 300点云1d<$=1nd i，i = 1，. . . ，n，（7）我0.80.60.40.2.Σnσ=，n 我（di−d<$i）2.（八）00 50 100 150 200 250 300点云我们修剪落在μ±α·σ之外的点，并且修剪后的点集X’通过下式获得：X′={xi|diT （ X ， X′ ，<$）}，（十一）其中x′∈X′，T（X，X′，X ′）是每对点的l2范数的阈值，由被认为是对抗点的点的比率控制对于基于Hausdorff或Chamfer的损失，Xadv定义为：Xadv={x′|min<$m−x′<$2>T（X，X′，<$）}，（12）m∈X图2：分别在PointNet网络上基于l2和Haus-dorff损失的目标对抗示例下的pSOR和pSRS比率λ设定为0。04.图3：点云上采样网络（PU-Net）的网络架构。因为SOR方案将离群值识别为统计模式中的对抗点，而不是像SRS那样随机猜测我们选择了300个点云作为测试示例来验证上面的推断，如图2所示。大多数点云的pSOR大于pSRS，这意味着SOR比SRS丢弃更多的对抗点。因此，SOR比SRS具有更好的对抗点云防御3.2. 上采样网络我们的目标是保护一个分类模型f，其中x′∈X′，T（X，X′，λ）是Haus-对手生成的扰动点云我们dorff/切角X′中的每个点与点集X之间的距离，由X控制。通过等式（10），我们获得了adversar的百分比SOR和SRS方法的端点p，并将它们表示为pSOR和pSRS。预期pSOR>pSRS简单随机抽样统计离群值去除l2损失豪斯多ff损耗pp1965这种方法的动机是流形假设[44]，它假设自然图像或点云位于低维流形上。已知扰动的点云位于自然点云的低维流形之外，其由深度网络近似。我们1966算法1去噪和上采样点作为防御输入：点云X，最近邻数k，离群截断参数α和网络参数θ输出：预测标签l1：初始化X′=X2：通过等式（6）计算每个点xi到其最近的k个邻居的平均距离di3：通过等式（7）和（8）计算所有这些距离的平均值d'和标准差σ4：对于i←0到n，5：如果平均距离did<$+α·σ，则6：X′=X′<$xi（xi∈X）7：通过馈送生成上采样点云XX′进入上采样网络8：X被送入分类网络f（X），并输出预测标记L第九章： return预测标签l建议使用点云上采样将流形外对抗样本重新映射到自然流形上以重建表面。以这种方式，通过增强点云的视觉质量来实现对对抗性扰动的鲁棒性。这种方法提供了显着的优势比其他防御机制，截断关键信息，以实现鲁棒性。由于这些扰动通常缺少来自点云的骨架的关键点，因此我们使用点云上采样网络，该网络输出更密集的点云，该点云在均匀分布的同时遵循目标对象的基础表面在这项工作中考虑的网络是点云上采样网络（PU-Net）[39]，它从3D模型中学习基于点的补丁的几何语义，其架构如图3所示。为了解决不确定的变化部分的存在，切角距离（CD）的最小化器分布在主体外的正确位置的一些点;而地球移动器的距离（EMD）的最小值则被严重扭曲[8]。我们还尝试EMD [8]损失来观察防御性能：4. 实验4.1. 实验装置数据集。我们利用ModelNet 40 [33]数据集来测试我们提出的DUP-Net，它包含来自40个对象类别的12，311个CAD模型，其中9，843个对象用于训练，其他2，468个用于测试。 作为由 Qi等人，在使用[39，34]方法生成对抗点云之前，首先从每个对象的表面均匀采样1，024个点，并将它们重新缩放到单位立方体中。我们还使用[39]收集的Visionair数据集来训练DUP-Net，其中包含来自Visionair存储库[1]的 60个不同模型，从平滑的非刚性物体到陡峭的刚性物体。网 络 和 实 施 细 节 。 我 们 使 用 Point- Net [25] 和PointNet++[26]作为目标分类网络，并使用默认设置训练模型。为了训练所提出的DUP-Net，对于ModelNet40，上采样点数为2048，上采样率为2;对于Visionair数据集，数字为4096，上采样率为4. 每个输入样本对于两个训练过程具有n=1024个点平衡权重β和γ被设置为：0.01分别为10- 5。该实现基于TensorFlow。为了优化，我们使用Adam [14]算法训练网络120个epoch，小批量大小为28，学习率为0.001。攻击评估。攻击者首先使用非目标/目标模型生成对抗性示例，然后评估这些生成的对抗性示例在目标和防御模型上的分类准确性。非目标/目标模型的低准确度表明攻击成功，防御模型的高准确度表明防御有效。4.2. 消融研究我们提出的防御首先部署SOR层，其目的是最大限度地减少离群点扰动的影响，其次是上采样网络，以选择性地将缺失点引入点云中并恢复非流形攻击点云。作为防御。我们比较了所提出的SOR的检测精度和攻击成功率的目标攻击Lrec=D（X，X）=1分钟<$x −x′<$2.（十三）针对C W的基线SRS防御和基于转移[34]的攻击以及基于PointNet的丢弃[42]高斯-X0x′∈Xx∈X2模拟噪声和量化不被认为是防御，因为它们将降低干净样本的精度。如图4a所示，对于SRS基线，总损失函数将重建损失Lrec和排斥损失Lrep在[8]中提出。相比之下，我们使用一种简单的上采样方法[2]，该方法在Voronoi图的顶点处插值点以进行比较试验。总之，我们在算法1中给出了所提出的防御的正式定义。点数增加，攻击成功率急剧下降，命中率逐渐增加，最高可达65.1%;对于干净的例子，精确度单调递减。可以解释三条曲线的趋势：该攻击搜索整个点云空间的不利扰动，而不考虑1967ACC（干净的例子）ACC（对抗性示例）SR（对抗性示例）ACC（干净的例子）ACC（对抗性示例）SR（对抗性示例）1 1 1 110.80.80.80.80.80.60.60.60.60.60.40.40.40.40.40.20.20.20.20.20 00 100 200 300 400 500#丢弃的点（一）0 0012345678910K（b）第（1）款00 50 100 150 200#丢弃的点（c）第（1）款图4：（a）使用CW和转移损失的PointNet上的干净和有针对性的对抗点云的SRS防御性能&;（b）在α = 1下，使用CW和移位损失，在PointNet上对干净和有针对性的对抗点云进行SOR防御性能&。1;（c）在有或没有防御的PointNet上对抗点云的防御性能。模型目标[4]国防（SRS）国防（SOR）（我们的）防御（PU-Net）（我们的）防御（DUP-Net）（我们的）干净点云88.3%83.0%百分之八十六点五87.5%86.3%（C W+l2 loss）[34]百分之零点七百分之六十四点七81.4%百分之二十三点九84.5%Adv（C W+ Hausdorff loss）[34]百分之十二点七58.8%百分之五十九点八百分之十七点六百分之六十二点七高级（C W+倒角损失）[34]百分之十一点八百分之五十九点五59.1%18.0%百分之六十一点四美国（公告牌另类歌曲榜）[34]百分之零点七百分之九十二--百分之八十七点六（C W+ 3 objects）[34]二点七厘92.4%--百分之六十八点四1个月[42]百分之七十五点五68.1%71.3%76.1%73.9%Adv（下降100分）[42]百分之六十三点二百分之五十六点四60.0%67.7%64.3%Adv（下降150分）[42]百分之五十点四45.0%48.6%57.7%54.4%Adv（下降200分）[42]百分之三十九点一百分之三十五点一百分之三十六点八百分之四十八点一百分之四十三点七表1：PointNet上白盒攻击下的分类精度 对于SRS防御模型，随机丢弃点数为500，对于SOR防御模型，k =2，α= 1。1被设置为超参数。模型CWl2豪斯德足球俱乐部降200目标[26]0%的百分比百分之二十八点一百分之五十六点四防御（SRS）66.7%百分之五十一点七百分之四十七点三防御（DUP-Net）百分百分之五61.9%之七十五点七十四点一表2：在PointNet++网络下使用SRS和建议的DUP-Net的分类精度比较。无防御SORSRSVisonair-CDModelNet40-EMD精度成功率精度成功率精度1968点云内容，这与关注对象形状的分类模型相反[38]。因此，用SRS降低几个点可以消除对抗性扰动所困扰的伪影，这可以促进对ad的防御。两个影响因素，k是相邻点的数量，α是被视为离群点的点的百分比当k=0时，k近邻点集只包含点本身，统计去除防御无效;当k≥1时，防御起作用。当k=2，α= 1时。1、对干净点云和对抗样本的准确率分别为86.5%和81.4%。与SRS相比，在最好的对抗样本准确率为65.1%的情况下，SOR在性能 上 有 16.3% 的 大 幅 提 升 。 在 非 目 标 攻 击 和 基 于Hausdorff损失的攻击的防御上可以获得类似的结果。对于vanilla攻击场景，攻击者不知道点移除层，并且直接使用orig，对抗点云点云结构基本保持不变，但有少量点被丢弃;当更多的随机采样点被丢弃时，点云的形状恶化，从而分类精度降低。如图4b所示，SOR操作包括：最终网络作为目标模型来生成对抗性示例。为了阅读方便，我们在表格中创造了一个新的首字母缩略词“adv”，代表“对抗点云”。如表1所示，点移除层可以显著减轻对C W方法的对抗性影响至于1969网络任务移位（十二）[34]添加（Hausdorff）[34]添加[34]第三十四话下降100[42]第四十二话下降200[42]第四十二话PointNet[25]目标百分之零点七百分之十二点七百分之十一点八百分之六十三点二百分之三十九点一目标89.5%百分之五十二点九51.0%百分之八十二点四百分之七十五点六[26]第二十六话防御（SRS）百分之八十二点九59.6%百分之五十八点三百分之七十点三百分之五十四点五防御（DUP-Net）84.3%百分之四十八点三48.5%百分之七十五点二百分之六十七点三目标91.2%百分之五十一点四百分之五十点八百分之七十五点五67.9%[32]第三十二话防御（SRS）68.2%38.2%37.1%72.2%百分之五十四点九防御（DUP-Net）40.7%百分之二十五点五百分之二十六点七32.0%百分之二十六点七表3：黑盒攻击和防御：目标C W的准确性&和基于移动和添加的对抗点云以及显着图和基于点丢弃的对抗点云在其他分类网络上生成[26，32，11]，有或没有防御。12度量，SOR的性能最好，准确率为81.4%。对于Hausdorff和Chamfer损失度量，SOR和SRS具有相似的结果，但精度较低。为了验证可微点去除层是否能够模拟不可微层，我们以 丢弃概 率 p = 0训练 改进的 PointNet。 5. 在maxpooling 层 之 前 ， 进 行 白 盒 攻 击 。 对 CW12 、CWHausdorff和drop200攻击的分类准确率分别为0%、0%和54.5%这意味着可微随机点去除不能很好地模拟非可微层。网络作为防御。在这里，我们研究了PU-Net模块对防御对抗性攻击的单独影响。由于基于C W的攻击可以被解-在本节中，我们只考虑Zheng等人提出的基于显著点丢弃的攻击。[42]。我们在三个上采样器网络上进行了广泛的实验：来自[39]（Visonair-EMD）的预训练PU-Net模型，由Visonair（Visonair-CD）训练的具有倒角距离损失的PU-Net和由ModelNet 40（ModelNet 40-EMD）训练的具有地球移动器距离的PU- Net，如图4c所示。实验结果表明，上采样器网络有助于对抗样本填充对分类至关重要的缺失点，特别是当丢弃数为200时，防御能力提高了近9%.此外，上采样器网络可以在较小的数据集上训练，并且可以很好地抵御来自其他点云数据集的对抗性攻击我们发现CD损失训练的模型的性能与EMD损失w.r.t.训练的模型的性能相似对抗性示例防御，这意味着损失函数的选择不影响分类精度。SOR和SRS都对防御性能进行了评估，因为空投攻击在视觉上破坏了点云的局部形状，而SOR/SRS操作进一步放大了变形。我们还将PU-Net与简单的上采样方法[2]进行了比较，该方法在Voronoi图实验表明，PU-Net在受到“Drop 200”攻击时，性能比文献[2]提高了8%4.3. DUP网络表1中的最后一列显示了所提出的DUP-Net针对PointNet上的不同攻击（基于CW的点移动/点添加/集群添加/对象添加[34]和点丢弃[42]）的整体防御准确性。对于干净的点云，DUP-Net的检测精度略微降低2%;对于CW&攻击，DUP-Net的性能优于基本SRS、SOR和PU-Net。DUP-Net的性能优于PU-Net，表明离群点去除操作在提高防御性能方面是有效的。对于定点攻击，DUP-Net防御比单独的PU-Net稍差，但仍优于基线，这意味着攻击者进行的大修改会导致一些局部形状在很大程度上消失，而SOR防御进一步破坏了关键的骨架信息。对于C-W&簇攻击和C-W&对象攻击，DUP-Net防御将准确率提高到87.6%和68.4%;在SRS防御下，准确率分别为92.0%和92.4%。这些结果进一步证明了我们强大的防御能力。由于DUP-Net去除了流形表面的异常值，SRS等概率地去除了点，因此对于这两个任务，SRS表现得更好。总体而言，DUP-Net作为预处理网络有助于确保基于神经网络的分类的鲁棒性，并抵抗来自对抗点云的攻击。此外，DUP-Net是不可微的，这使得攻击者难以实施二次对抗攻击。4.4. DUP网表3中示出了PointNet在黑盒分类系统上的基于目标CW的点移动和点添加攻击以及基于显著图的点丢弃攻击的可转移性与[34]类似，我们在PointNet++和1970图5：点云的可视化。第五列是200点的掉落攻击。红色圆圈表示离群值和缺失的对象部分。放大以查看详细信息。DGCNN。结果表明，基于C& W的对立样本具有有限的可移植性;而对于丢分攻击，则更容易转移到其他网络。我们发现，对于黑盒防御，在分类网络之前加入防御网络（SRS层或DUP-Net）会降低分类精度，因此我们提出的防御方案只适用于白盒攻击，在这种情况下，防御方不需要预处理网络。结果表明，由于网络结构的不同，部署DUP-Net并不能提高对黑盒攻击的防御能力。在表2中，我们在Point-Net ++上实现了实验，这进一步表明我们提出的DUP-Net可以用于不同的目标识别模型。4.5. 可视化图5示出了干净点云、对抗点云以及去噪和上采样点云的细节。点云的类别从上到下分别是“花瓶”、“汽车”和“花盆”。它表明，C W攻击产生远离点的流形的离群值，而基于显着图的攻击下降了一个点的集群。我们用红圈表示离群值和丢弃的聚类。SOR去噪器丢弃一些离群值，以抵消对抗点的攻击成功率云，然后PU-Net增强局部区域的平滑性，以辅助模型的分类。5. 结论在本文中，我们提出了一个去噪和上采样网络（DUP-Net）形成的统计离群值去除（SOR）层和点云上采样网络（PU- Net），以抵御3D点云对抗性的例子。我们建议使用点云恢复技术来净化扰动点云。作为初始步骤，我们应用SOR来抑制任何基于离群值的噪声模式，并制定难以绕过的不可微层。我们的方法的核心组成部分是上采样操作，它提高了点分辨率，同时消除了类似于图像超分辨率操作的对抗模式我们的实验表明，点云上采样网络本身就足以将分类器的信念重新定位到正确的类别;此外，由于统计离群值去除步骤是不可微的去噪操作，因此它提供了附加的鲁棒性。致谢本工作得到了中国自然科学基金U1636201和61572452 基 金 以 及 安 徽 省 量 子 信 息 技 术 研 究 中 心AHY150400基金的部分支持。1971引用[1] 视 觉 航 空 http://www.infra-visionair.eu 网站。访问时间：2019-03-20。[2] Marc Alexa，Johannes Behr，Daniel Cohen-Or，ShacharFleishman，David Levin，and Claudio T.席尔瓦计算和绘制点集曲面。IEEE Transactions on visualization andcomputer graphics，9（1）：3[3] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会（SP），第39-57页。IEEE，2017年。[4] R Qi Charles， Hao Su ，Mo Kaichun ， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在计算机视觉和模式识别（CVPR），2017年IEEE会议上，第77IEEE，2017年。[5] Moustapha Cisse、Yossi Adi、Natalia Neverova和JosephKeshet。胡迪尼：愚弄深度结构化预测模型。arXiv预印本arXiv：1707.05373，2017。[6] Haowen Deng，Tolga Birdal，and Slobodan Ilic. Ppfnet：全局上下文感知局部特征，用于鲁棒的3d点匹配。在IEEE计算机视觉和模式识别集，第195[7] Gintare Karolina Dziugaite ， Zoubin Ghahramani ， andDaniel M Roy. jpg压缩对对抗影像效果之研究。arXiv预印本arXiv：1608.00853，2016。[8] Haoqiang Fan，Hao Su，and Leonidas J Guibas.从单幅图像重建三维物体的点集生成网络在IEEE计算机视觉和模式识别会议论文集，第605-613页[9] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv ：1412.6572，2014。[10] Shixiang Gu和Luca Rigazio。走向对对抗性示例鲁棒的深度神经网络架构。arXiv预印本arXiv：1412.5068，2014。[11] Binh-Son Hua、Minh-Khoi Tran和Sai-Kit Yeung。逐点卷积神经网络。在IEEE计算机视觉和模式识别会议集，第984-993页[12] 费利九世哈瑞莫我赢了，马丁丹尼尔扬法哈德沙巴兹·汗，佩·埃里克·福斯恩，迈克尔·费尔斯贝。密度自适应点集配准。在IEEE计算机视觉和模式识别会议集，第3829-3837页[13] Hiroharu Kato、Yoshitaka Ushiku和Tatsuya Harada。神经三维网格渲染。在IEEE计算机视觉和模式识别会议论文集，第3907- 3916页[14] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[15] Alexey Kurakin，Ian Goodfellow，and Samy Bengio.大规 模 的 对 抗 性 机 器 学 习 。 arXiv 预 印 本 arXiv ：1611.01236，2016。[16] Daniel Liu、Ronald Yu和Hao Su。将对抗性攻击和防御扩 展 到 深 度 3d 点 云 分 类 器 。 arXiv 预 印 本 arXiv ：1901.03006，2019。[17] Jiayang Liu，Weiming Zhang，Yiwei Zhang，DongdongHou，Yujia Liu，Hongyue Zha，and Nenghai Yu.从隐写术的角度来看，基于检测的对抗性示例防御。在IEEE计算机视觉和模式识别会议论文集，第4825- 4834页[18] Yanpei Liu，Xinyun Chen，Chang Liu，and Dawn Song.深入研究可转移的对抗性例子和黑盒攻击。arXiv预印本arXiv：1611.02770，2016。[19] Jiajun Lu ， Hussein Sibai ， Evan Fabry ， and DavidForsyth.无需担心自动驾驶汽车中物体检测的对抗性示例arXiv预印本arXiv：1707.03501，2017年。[20] 东玉梦、皓晨。Magnet：针对敌对示例的双管齐下的防御。2017年ACM SIGSAC计算机和通信安全会议论文集，第135-147页。ACM，2017。[21] Seyed-Mohsen Moosavi-Dezfoooli ， Alhussein Fawzi ，and Pascal Frossard. Deepfool：欺骗深度神经网络的简单而准确的方法。在Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition，pages 2574[22] Nicolas Papernot、Patrick McDaniel、Ian Goodfellow、Somesh Jha、Z Berkay Celik和Ananthram Swami。针对机器学习的实际黑盒攻击。在2017年ACM亚洲计算机和通信安全会议上，第506-519页。ACM，2017。[23] Nicolas Papernot、Patrick McDaniel、Somesh Jha、MattFredrikson、Z Berkay Celik和Ananthram Swami。深度学习 在 对 抗 环 境 中 的 局 限 性 。 在 《 安 全 与 隐 私 》（EuroSP），2016年IEEE欧洲专题，第372-387页中。IEEE，2016.[24] Charles R Qi ， Wei Liu ， Chenxia Wu ， Hao Su ， andLeonidas J Guibas.从rgb- d数据中检测三维物体的平截体点网。在IEEE计算机视觉和模式识别会议论文集，第918-927页[25] Charles R Qi， Hao Su ，Kaichun Mo， and Leonidas JGuibas.Pointnet：用于3D分类和分割的点集深度学习。Proc.ComputerVisionandPatternRecognition（CVPR），IEEE，1（2）：4，2017.[26] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统，第5099-5108页，2017年[27] Radu Bogdan Rusu 、 Zoltan Csaba Marton 、 NicoBlodow、Mi-hai Dolha和Michael Beetz。面向家庭环境的基于三维点云Robotics and Au-campus Systems，56（11）：927[28] Jiawei Su ， Danilo Vasconcellos Vargas ， and KouichiSakurai. 一 个 像 素 攻 击 欺 骗 深 度 神 经 网 络 IEEETransactions on Evolutionary Computation，2019。[29] Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna 、 Dumitru Erhan 、 Ian Goodfellow 和 RobFergus。神经网络的有趣特性。arXiv预印本arXiv：1312.6199，2013。[30] Flori anTrame`r ， Alexe yKurakin ， NicolasPapernot ，IanGoodfellow，Dan Boneh，and Patrick McDaniel.合奏1972对 抗 训 练 ： 攻 击 和 防 御 。 arXiv 预 印 本 arXiv ：1705.07204，2017。[31] Nanyang Wang ， Yinda Zhang ， Zhuwen Li ， YanweiFu，Wei Liu，and Yu-Gang Jiang. Pixel2mesh：从单个rgb图像生成3d网格模型。在欧洲计算机