点云深度学习的最小对抗示例

77973D点云深度学习的最小对抗示例Jaeyeon Kim1Binh-Son Hua2，3Duc Thanh Nguyen4Sai-Kit Yeung11香港科技大学2VinAI Research，越南4迪肯大学3越南VinUniversity摘要随着卷积神经网络的最新发展，3D点云的深度学习已经在各种3D场景理解任务中显示出显著的进步，例如，对象识别、语义分割。然而，在安全关键的环境中，还没有很好地理解这种深度学习模型如何容易受到对抗性示例的影响。在这项工作中，我们探讨了基于点云的神经网络的对抗攻击。我们提出了一个统一的配方对抗点云生成，可以概括两种不同的攻击策略。我们的方法通过攻击基于点云的网络的分类能力来生成对抗性示例，同时考虑示例的可感知性并确保点操作的最低水平。实验结果表明，该方法在人工数据和真实数据上的攻击成功率分别达到89%和90%以上，而操作的数据点仅占总数据点的4%左右。1. 介绍深度学习在解决广泛的计算机视觉任务方面显示出巨大的潜力。在对生命至关重要的应用中，一个问题是深度神经网络可能容易受到对抗性示例的影响，这是一种特殊的输入，可以欺骗网络做出不受欢迎的预测。已经提出了几种对抗性攻击技术来生成这样的示例。相比之下，对抗性防御方法已经被开发用于检测和中和对抗性示例。因此，了解对抗性攻击和防御如何运作对于使深度学习技术更加可靠和强大非常重要随着低成本3D传感器和光场相机的日益普及，社区已经开始调查3D数据，特别是3D点云的深度网络的脆弱性[40，19，20，43，36]。然而，现有的工作集中于常见的场景，例如通过扰动点来生成对抗性点云。虽然这种方法具有很高的攻击成功率，但扰动图1：左图：由PointNet [ 27 ]正确分类的输入点云（1，024个点）和15个选定点（绿色）。右图：PointNet错误分类的对抗点云和扰动位置（红色）。是不可察觉的，并且可以通过异常值检测或噪声去除算法容易地识别此外，现有的对抗性攻击方法不能最佳地执行，因为点云中的所有点都涉及操纵。在这项工作中，我们在一个更极端但更实用的环境中研究了3D对抗攻击：如何在保持原始点云的可重构性的同时，利用从原始点云扰动的最少数量的点来生成对抗点云（参见图1）。为了解决这个问题，我们提出了一个新的配方对抗点云生成，可以适应不同的攻击策略。我们的工作的新颖性在于研究问题和提出的解决方案。具体地，最小3D点云攻击是未探索的问题。我们也是第一个提出一个公式，（i）考虑对抗样本的感知性和最优性，（ii）在统一的框架中推广点扰动和加法总的来说，我们的贡献包括：一种生成最小三维对抗点云一个统一的公式，概括了两个对抗点云生成策略：点扰动和点加法;对用我们的方法发现的扰动点与···7798∈--PointNet中的关键点[27];对合成和真实世界的3D点云进行对抗性攻击的基准测试，这表明我们的方法在这两个领域都实现了一致的性能。2. 相关工作3D深度学习 3D的最新可用性数据集[39，5，13，2，7，4，34]导致了重大进展，深学习对3D数据在这一领域，现有的大多数作品都集中在对设计卷积运算，使卷积神经网络能够直接从点云学习特征[27，28，18，41，14，35，31，15，47]。已经进行了几次尝试来创建旋转不变卷积[29，46，26，44]。这样的卷积允许场景理解任务，对象识别，语义分割，直接用各种输入点云进行训练。在文献中还发现了其他改进。例如，Liu et al.[21]提出了一种基于RNN的模型来提取局部区域的相关性。Yan等人。[42]通过采用自适应采样来处理输出和噪声，扩展了逐点MLP网络。在这项工作中，我们采用PointNet [27]作为目标神经网络来研究我们方法的重要方面，因为它很受欢迎。然而，我们还使用不同的深度学习模型验证了我们 的 方 法 ， 包 括 PointNet++ [28] ， DGCNN [35] ，SpiderCNN [41]和PointASNL [42]。对抗点云。存在针对点云分类的对抗性攻击和防御的研究[40，19，20，43，48，33，12，50，17]。例如，Xiang et al.[40]在[ 3 ]的攻击框架基础上，利用Cham- fer和Hausdorff距离提出了一种点扰动和加法算法。Liu等人。[19]扩展了[11]中的快速梯度符号方法，用于使用网格和裁剪范数构建3D对抗性示例这些作品中的基本思想读者可以参考[45]对图像上的对抗性攻击和防御进行全面回顾，并参考[16]对对抗性示例的存在进行一般分析和证明。也可以将新添加的点与点云中的扰动点混合，以制作对抗性示例[20]。余新等[36]一致性在损失函数中的局部曲率，以引导扰动点向物体表面倾斜。Tsai等人。[33]在[40]中引入了K最近邻损失，以约束对抗样本成为物理对象。Zhao等人[48]通过对等距矩阵进行扰动，证明了等距变换的脆弱性。Hadmi等人[12]在扰动中应用自动编码器以改善对抗性示例在网络中的可转移性Lee等人。[17]将扰动噪声添加到自动编码器的潜在空间中，以保持输入点云的形状。Zhou等人。[50]采用GAN [10]生成具有预定义目标标签的对抗点云。除了通过扰动现有点或向点云中添加新点来创建对抗性示例之外，还可以通过从输入数据中删除点来欺骗分类技术[49，37，43]。例如，Zheng et al. [49]消除了输入对象的显著图上的重要点Matthew等人[37]迭代地从输入点云中移除临界点，直到目标分类技术未能对点云进行分类。与对抗性攻击相比，对抗性点云的对策迄今为止一直很稀缺。 典型的防御方法包括离群值或显著点去除[19]和噪声去除[43，51]。最近，董等。[8]使用干净点云的每个局部部分与全局对象中心的相对位置作为对抗指示符。Wu等人。[38]提出了一种方法来预测捕获点云的干净形状的隐式函数。最小对抗攻击。在2D域中，存在专注于在对抗性攻击中扰动最小数量的像素的特定技术家族例如，Papernotet al.[25]在显着图上的扰动像素Car-lini等人[3]扩展了该方法并使用L0范数优化来最小化要扰动的像素的数量。最近，Modas et al.[22]和Croce et al.[6]专注于如何扰动稀疏的像素集，同时仍然实现具有良好的可感知性。在[23，32，30]中，局部搜索和进化算法也被应用于获得稀疏扰动。在本文中，我们还探索了只操纵最小点集的对抗性攻击。然而，与上述工作不同的是，我们提出了一种新的配方，它是通用的，可以适应各种对抗性点云生成策略。此外，我们还考虑在我们的配方对抗性的例子的感知。3. 该方法我们感兴趣的问题可以陈述如下。 让P=p1，…是N个点的输入集合，其中每个点pi由其坐标pi=[pi ，x，pi，y，pi，z]TR3的向量表示。令F表示基于点的神经网络，例如，PointNet [27]，Fi（P）表示点集P被分类到第i理想情况下，如果i*是点云的真实类标签P，则i*=argmaxiFi（P）。设P′是一个对抗性的前从P生成的样本。我们的目标是找到满足以下条件的P′(i) 保持P的可感知性，即，一般·7799∈∈联系我们欧氏N我 我2倒角|P|p'j∈P'我J 2要应用于pi以获得p′的扰动向量。DHausdorff（P，P）=maxMaxmin'pi−pj2N点云P′相对于点云P的变形不应太大;(ii)操纵P中的最小数量的点对抗点云P′w.r.t.原始点云P。如本节稍后将解释的，可以使用不同的距离度量来定义D（P，P’）。约束(iii) argmaxiFi（P）/= argmaxi 'Fi'（P '），即，P′和PargmaxiFi（P）argmaxi'Fi'（P'）确保生成的被网络F分成不同的类。注意，在文献中已经研究了通过折衷攻击成功率和对抗样本的可感知性来生成对抗点云[40]。然而，我们的工作与[40]的不同之处在于以下几点。首先，我们的重点是非目标攻击，而[40]中的目标攻击其次，在[40]中没有考虑操纵点的数量，导致操纵极高数量的点（如我们的实验所示）。第三，虽然点网[27]中提出的临界点用于驱动[40]中的解决方案，但我们表明我们的方法可以达到这些临界点，但只占一小部分，证明了我们的方法的能力紧凑但脆弱的点集。在下文中，我们提出了一个新的公式，以生成P′使用l0-范数优化，并详细描述了我们的公式可以如何应用于点扰动和点添加。3.1. 点扰动3.1.1制剂给定点云P，我们的目标是找到点云P’可以欺骗网络F，即，F不会把P和P′归为同一类。3.1.2感知度有几种方法来实现等式（1）中的可感知性D（P，P’）（二）、如果我们假设每个点pi之间的对应关系P和它的扰动点p′i P′定义在方程中。（1）保持不变，则我们可以使用pi和p′i之间的欧几里得距离将D（P，P′）定义为：D（P，P′）=1（ae）.（三）i=1然而，这样的对应关系并不总是被很好地定义，例如，当点的数目在点添加的情况下改变时，使得欧几里德距离不是有效的选择。我们进一步提出使用Chamfer距离和Hausdorff距离来度量感知性。具体地说，我们可以定义D（P，P′）为D（P，P ′）= max. 1Σminp−p′，pi∈P可以移动以生成对抗点的点1Σminp′−p云P′攻击网络F。我们用一个二元指示向量来表示P中的点a=[al，… 其中，如果 选择pi，则ai是1，否则ai是0。 假设E ={e1，… eN}是集合其中ei=[ei，x，ei，y，ei，z]T∈R3是|P′|’。p'j∈P'.Jpi∈PI2（四）′Σ应用扰动集E在点云P我导致pi∈P.p'j∈PΣΣǁ − ǁ对抗点云P′asP′={p′i = pi+ a iei|pi∈ P}。（一）Maxp'j∈P'minp′jpi2pi∈P.（五）P′的生成过程可以用公式表示为：minf（P，a，E）= min{λ1a0+λ2D（P，P′）}如等式1所示。 （4）-（5），倒角距离和Hausdorff距离不要求点云P和P’中的点的数量相同。 因此，它们可以是易于适应不同的点生成方法，例如，a、Ea、E’（二）如第3.2节所示的点添加。S.T. argmaxFi（P）/= argmaxFi’（P）伊伊其中a0= #i：a i=0，i=1，.，N是a的l0范数（即，a）和D（P，P ′）中的非零元素的数目是P和P ′之间的某个距离。、7800a、E在Eq.（2）覆盖所有上述条件。 特别地，第一项，在目标函数f（P，a，E）中的a0对3.1.3松弛配方为了解决等式中的约束优化问题。在等式（2）中，我们使用拉格朗日乘数形式将其转换为无约束优化问题：minf（P，a，E）在点选择过程中选择的点的可感知性，而第二项D（P，P′）约束a、E= min{λ1a0+λ2D（P，P′）+h（P′）}（六）7801∀联系我们.∀.Σ--∈其中，如[40]，我们定义Eq. （8）具有新的目标函数f（P~，a~，E~）。 的向量a~h（P′）=max0，Fi*（P′）−maxFi'（P′）（七）如下初始化，a~i是 设置 到 0为i*i'对于i∈ {N+1，…，N+K}。 此外，在其中i*是点集P的真类标号。由于Eq.（6）一般是NP-难的[24]，我们进一步将其放松为l1-范数优化[1，9]：minf（P，a，E）在优化过程中，我们固定a~i=0，i=1，...， N，即，P中的原始点不会改变。最后通过包含点得到对抗点云P′p~i∈P~使得a~i=1。a，E=minλ1a1+λ2D（P，P′）+h（P′）a，E其中a=[a∈1，...，a（N）T∈[0，1]N，且（a1=ΣN（八）aiis4. 实验和结果4.1.实验装置数据集。我们 实验 我们 方法 型号-的l1-范数i=1Net40 [39]和ScanObjectNN [34]数据集。ModelNet40是用于3D CAD模型分类的基准数据集。要求解方程（8），我们应用迭代梯度法在[11，19]中。由于最终目标是获得a的二进制向量，因此我们随机地用near个二进制值初始化a，即， ai随机设置为0.0001或0.9999。如果选择（或以其他方式），则使用新的二进制值来给出变成1（或0）的机会最后，我们得到了一个as的最终解它包括9,843个用于训练的模型和2,468个用于测试的模型。我们遵循[27]中的实验设置，对ModelNet40中模型的表面进行均匀采样，并将点归一化为单位立方体。ScanObjectNN是来自真实世界室内扫描的对象数据集，包括诸如视图遮挡和对象局部性的实际挑战。它有15，000个对象组织在五个具有挑战性的变化-a=0，如果a≠i=0i1，否则。（九）蚂蚁，例如，具有背景的对象、平移对象、旋转对象和缩放对象。在我们的实验中，我们使用注意，我们的目标是找到a和e的解。从Eq.（9）中，我们只考虑扰动ei，如果ai=1。在Eq.（8）配制我们提出的对抗生成方法。该公式是通用的，并且可以方便地适用于其他对抗生成策略，例如，点加法3.2.点加法除了点扰动之外，我们还可以通过用最少数量的附加点扩展P来生成对抗性示例P′我们表明，我们提出的公式，在方程。（8）也可以应用在这个任务中。具体例如，假设添加到原始点云P的点不超过K个。我们可以构造一个新的点集P~，包括P和K个新点中的所有点。这K个新点可以通过在P中随机选择K个点并将它们添加到P~来生成。我们注意到，P~的这种构造方式不改变感知。对于用于定义D（P，P~）的倒角距离或豪斯多尔距离，P的性质为D（P，P~）= 0。此外，P和P′都被网络F同等对待，即，i，Fi（P）=Fi（P~），作为点的几何结构云是不变的。类似地，我们也构建体一向量a~=[a~1 ， … ， a[N+K]T[0 ， 1]N+K 和 扰 动 集 E=e~1，…，e~N+K通过用K扩展a和E新元素并解决优化问题带背景的对象。我们遵循Uy et al.[34]使用平均和最远点距离对包含背景的点云进行归一化。实施详情。我们采用PointNet [27]作为测试基础网络来进行重要实验。为了适应不同大小的点云，我们相应地修改了最大池运算符和批处理范数。我们使用Adamoptimiser，学习率为0.01。对于我们的对抗攻击算法，我们对等式中的参数进行了穷举搜索。（8），并根据经验将它们设置为λ1=0。15和λ2=50。采用[19]中具有250次迭代的迭代梯度法来求解方程。（八）、4.2. 评价和比较我们根据攻击成功率，对抗性示例的感知性和操纵点的平均数量来评估我们的方法对抗性样本的感知性我们分别在表12中报告了我们的方法在ModelNet40和ScanObjectNN数据集上的性能。我们还比较了我们的方法与现有的方法。特别是，我们测试了香等人的方法。[40]，它还通过点扰动和加法生成对抗性示例。由于这种方法的目的是有针对性的攻击，为了公平的比较，我们改变了它的无针对性的攻击。我们重新实现了刘等人的方法。[20]它以两种方式进行攻击：对抗性汇点（即，i∈ {1，...，N}中的随机值。0001，0。九九九}7802(a) ModelNet40（b）ScanObjectNN图2：我们的对抗性攻击和现有方法的性能趋势。(a) ModelNet40(b) ScanObjectNN图3：由我们的方法和现有方法生成的对抗性示例。红点表示扰动点。在ScanObjectNN上，我们的方法能够创建与现实噪声无法区分的示例。将点拉向汇点）和对抗棒（即，在添加的棒上重采样点）。此外，我们评估了Wicker和Kwiatkowska [37]以及Zheng等人的方法。[49]。因为[37]和[49]都通过删除点来创建对抗性示例，为了公平比较，我们应用了他们的点选择策略，但是随后用点扰动和点添加来代替点移除。详细地说，[37]中的作者随机选择点或从PointNet [27]确定的临界点集中选择点。在[49]中，从显着图中7803×以三种不同的方式对输入点云进行分析：（i）临界频率（即，由PointNet [27]中的最大池化运算符频繁选择的点），（ii）低分数（即，对于目标网络具有小损失梯度的点），以及（iii）高分（即，具有大损耗梯度的点我们将在4.3节中进一步讨论我们用了250次迭代[40]和[20]。对于其他基线方法，我们扰动对象，直到成功攻击。如表12所示，与其他方法相比，我们的方法在点扰动和点添加以及ModelNet 40和ScanOb-jectNN上都实现了最高的成功率，但处理点的数量最少。具体而言，我们的方法仅使用总输入点（1，024）的4%，在ModelNet40和ScanObjectNN上分别达到>89%和>90%的成功率。我们注意到，我们的方法在合成和真实世界的数据集上都表现一致（在攻击率和点数方面）。[20]中的对抗性汇和对抗性棍分别占第二位w.r.t. ModelNet40和ScanObjectNN上的点扰动成功率。然而，它们都需要大量的点，特别是对抗性的水槽。[40]中的方法因其成功率而排名第三，但也会导致大量的点操作。此外，我们观察到这种方法经常产生明显的离群点，这些离群点可以很容易地通过离群点去除方法来检测基于显着图的攻击方法[49]和[37]中的随机点选择方法大约需要10较大点集但成功率却低得多具有临界点选择的[37]中的方法显示相对少量的点（尽管仍然比我们的方法多），但成功率远低于标准。为了进一步探索性能趋势，我们在图2中绘制了针对点扰动选择的不同数量的点的成功率。如图所示，我们的方法显著优于现有的一个小的点集。实验结果还表明，我们的方法生成了高不可感知性的对抗样本，通过其与输入点云的Chamfer和Hausdorff距离可以看出（见表12）。我们凭经验观察到Hausdorff距离比Chamfer距离产生更少的离群点图3定性比较了我们的方法和其他方法生成的对抗样本。如图所示，我们的方法不太可能产生离群值。这是由于在我们的公式中使用了对象的可感知性和最小点集。我们观察到，从真实世界数据中创建的对抗性示例（见图3（b））在感知中既不明显也不能与普通噪音区分开。4.3. 脆弱性分析Qi等人[27]提出了一个称为“临界点”的概念这些点可以从PointNet [27]中的最大池化层中识别。它图4：我们选择的点与临界点。图5：接收器的对抗性示例。关键点以绿色突出显示。我们选择的点用红色标记（如果它们与临界点相同），用蓝色标记（如果它们在临界点的5个最近点内找到）。在[27]中也指出，临界点作为对象识别的指示器起作用。因此，修改临界点可能导致错误的分类结果。我们发现我们的对抗生成算法可以以某种方式达到这些临界点。为了证实这一点，我们测量了我们选择的点和点网的临界点的重合度具体来说，我们计算了两个点集中的重复点，以及在临界点的5个最近点内找到的选定点的数量。回想一下，我们的算法随机地初始化所选择的点（即，方程中的向量 （8））。图4提供了该实验的数值数据结果表明，约50%的选定点是相同的临界点和80%的选定点接近临界点。图5显示了我们选择的点和临界点。如图所示，我们选择的点接近临界点，但占一小部分，证明了我们的方法找到紧凑但脆弱的点集的能力。我们还用针对所选点的两个附加初始化方案来实验我们的方法：基于临界点的初始化和基于所有点的初始化（即，获取点云中的所有点以初始化矢量（a）. 表3报告了各种初始化的性能7804成功率Hausdorff距离点数Xiang等[第四十届]85.91 .一、77×10−47 .第一次会议。65× 10−34.第一章93×10−37 .第一次会议。47× 10−41 .一、15×10−4五、72× 10−4六、47× 10−47 .第一次会议。52× 10−4二、38× 10−21 .一、92×10−11 .一、49×10−1二、49× 10−39 .第九条。39× 10−3二、50× 10−3二、50× 10−3二、48× 10−3967[20]第二十话88.31024[20]第20话83.7210随机选择[37]55.56413关键选择[37]18.9950显着图/临界频率[49]63.15303显着图/低分[49]55.97358显着图/高分[49]58.39424我们89岁。381 .一、55× 10 −41. 88× 10−236(a) 点扰动成功率Hausdorff距离点数Xiang等[第四十届]73.597 .第一次会议。98× 10−3二、16× 10−4二、05× 10−4二、13× 10−41 .一、64×10−4二、27× 10−4五、46× 10−2二、49× 10−3二、50× 10−3二、49× 10−3二、50× 10−3二、49× 10−3200随机选择[37]43.90121关键选择[37]47.64118显着图/临界频率[49]45.13118显着图/低分[49]60.9689显着图/高分[49]41.06128我们89.011 .一、53× 10−41. 98× 10−238(b) 点加法表1：ModelNet40上PointNet的攻击性能。成功率Hausdorff距离点数Xiang等[第四十届]81.321 .一、13×10−41 .一、37×10−3五、18× 10−3六、10× 10−41 .一、99×10−44.第一章69×10−4五、49× 10−4六、16× 10−41 .一、74×10−29 .第九条。81× 10−21 .一、67×10−1二、50× 10−3二、69× 10−2二、50× 10−3二、50× 10−3二、47× 10−3959[20]第二十话78.71023[20]第20话87.5210随机选择[37]63.72340关键选择[37]47.9970显着图/临界频率[49]66.9265显着图/低srop [49]63.81306显着图/高srop [49]66.82350我们91.721 .一、12× 10−41. 15× 10−234(a) 点扰动成功率Hausdorff距离点数Xiang等人[40]69.26六、07× 10−31 .一、77×10−41 .一、76×10−41 .一、79×10−41 .一、64×4.第一章71×10−2二、50× 10−3二、50× 10−3二、49× 10−3二、50× 10−3二、50× 10−3200随机选择[37]60.0597关键选择[37]57.4498显着图/临界频率[49]59.6397显着图/低分[49]60.9690显着图/高分[49]57.87103780510−41 .一、87×10−4我们90.441 .一、08× 10−41. 10× 10−238(b) 点加法表2：ScanObjectNN上PointNet的攻击性能。阴谋如结果中所示，基于临界点的初始化导致最少数量的点，但是-成功率最低此外，该方案对对抗性示例的可感知性进行了评估（如图1所示）。7806成功率Hausdorff距离点数临界点使用所有点我们的（随机点）88.0491.1290.169 .第九条。53× 10 −48. 28× 10−31 .一、15× 10 −48. 71× 10−31 .一、09× 10 −49. 88× 10−3296037表3：在ScanObjectNN上使用不同初始化策略的攻击性能成功率Hausdorff距离点数Pointnet [27]89.381 .一、55×10−4五、10× 10−47 .第一次会议。78× 10−44.第一章71×10−4二、21× 10−41 .一、88×10−23 .第三章。55× 10−23 .第三章。54× 10−24.第一章16×10−2二、03× 10−236[第28话]88.7659DGCNN [35]62.16107SpiderCNN [41]89.9257[42]第四十二话72.1645(a) Modelnet40成功率Hausdorff距离点数Pointnet [27]91.721 .一、12×10−4二、81× 10−4六、80× 10−43 .第三章。23× 10−4二、07× 10−41 .一、15×10−2二、06× 10−2二、94× 10−2二、18× 10−21 .一、30×10−234[第28话]94.0550DGCNN [35]66.46103SpiderCNN [41]86.2757[42]第四十二话55.8847(b) ScanObjectNN表4：针对Modelnet40和ScanObjectNN的各种网络架构的攻击性能倒角距离）。利用所有点进行初始化示出了相反的情况，即，选择了更多的点，但是获得了高的成功率。我们的初始化方案包括所有标准，即，对抗性示例被创建为具有低点数、高攻击率和可接受的可感知性。此外，随机初始化可以应用于不支持临界点的其他网络4.4. 对其他体系结构的我们还应用我们的对抗性示例生成算法来攻击PointNet以外的现有点云架构。这些架构包括PointNet++ [28]，DGCNN [35]，SpiderCNN [41]和PointASNL [42]。我们在表4中报告了我们的方法对这些网络架构的攻击性能。在所有模型中，DGCNN [35]被证明是最强大的模型，它需要最多的点被愚弄，同时保持低攻击成功率。另一方面，PointNet [27]似乎是最脆弱的模型，它可以很容易地被欺骗，用更少的点来实现高成功率。其余的模型可以通过稍微不同数量的点来攻击。表4还示出了我们的方法对网络架构的攻击性能在合成数据集和真实世界数据集两者上是5. 结论在本文中，我们提出了一个统一的配方，为最小的对抗性的三维点云生成，可以generalise两种攻击策略，包括点扰动和点添加。我们在基准数据集上实验了我们的方法PointNet很容易受到攻击，这些攻击只会干扰点云中4%的点，从而分别达到89%和90%以上的合成和真实数据成功率。这些结果对开发防御此类攻击的对策提出了挑战。随着越来越多的3D数据用于消费设备，我们设想点云的对抗性攻击和防御将变得多样化，这使得该主题对于未来的研究是有价值的。例如，在本文中，我们只研究了通过扰动点云坐标的攻击。对于现实世界的点云，颜色可能是对抗性攻击的另一个易受伤害的渠道此外，研究如何生成物理世界中的对抗性点云也具有我们的工作结果表明，这样的任务可能是实际的，因为只有几个百分比的输入点云需要修改。谢 谢 。 杨 世 杰 的 部 分 资 助 来 自 科 大 的 内 部 拨 款（R9429）。7807引用[1] 爱德华多·阿马尔迪和维果·卡恩。线性系统中最小化非零变量或不满足关系的可逼近性Theoretical ComputerScience，209（1-2）：237- 260，1998. 4[2] Iro Armeni，Ozan Sener，Amir R Zamir，Helen Jiang，Ioannis Brilakis，Martin Fischer，and Silvio Savarese.大规模室内空间的三维语义解析在计算机视觉和模式识别（CVPR），2016年。2[3] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性IEEESymposium on Security and Privacy（SP），2017年。2[4] Angel Chang、Angela Dai、Thomas Funkhouser、MaciejHal- ber 、 Matthias Niessner 、 Manolis Savva 、 ShuranSong、Andy Zeng和Yinda Zhang。Matterport3d：从室内环境中的rgb- d数据中学习。2017年3D视觉国际会议（3DV）。2[5] Angel Chang、Thomas Funkhouser、Leonidas Guibas、Pat Hanrahan 、 Qi-Xing Huang 、 Zimo Li 、 SilvioSavarese 、 Mano-lis Savva 、 Shuran Song 、 Hao Su 、Jianxiong Xiao、Li Yi和Fisher Yu。Shapenet：一个信息丰 富 的 3D 模 型 存 储 库 。 载 于 arXiv ： 1512.03012 ，2015。2[6] 弗朗切斯科·克罗齐和马蒂亚斯·海因。稀疏和不可感知的 对 抗 性 攻 击 。 在 2019 年 计 算 机 视 觉 国 际 会 议（ICCV）。2[7] Angela Dai、Angel X Chang、Manolis Savva 、MaciejHal- ber 、 Thomas Funkhouser 和 Matthias Niessner 。Scannet：室内场景的丰富注释3D重建。在计算机视觉和模式识别（CVPR），2017年。2[8] Xiaoyi Dong ， Dongdong Chen ， Hang Zhou ， GangHua，Weiming Zhang，and Nenghai Yu.通过聚集矢量引导的 自鲁 棒3d 点识 别。 在计算 机视 觉和 模式 识别（CVPR），2020年。2[9] David L.Donoho 和Michael Elad 。最佳稀疏表 示一般（非正交）字典通过L1最小化。美国国家科学院院刊，100（5）：2197-2202，2003。4[10] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统进展（NIPS），2014年。2[11] Ian Goodfellow、Jonathon Shlens和Christian Szegedy。解 释 和 利 用 对 抗 性 的 例 子 。 国 际 学 习 表 征 会 议（ICLR），2015年。二、四[12] Abdullah Hamdi，Sara Rojas，Ali Thabet，and BernardGhanem. Advpc：三维点云上的可转移对抗扰动。欧洲计算机视觉会议（ECCV），2020年。2[13] Binh-SonHua 、 Quang-HieuPham 、 DucThanhNguyen 、 Minh-Khoi Tran 、 Lap-Fai Yu 和 Sai-KitYeung。Scenenn：带有注释的场景网格数据集。2016年国际3D视觉会议（3DV）。2[14] Binh-Son Hua、Minh-Khoi Tran和Sai-Kit Yeung。逐点卷积神经网络。在计算机视觉和模式识别（CVPR），2018年。27808[15] Qiangui Huang，Weiyue Wang，and Ulrich Neumann.用于点云三维分割的重现切片网络。在计算机视觉和模式识别（CVPR），2018年。2[16] Andrew Ilyas ， Shibani Santurkar ， Dimitris Tsipras ，Logan Engstrom，Brandon Tran和Aleksander Madry。相反的例子不是错误，它们是特性。神经信息处理系统，第32卷，2019年。2[17] Kibok Lee ， Zhuoyuan Chen ， Xinchen Yan ， RaquelUrtasun，and Ersin Yumer. Shapeadv：生成形状感知的对 抗 性 3D点 云 。arXiv 预 印 本 arXiv： 2005.11626 ，2020。2[18] Yangyan Li ， Rui Bu ， Mingchao Sun ， and BaoquanChen. Pointcnn：x变换点上的卷积。神经信息处理系统进展（NIPS），2018。2[19] Daniel Liu、Ronald Yu和Hao Su。将对抗性攻击和防御 扩 展 到 深 度 3d 点 云 分 类 器 。 IEEEInternationalConference on Image Processing（ICIP），2019年。一、二、四[20] Daniel Liu、Ronald Yu和Hao Su。三维物体上的对抗点扰动。在欧洲计算机视觉会议（ECCV）关于现实世界中对抗性鲁棒性的研讨会上，2020年。一二四六七[21] Xinhai Liu，Zhizhong Han，Yu-Shen Liu，and MatthiasZwicker.点2序列：使用基于注意力的序列到序列网络学 习 3d 点 云 的 形 状 表 示 。 在 AAAI 人 工 智 能 会 议（AAAI），2019年。2[22] Apostolos Modas 、 Seyed-Mohsen Moosavi-Dezfooli 和Pascal Frossard。Sparsefool：几个像素就有很大的不同。在计算机视觉和模式识别（CVPR），2019年。2[23] Nina Narodytska和Shiva Prasad Kasiviswanathan。深度网络的简单黑盒对抗性扰动。arXiv：1612.06299，2016。2[24] B. K. 纳 塔 拉 扬 。 线 性 系 统 的 稀 疏 近 似 解 。 SIAMJournal on Computing，24（2）：227-234，1995. 4[25] Nicolas Papernot、Patrick McDaniel、Somesh Jha、MattFredrikson、Berkay Celik和Ananthram Swami。深度学习在对抗环境中的局限性。IEEE欧洲安全与隐私研讨会，2016年。2[26] Adrien Poulenard ， Marie-Julie Rakotosaona ， YannPonty和Maks Ovsjanikov。球谐函数核的有效旋转不变点2019年3D视觉国际会议（3DV）。2[27] Charles Ruizhongtai Qi ， Hao Su ， Kaichun Mo ， andLeonidas J Guibas. Pointnet：对点集进行深度学习，用于 3D 分 类 和 分 割 。 在 计 算 机 视 觉 和 模 式 识 别（CVPR），2017年。一二三四五六八[28] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。在神经信息处理系统（NIPS）的，2017年。二、八[29] 饶永明，陆继文，周杰。用于点云识别的球形分形卷积神经网络。在计算机视觉和模式识别（CVPR），2019年。27809[30] 卢卡斯·肖特、乔纳斯·劳伯、马蒂亚斯·贝奇和维兰德·布伦德尔。MNIST上的第一个对抗鲁棒神经网络模型。在国际会议上学习表示（ICLR），2019年。2[31] 沈亦儒、陈锋、杨耀青、田栋。基于核相关和图池的点云 局 部 结 构 挖 掘 。 在 计 算 机 视 觉 和 模 式 识 别（CVPR），2018年。2[32] Jiawei Su ， Danilo Vasconcellos Vargas ， and KouichiSakurai. 一 个 像 素 攻 击 欺 骗 深 度 神 经 网 络 IEEETransactions on Evolutionary Computation，23（5）：8282[33] Tzungyu Tsai，Kaichen Yang，Tsung-Yi Ho，and YierJin.针对深度学习模型的强大对抗对象。2020年AAAI人工智能会议（AAAI）。2[34] Mikaela Angelina Uy 、 Quang-Hieu Pham 、 Binh-SonHua、Duc Thanh Nguyen和Sai-Kit Yeung。重温点云分类：一个新的基准数据集和分类模型在现实世界的数据。在2019年计算机视觉国际二