ART-Point：旋转鲁棒点云分类器的对抗训练

14371ART-Point：通过对抗旋转王瑞斌1，杨一波2，*，陶大成21北京大学人工智能学院机器感知重点实验室（MoE）2JD Explore Academy，中国{robin wang，ibo}@ pku.edu.cn，dacheng. gmail.com摘要具有旋转鲁棒性的点云分类器已经在3D深度学习社区中被广泛讨论。大多数方法要么使用旋转不变描述器作为输入，要么试图设计旋转等变网络。然而，由于对原始分类器或输入空间的修改，由这些方法生成的鲁棒模型在干净对齐的数据集下具有有限的性能。在这项研究中，我们首次证明了点云分类器的旋转鲁棒性也可以通过对抗训练来获得，在旋转和干净的数据集上都有更好的性能。具体来说，我们提出的名为ART-Point的框架将点云的旋转视为攻击，并通过在具有对抗旋转的输入上训练分类器来提高旋转鲁棒性。我们贡献了一个轴向旋转攻击，它使用预训练模型的反向传播梯度来有效地找到对抗性旋转。为了避免模型对对抗性输入的过度拟合，我们构建了旋转池，利用样本之间对抗性旋转的可转移性来增加训练数据的多样性。此外，我们提出了一个快速的一步优化，有效地达到最终的鲁棒模型。实验表明，我们提出的旋转攻击取得了很高的成功率和ART-Point可以用于大多数现有的分类器，以提高旋转鲁棒性，同时表现出更好的性能，在干净的数据集比国家的最先进的方法。1. 介绍点云分类的一个非常基本的要求是期望网络在经历刚性变换的输入上获得稳定的预测，因为这种变换不会改变对象的形状，更不用说改变其语义了。这一基本要求在实际应用中更为重要考试-*通讯作者。例如，当机器人识别和拾取物体时，物体通常处于未知的姿态。然而，许多研究[7，17，51]表明，大多数现有的点云分类器可以通过简单地旋转输入来容易地攻击。为了使用这些分类器，我们需要对齐所有输入对象，这是一个非常昂贵和耗时的过程。为此，如何提高点云分类器对任意旋转的鲁棒性，成为一个非常热门和必要的研究课题。为了使网络对旋转输入具有鲁棒性，大多数现有工作可以分为三类：(1)旋转增强方法尝试使用旋转来增强训练数据，并且已广泛用于早期的点云分类器[29，30，39]。然而，由于旋转数据的天文数字，数据增强很难用于提高模型对任意旋转的鲁棒性[49]。(2)旋转不变性方法提出将输入点云转换为对旋转不变的几何描述符。典型的不变描述符可以是局部点对之间的距离和角度[4，8，47，48]或从全局坐标计算的点范数[17，49]和主方向[47(3)旋转等方差方法试图从模型体系结构的角度解决旋转问题。例如，[5，27，37，40]使用具有可操纵核基的卷积来构建旋转等变网络，[7，34，50]使用等变操作修改现有网络虽然方法（2）和（3）都可以有效地提高模型对任意旋转的鲁棒性，但它们要么需要对输入进行耗时的预处理，要么需要复杂的架构修改，这将导致在干净对齐的数据集上的有限性能。本文试图为点云数据的旋转鲁棒性问题探索一条新的技术路线。我们的方法受到对抗训练的启发[22]，这是一种典型的防御方法，可以提高模型对攻击的鲁棒性。对抗训练的想法很简单：它在每个训练循环中用对抗性示例来增加训练数据。因此，逆向训练的模型表现得更好，14372通常情况下，当面对对抗性的例子比标准训练的模型。对抗性训练在提高模型对图像或文本扰动的鲁棒性方面表现出了巨大的效果[9，11，21，33，44]，同时保持了较强的区分能力。在3D点云中，[18，35，36]也成功地利用对抗训练来抵御点云扰动，例如随机点移动或删除。然而，使用对抗训练来提高点云分类器的旋转鲁棒性的研究很少。为此，通过将旋转视为一种攻击，我们开发了ART-Point框架，通过在具有AdiversarialR oT ations的输入上训练网络来提高旋转与对抗训练的一般框架一样，ART-Point形成了一个经典的最小-最大问题，其中最大步骤找到最积极的旋转，最小步骤用于优化网络参数以实现旋转鲁棒性。对于最大步长，我们提出了一种轴向旋转攻击算法，以找到最具攻击性的旋转样本。与现有的直接优化变换矩阵的旋转攻击算法[51]相比，该方法对旋转角度进行优化对于最小步骤，我们遵循原始分类器的训练方案，在对抗样本上重新训练网络为了克服标签泄漏[15]引起的对抗样本上的过度拟合问题，我们构建了一个旋转池，该旋转池利用点云样本之间对抗旋转的可转移性最后，受集成对抗训练[38]的启发，我们提出了一种快速的一步优化方法来解决最小-最大问题。该方法不需要交替优化极小-极大问题直到模型收敛，而是能够快速得到具有竞争性能的最终鲁棒模型。与旋转不变和等变方法相比，ART-Point框架旨在优化网络参数，使得收敛模型对任意和对抗性旋转都具有自然鲁棒性，而不需要几何描述符提取或可能阻碍模型学习判别特征的架构修改。因此，我们得到的鲁棒模型更好地继承了干净（对齐）数据集上的原始性能。它对模型设计没有限制，可以集成到大多数点云分类器上。在实验中，我们主要在两个数据集ModelNet40 [42]和ShapeNet16 [46]上验证了我们的方法的有效性。我们采用PointNet [29]，PointNet++[30]和DGCNN [39]作为基本分类器。首先，与现有的旋转攻击方法[51]相比，我们提出的攻击实现了更高的攻击成功率。然后，与现有的旋转鲁棒分类器相比，我们最好的，模型（ART-DGCNN）在随机旋转的数据集上表现出更强大的性能。同时，我们的方法通常在干净对齐的数据集上显示出较少的准确性降低。除了任意旋转之外，由此产生的模型还显示出对对抗性旋转的可靠防御1我们的贡献可归纳如下：• 首次从模型攻击和防御的角度成功地提高了点云分类器的我们提出的框架，艺术点，享有较少的建筑modifica- tions比以前的旋转等变方法，不需要描述符提取输入数据。• 我们提出了一个轴向旋转攻击算法，以有效地找到最积极的旋转样本对抗训练。设计了一个旋转池，以避免模型在对抗样本上的过度拟合。我们还提供了一个快速的一步优化来解决最小最大问题。• 我们验证了我们的方法在两个数据集与三个点云分类。实验结果表明，该算法比现有的攻击方法具有更高的攻击成功率.此外，提出的ART-点框架可以有效地提高模型旋转鲁棒性，允许模型防御任意和对抗性旋转，同时几乎不影响模型在干净数据上的性能。2. 相关工作2.1. 旋转鲁棒点云分类器旋转增强。点云分类器的初始工作[29，30，39]在训练期间采用旋转增强来提高旋转鲁棒性。然而，旋转增强只能导致模型对小范围的角度具有鲁棒性。最近，为了获得对任意旋转角度具有鲁棒性的模型，提出了旋转不变性和旋转等变性方法。旋转不变方法从点云中提取例如，[4，8，28，48]巧妙地从局部点对构造距离和角度。[17，47，49]进一步扩展具有全局不变上下文的局部不变描述符。除了使用具有明确几何意义的不变描述符之外，[20，28，31]还设计了不变卷积来自动学习各种描述符进行处理。旋转等方差方法期望学习的特征与输入相应地旋转，从而产生旋转鲁棒模型。大多数这些作品通常依赖于旋转等变卷积[5，6，10，14，27，37，40]1 代 码 地 址 ： https://github.com/robinwang1/ART-Point.14373θ∈S∈∈∈构建等变网络。其他作品如[7，34，50]试图修改现有点云分类器[29，30，39]中的模块，使其旋转等变。然而，这些方法通常需要特定的描述符或网络模块，这将降低分类器在对齐数据集上的性能。我们的研究不同于这些方法，因为我们试图通过优化参数而不改变输入空间或网络结构来获得鲁棒模型。2.2. 对抗训练对抗训练[13，22]已被证明是对抗对抗攻击的最有效技术[23，26，32]，受到研究界的广泛关注。与其他防御策略不同，对抗性训练旨在从本质上增强模型的鲁棒性[1]。这一特性使得对抗训练广泛应用于各个领域，以提高模型的鲁棒性，包括图像识别[11，12，33，44]，文本欺骗网络，这产生以下公式：minρ （θ ），其 中ρ（ θ ）=E （ p ， q ） <$D[L （θ ，p+δ，q）]，（1）其中p+δ是指通过引入扰动δ而产生的扰动样本在输入数据P上。是指允许的扰动集。当量（1）体现了数据扩充的基本思想。相比之下，对抗性训练更有效地提高了模型的鲁棒性。通过深入研究对抗样本的地貌，[22]发现了不同对抗样本的集中现象，这表明对最具攻击性的对手进行训练可以产生对所有其他集中对手的鲁棒性。这就产生了对抗训练的公式，这是一个鞍点问题：minρ（θ），其中ρ（θ）= E（p，q）<$D[max L（θ，p+ δ，q）].分类[9，21，24，25]，关系提取[41]等。Inθδ∈S（二）3D点云分类，对抗训练也可以有效使用。例如，[18]采用对抗性训练来提高模型对点移动扰动的鲁棒性，方法是在干净的和对抗性扰动的点云上进行训练[36]提出了一项深入的研究，展示了对抗性训练在点云分类中的表现。然而，现有的工作仅集中于提高模型对随机点移动或移除的最近，[51]设计了一个旋转攻击算法的前点云分类器。然而，它并没有提供详细的策略来防御旋转攻击。作为比较，我们设计了一种新的攻击算法，享有更高的攻击成功率。更重要的是，它为我们的对抗性训练框架服务，该框架生成自然防御任意和对抗性旋转的模型鞍点问题可以看作是一个内部最大化问题和一个外部最小化问题的组合，其中内部最大化问题是找到给定模型的最坏情况样本，外部最小化问题是训练一个对对抗样本具有鲁棒性的模型与数据增强相比，对抗性训练搜索最坏情况下的最佳解决方案，可以提高模型对较大范围扰动的鲁棒性[22]。3.2.问题公式化我们的主要目标是通过对抗训练框架来提高点云分类器对旋转攻击的鲁棒性。我们重新定义方程。（2）通过如下指定扰动为点云旋转：3. 方法minρ（θ），其中ρ（θ）=E（p，q）<$D[maxL（θ，Rp，q）]，θ在本节中，我们首先简要回顾了adver-R∈SO（3）（三）（第二节）第3.1节）。然后，我们重新制定了点云旋转攻击下的对抗训练目标（Sect.3.2）。接下来，我们提出攻击（节。3.3）和防御（节。3.4）算法，以获得良好的解决方案，以reformulated目标。最后，我们提供了一个一步优化，快速达到一个强大的模型（节。3.5）。3.1. 对抗性训练让我们首先考虑一个标准的分类任务，其底层数据分布D在输入p∈Rd和相应的标签q∈[k]上。然后，目标是找到使风险E（p，q）<$D[L（θ，p，q）]最小化的模型参数θ，其中L（θ，p，q）是合适的损失函数。为了提高模型的鲁棒性，我们希望没有扰动，其中pRn×3是指大小为n的输入点云而q[k]是对应的类标签。θ是PointNet [29]或DGCNN [39]等点云分类器的参数。RP是指通过使用矩阵R旋转输入p而生成的对抗样本，SO（3）是围绕R3欧氏空间原点的所有旋转的群我们设置旋转R SO（3）以确保目标是使模型对任意旋转具有鲁棒性。如在[22]中所讨论的，获得方程的良好解的一个关键要素。（3）使用最强的对抗样本来训练网络。遵循这一原则，我们首先提出了一种新的旋转攻击方法，具有令人满意的攻击成功率，从而更好地服务于对抗训练，以提高模型的鲁棒性。14374nΣ我我∂ϕ∂ϕ∂ϕ∂ϕx||X伊y关于���关于我内马提翁克西{1}清洁批次轴旋转攻击关于ev#$（′**最大值日本语简体中文保存旋转角公司旋转批料L更新参数关于我们公司简介���关于我外Mi离子尼米扎轮换池关于t（#）（������最小值+{}标签飞机旋转批料关于图1.我们对抗式训练方法的总体流程在上面的分支中，网络将一个干净的批次（对齐的对象）作为输入，并通过最大化eval模型的分类损失来找到最具攻击性的攻击角度攻角将按类别存储在旋转池中。在下分支中，网络从旋转池中采样角度以产生对抗点云，用于重新训练分类器以获得旋转鲁棒模型。红色和蓝色虚线分别表示两个优化任务中的后向梯度的路径在实际实现中，一步优化将通过攻击多个eval模型来构建旋转池，而迭代优化将在每次min-max迭代中使用最新重新训练的模型的参数更新eval模型的参数。3.3. 攻击-内在最大化对于内部最大化问题，我们期望一个强在球坐标下，用链式法则表示为：L=旋转攻击算法，可以找到最具侵略性的样本，导致高分类损失。先前拉克斯i=1N阿格纳斯一世阿斯图里亚斯岛波兹南岛（四）研究[51]介绍了两种旋转攻击方法，即随机抽样等距（TSI）攻击和组合焦油攻击。=（−yi=1Lix+xL（i）在任何情况下），限制性等距（CTRI）攻击，用于生成广告，对抗性轮换 然而，它们几乎不能用于其中，<$L=<$L（θ，p，q）和<$L=<$L（θ，p，q）是gra-对抗训练的原因如下：（1）TSI在点坐标上反向传播下半攻击是一种黑盒攻击，无法直接访问旋转轴，X和y 也可以计算为分类器参数，因此几乎不能用于发现引起高损失的样本。(2)CTRI攻击是一种白盒攻击，可以利用参数信息搜索最具攻击性的样本。然而，在CTRI中，对于矩阵是纯旋转没有严格的约束，这导致了具有非刚性变形的对抗样本。为此，我们提出了一种新的白盒攻击，找到最积极的样本，同时保证攻击是纯旋转。梯度下降角度。首先，为了保证攻击是纯旋转的，我们提出了对旋转角度进行梯度下降的攻击优化方法。具体地，对于n点云p=[xi，yi，zi]，i=1. n，我们考虑具有表示沿三个轴的旋转角度的3个参数的向量Φ =[α x，α y，α z]。 沿z轴旋转点δ将使损耗L增加Δ Lδ，然后可以计算出z同样的方式。基于等式（4），我们可以通过梯度下降迭代地优化角度以获得引起高损失的对抗旋转最后，从优化的角度生成旋转矩阵为R=RzRyRx，其中Rx对应于旋转矩阵，绕x轴旋转100度。 更多关于GRA-在补充中将提供梯度计算和旋转矩阵构造。轴心攻击。为了有效地找到最积极的旋转，基于角度梯度，我们进一步提出了一个轴向机制。具体地说，我们将SO（3）中的旋转细分为围绕三个轴的旋转以进行优化.通过这样做，每次我们都可以选择最具攻击性的轴旋转，从而产生更强的攻击。我们通过下式近似计算特定轴的损耗变化率：它反映了围绕中心旋转的影响最后的损失。接下来，我们选择影响最大的14375ξ∂ϕξB A AAB−−算法1轴旋转攻击要求：点云输入p、标签q和模型参数θ、损失函数L（θ，p，q）、迭代次数T、步长α、初始旋转角度Φ=[x，y，z]和相应的旋转矩阵R=RxRyRz。1：对于t=0至T，第二章：计算坐标上的梯度：旋转角度Φ =[0.097，1.530，−1.646]“Bench”L= 0.012 L = 12.7853：无菌=[L， ，J.吨x（t）（t）z（t）4：通过等式计算角度梯度（四）、5：通过Eq. （五）、6：攻击目标轴方程。（七）、7：更新旋转矩阵：Φ“Bench”Φ“Bench”8：R（t+1）=R（t+1）R（t+1）R（t+1）L= 0.023L= 10.356L= 0.011 L = 11.942阿斯图里亚斯9： 获得被攻击的点云：p（t+1）=R（t+1）p10：结束输出R（T），p（T）轴线最大值=argmax |L|，n∈[x，y，z]，（5）并通过在梯度下降的相反方向上旋转一步来攻击轴：图2.相同类别中样本之间对抗性旋转的可转移性在“Bench”中的一个样本上发现的对抗性旋转在实验过程中，我们发现对于原始训练集A及其带有旋转的攻击集B，直接在集B上训练容易导致模型过拟合。这种行为是（t+1）（t）利比里亚[15]《易经》云：“君子之道，焉可诬也？有始有卒者，其惟圣人乎！2019 - 04 - 2201：01：02（∂ϕξ∗ ）的情况。（六）基于梯度的攻击产生网络可能过拟合的非常有限的对抗性示例集合。问题是与同时优化所有三个轴相比，轴向攻击可以在每个攻击步骤中指定更温和的旋转角变化。实施详情。在实际的实现中，我们采用了其他几种通用设置来查找对抗样本。首先，我们使用投影梯度下降（PGD）[22]来优化角度。与正常梯度下降相比，PGD确保优化的角度可以被约束到某些范围内：lem在较小的训练集上可能更糟，在我们的例子中，ModelNet40 [42]。为了解决标签泄漏导致的过拟合问题，我们提出了增加训练数据，增加更多种类的对抗旋转。一个简单的解决方案是用多个at-粘性=[攻击1（），攻击2（），. . .，攻击i（）]。但是，多重攻击非常耗时。本最后，我们构造了一个旋转池，以更有效的方式增加训练数据的多样性（t+1）（t）利比里亚轮换池。 如图（4）我们注意到，[001 pdf 1st-31files][001pdf 1st-31files][001 pdf1st-31files]（∂ϕξ∗ ））。（七）在一个样本上发现的对抗性旋转在同一类别的其他样本上具有很强的可基于在我们的例子中，我们将投影范围设置为[π，π]，以避免旋转周期性引起的不连续性然后，代替交叉熵，我们遵循[43，51]采用CW损失[3]来修改交叉熵作为更强大的对抗目标，以生成更强大的对手。最后，为了保证生成的对手能够更均匀地分布在[π，π]之间，我们采用了随机启动策略。对于每个输入点云，我们将用随机旋转角度对其进行初始化，然后继续沿着初始化角度进行攻击。所提出的轴向旋转攻击算法在算法（1）中示出。3.4. 防御-外部最小化在防御方面，我们使用随机梯度下降（SGD）[2]在对抗样本上重新训练模型。14376n1nknKR根据这一观察结果，我们建议不保存旋转样本，而是按类别保存每个样本上产生的旋转角度，以构建旋转池：R=[{Φi，1}i=1，···，{Φi，k}i=1，···，{Φi，K}i=1]，（8）其中Φi，k是在猫的样本i上找到的旋转。我们将保存类别k中所有nk个样本对应的旋转，并遍历所有K个类别以构建最终的旋转池。在防御训练期间，我们只需要根据类别从轮换池中采样轮换，将输入转换为对手。由于可转移性，由旋转池生成的对抗样本也会导致高分类损失。Sect.4.5也证实了旋转池可以有效解决过拟合问题。14377更新参数���������������������× T更新循环池伊Φ（t）来自旋转合并液的Φ2（t）{i}Max L（t，t，t）���i，8+MinL（n（t），n（t））���（（）&(a)迭代优化i，qiR轮换池飞机（，板凳（），（⋮⋮更新循环池哦，天来自旋转合并液的Φ（*）i，8+伊关*Ø 我我⋮最大L（109，最大L（m，m，轮换池（二）（三）Ø飞机 ������铝���������、Φ2（���∗⋮*ØΦi，8+（板凳⋮���������������，（⋮（二）（三）MinL（n，n0n，&1*Ø 我（b）一步优化图3.不同优化的比较。对于迭代优化（a），具有参数θ的模型将在最小-最大问题上重复优化T次，直到收敛到鲁棒参数θT。相比之下，所提出的一步优化（b）通过攻击m个不同的模型来构造旋转池，并且仅需要一步来获得目标模型的鲁棒参数迭代优化。为了解决最小化问题，即Eq.（3）在对抗训练中，为了达到最终的鲁棒模型，通常采用迭代优化方案。具体来说，在第一次迭代中，我们将攻击预先训练的分类器以初始化旋转池，然后在从旋转池生成的对抗样本上重新训练分类器，以获得鲁棒模型。在下面的迭代中，我们将攻击最新的鲁棒模型，以迭代地更新旋转池：其中，θm为模型m的参数，Φ（m）为攻击模型m产生的对抗旋转。通过攻击m个模型，得到的旋转池具有比迭代优化多m倍的积极旋转。是的。对于防御，类似于迭代优化，我们使用从旋转池中采样的对抗旋转来重新训练目标模型。与迭代方式相比，一步优化取得了有竞争力的结果，具有更快的训练进度。因此，我们选择一步优化作为我们的（吨）i，qi= maxL（θ（t），RΦpi，qi），（9）ΦART-Point框架。两种优化方法的比较如图所示。（三）、详细实施其中θ（t）是指t次迭代后的鲁棒模型的参数，R是随机起始角θ的旋转矩阵，qi是输入样本pi对应的类别标签。补充资料中将提供说明和对比实验（吨）i，qi是指在qi类样本i上发现的旋转4. 实验在第t次迭代中。然后，我们在从更新的池中生成的对手上重新训练分类器（t）建立一个更健全的模型。将重复该过程，直到模型收敛到最鲁棒的状态。3.5. 一步优化上面的简单实现需要在攻击端和防御端进行多次迭代。虽然获得了鲁棒的模型，但整个过程非常耗时.受集成对抗训练（EAT）[38]的启发，我们进一步提出了一种有效的一步优化方法，以达到具有较低训练成本的鲁棒模型具体来说，EAT建议引入在其他更强大的静态预训练模型上制作的对抗性示例，而不是多次迭代以获得更具攻击性的样本。直观地说，由于对抗样本在模型之间转移，在更鲁棒的模型上制作的扰动是目标模型的最大化问题的良好近似。我们遵循这一原则来解决最小化问题方程。（3）一步到位具体来说，我们不仅攻击目标分类器，还攻击更健壮的分类器，以构建更大的旋转池：Φ（m）=maxL（θm，RΦpi，qi），（10）4.1. 实验装置数据集。 我们在两个分类数据集ModelNet40 [42]和ShapeNet16 [46]上评估了我们的方法。Model-Net 40包含 来 自 40 个 类 别 的 12 ， 311 个 网 格 化 CAD 模 型 。ShapeNet16是一个更大的数据集，包含来自16个类别的16，881个形状对于这两个数据集，我们遵循官方的训练和测试分割方案，并使用与[29，30，39]中相同的数据预处理，其中每个模型均使用来自网格面的1，024个点进行均匀采样，并重新缩放以适应单位球体。模型 我们选择了三个点云分类器来评估我们的方法，包括PointNet [29]，一个单独处理点的先锋网络，PointNet++ [30]，一个层次特征提取网络和DGCNN[39]，一个基于图形的特征提取网络。这些分类器缺乏旋转的鲁棒性。通过验证这些分类器，我们表明，ART点可以应用于各种学习架构，以提高旋转鲁棒性。评价。为了全面比较不同模型的旋转鲁棒性，我们设计了三个评估协议：（1）进攻。该攻击算法对测试集进行逆向旋转，以评估模型的防御能力. (2)随机测试集是随机的i，qiΦΦΦ14378方法ModelNet40攻击随机清理使用不变描述符的[31]第三十一话90.190.190.1[48]第四十八话86.586.486.5电子邮件[4]87.187.187.1[17]第十七话89.489.389.4具有等变结构的分类器[第37话]87.687.687.6REQNN [34]74.474.174.4V-PointNet [7]77.277.277.2[7]第七届全国政协委员90.290.290.2EPN [5]88.388.388.3我们ART-PointNet85.684.385.5ART-PointNet++90.187.588.6ART-DGCNN91.590.591.3表1.在ModelNet40下比较三种评估协议[42]和ShapeNet 16 [46]用于通过旋转增强（RA）和对抗旋转（ART）训练的分类器。用于评估模型旋转鲁棒性。(3)干净测试集不变，用于评估对齐数据下此外，我们使用攻击成功率来评估我们的攻击算法。攻击成功率计算为攻击前后测试集中正确预测样本的百分比。4.2. 与旋转增强的我们首先比较了所提出的ART点与旋转增强（RA）的有效性，以提高模型的旋转鲁棒性。对于使用旋转增强的分类器，我们将使用随机旋转的输入来训练它们。在选项卡中。（1），我们说明了Mod-elNet 40[42]和ShapeNet 16 [46]下的比较结果。从该表中，可以获得几个观察结果。首先，与旋转增强相比，所提出的ART-Point导致模型在所有协议下表现更好。在两个数据集下的所有三个分类器其次，在随机测试集下，使用ART点训练的模型的分类准确率显著高于使用RA点训练的模型。（最大增幅：31.2%）。这主要是因为旋转增强很难抵御使用模型梯度信息发现的对抗性旋转。相比之下，我们的方法显示出更强的防御对抗旋转。我们将进一步测试我们的方法在门派不同的旋转攻击下的防御能力。4.4这两个观察表明，建议的ART点是一个更有效的方法来提高旋转鲁棒性的点云分类比旋转增强。表2.在ModelNet40下比较三种评估协议[42]对于各种旋转鲁棒分类器。4.3. 与旋转鲁棒分类器的我们进一步比较了由ART- Point训练的鲁棒模型与现有的旋转鲁棒分类器，包括将点云转换为旋转不变描述符的[4，17，31，48]和设计旋转等变架构的[5，7，34，37]旋转鲁棒分类器将在随机旋转输入上训练。基于ModelNet40 [42]下所有协议的比较结果见表1。（二）、首先，我们的最佳模型ART-DGCNN在三种评估方案下优于所有等变或不变方法其次，在所有协议下，等变或不变方法都类似地执行，这是不期望的，因为干净的测试集应该更容易被模型分类。这主要是因为这些方法通过修改输入空间或模型结构从点云中分离出姿态信息来获得旋转鲁棒性相比之下，ART-Point使用原始分类器在3D空间中对对抗样本进行训练，结果模型不仅更好地继承了原始分类器在干净集上的性能，而且对攻击测试集表现出很好的防御能力。4.4. 攻防Beyond rotation robustness, our method provides a com-plete set of tools for attack and defense on point cloud clas-sifiers.为了验证所提出的攻击算法，我们比较了我们的方法与[51]中提出的同时，我们还展示了ART-Point训练的分类器的防御能力。的方法ModelNet40随机攻击清洁美国（RA）[30]第三十话[39]第三十九话55.658.965.674.480.185.776.782.387.6ART-PointNet（Ours）ART-PointNet++（Ours）ART-DGCNN（我们的）85.6（30.0↑）84.3（9.9↑）85.5（8.8↑）90.1（31.2↑）87.5（7.4↑）88.6（6.3↑）91.5（25.9↑） 90.5（4.8↑）91.3（3.7↑）方法ShapeNet16攻击随机清理美国（RA）[30]第三十话[39]第三十九话66.470.574.487.389.790.589.592.194.3ART-PointNet96.9（30.5↑）95.1（7.8↑）96.2（6.7↑）97.8（27.3↑）96.3（6.6↑）97.5（5.4↑）98.4（24.0↑） 97.7（7.2↑）98.1（3.8↑）14379模型旋转攻击算法[51]第51话我的世界PointNet [29]96.9299.4499.54[30]第三十话91.3197.9398.96[39]第三十九话89.8197.9998.51ART-PointNet（我们的）9.7111.1312.78ART-PointNet++（我们的）4.316.607.92ART-DGCNN（我们的）3.145.336.62表3.比较ModelNet40下不同分类器上几种攻击算法的攻击成功率（%）[42]。方法损失 Acc. 方法损失 Acc.随机5.13 74.4 不含RP12.72 55.8TSI [51]7.35 79.5 RP（pn1）10.19 82.9CTRI [51]8.87 82.1 RP（pn1，pn2）12.01 82.6我们的（步骤=1）7.65 81.5 RP（pn1，dg）12.55 83.1我们的（步骤=5）9.57 82.8 RP（pn2，dg）13.03 84.0我们的（步骤=10）13.49 84.3 RP（pn1，pn2，dg）13.49 84.3表4.不同方法生成的对抗样本的平均损失和相应对抗训练的准确性。RP（pn 1）是指攻击Point- Net [29]产生的旋转池。pn2和dg是指PointNet++ [30]和DGCNN [39]。结果如表1所示。（三）、在前三行中，我们报告了不同攻击算法对使用干净样本训练的分类器可以看出，与其他两种旋转攻击相比，我们的攻击在所有三个分类器上都取得了最高的成功率在最后三行中，我们进一步报告了使用ART-Point训练的分类器可以看出，ART-Point提高了对旋转攻击的模型防御4.5. 消融研究最后，我们进行消融研究，以证明我们的设计在ART点的有效性。所有消融实验均在PointNet [29]分类器上进行，并在随机旋转测试集1下进行评价。不同的攻击。我们使用由不同旋转攻击生成的对抗样本进行对抗训练，并研究对结果模型鲁棒性的影响。我们采用了几种攻击来生成导致不同损失值的对抗样本，包括随机旋转攻击，[51]中的攻击和我们的不同步骤的攻击。在Tab的左列中。（4）给出了不同攻击产生的样本的平均分类损失以及使用相应样本进行对抗训练的结果轮换池。验证了构建旋转池的必要性。我们比较了对抗训练的结果，没有旋转池和构建ro-1更多关于下降步长、旋转角度和攻角步长的烧蚀研究可以在补充材料中找到。图4.不同攻击步骤下标准攻击和轴向攻击样本的平均损失值。从不同的模型中提取。如选项卡右列所示。（4）虽然没有旋转池的对抗训练会产生导致高损失值的样本，但由于标签泄漏导致的过拟合，最终结果比旋转池训练更差[15]。轴心攻击。 我们比较了我们提出的轴向旋转攻击与标准攻击算法，它同时优化三个角度在一个梯度下降。我们主要遵循[22]来显示每一步中被攻击样本的平均损失我们用随机角度初始化重新开始攻击20次。比较结果如图所示。（四）、可以看出，轴向机制使得攻击算法能够找到更多的渐进旋转样本。4.6. 限制和社会影响由于我们的方法主要基于对抗训练，因此一个限制是我们首先需要获得一个具有可访问参数的完全训练模型。同时，旋转攻击算法可能被用于攻击基于点云的3D目标检测系统，这是潜在的负面社会影响。5. 结论在本文中，我们提出ART-Point，通过对抗训练来提高点云分类器的旋转鲁棒性。ART点由一个轴向旋转攻击和一个旋转池机制的防御方法组成。它可以采用在大多数现有的分类器与快速一步优化，以获得旋转鲁棒模型。实验结果表明，该旋转攻击对大多数点云分类器都有很高的攻击成功率。此外，我们的最佳模型ART-DGCNN对任意和对抗性旋转表现出很强的鲁棒性，并且优于现有的最先进的旋转鲁棒分类器。致谢本工作得到重大科技创新2030“脑科学与类脑研究”重点项目（编号2021ZD 0201402、2021ZD 0201405）的支持14380引用[1] 白涛，罗锦启，赵俊，文碧涵，王千。对抗训练对抗鲁棒性的最新进展。arXiv预印本arXiv：2102.01356，2021。3[2] 我 在 博 图 。 随 机 梯 度 下 降 的 大 规 模 机 器 学 习 在COMPSTAT’2010的Proceedings施普林格，2010年。5[3] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会（SP），第39-57页。IEEE，2017年。5[4] Chao Chen，Guanbin Li，Ruijia Xu，Tianshui Chen，Meng Wang，and Liang Lin. Clusternet：具有严格旋转不变表示的深度层次集群网络，用于点云分析。在IEEE/CVF计算机视觉和模式识别会议论文集，第4994-5002页一、二、七[5] 陈海伟，刘世晨，陈伟凯，李浩，和冉德尔希尔.三维点云分析的等变点网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第14514-14523页，2021年。一、二、七[6] TacoSCohen， MarioGeiger ， JonasK？hler ，andMaxWelling. 球 形 cnns 。 arXiv 预 印 本 arXiv ：1801.10130，2018。2[7] Congyue Deng ， Or Litany ， Yueqi Duan ， AdrienPoulenard，Andrea Tagliasacchi，and Leonidas Guibas.向量神经元：SO（3）-等变网络的一般框架。arXiv预印本arXiv：2104.12229，2021。一、三、七[8] Haowen Deng，Tolga Birdal，and Slobodan Ilic.Ppf折叠网：旋转不变三维局部描述子的无监督学习。在欧洲计算机视觉会议（ECCV）的会议记录中，第602-618页，2018年。一、二[9] Javid Ebrahimi，Anyi Rao，Daniel Lowd ，and DejingDou. Hotflip：用于文本分类的白盒对抗示例。arXiv预印本arXiv：1712.06751，2017年。二、三[10] Carlos Esteves 、 Christine Allen-Blanchette 、 AmeeshMaka- dia和Kostas Daniilidis。用球面cnn学习so（3）等变在欧洲计算机视觉会议（ECCV）的会议中，第522[11] Yaroslav Ganin 、 Evgeniya Ustinova 、 Hana Ajakan 、PascalGermain、HugoLarochelle、FrancçoisLa violette、Mario Marchand和Victor Lempitsky。神经网络的领域对抗机器学习研究杂志，17（1）：2096-2030，2016。二、三[12] 龚承悦、任同政、叶茂、刘强。Maxup：轻量级对抗训练与数据增强提高神经网络训练。在IEEE/CVF计算机视觉和模式识别会议论文集，第2474-2483页，2021年。3[13] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv ：1412.6572，2014。3[14] 何凌申，陈宇轩，董一鸣，王义森，林周晨，等.高效的等变网络。神经信息处理系统进展，34，2021。2[15] Alexey Kurakin，Ian Goodfellow，and Samy Bengio.大规 模 的 对 抗 性 机 器 学 习 。 arXiv 预 印 本 arXiv ：1611.01236，2016。二、五、八[16] Itai Lang，Uriel Kotlicki，and Shai Avidan.三维点云上的 几 何 对 抗 攻 击 与 防 御 arXiv 预 印 本 arXiv ：2012.05657，2020。3[17] Xianzhi Li ， Ruihui Li ， Guangyong Chen ， Chi-WingFu，Daniel Cohen-Or，and Pheng-Ann Heng.一种用于深度点云分析的旋转不变框架。IEEE Transactions onVisualization and Computer Graphics，2021。一、二、七[18] Daniel Liu、Ronald Yu和Hao Su。将对抗性攻击和防御扩展到深度3d点云分类器。在2019年IEEE图像处理国际会议（ICIP）上，第2279-2283页。IEEE，2019。二、三[19] Hongbin Liu，Jinyuan Jia，and Neil Zhenqiang Gong.控球后卫：可证明鲁棒的三维点云分类。在IEEE/CVF计算机视觉和模式识别会议上，第6186-6195页，2021年3[20] Min Liu ，Fupin Yao ，Chiho Choi，Ayan Sinha，andKarthik Ramani.使用alt-az各向异性2球卷积深度学习3d形状。在2018年国际学习代表会议上2[21] 刘鹏飞，邱西鹏，黄宣静。用于文本分类的对抗性多任务学习。arXiv预印本arXiv：1704.05742，2