4581点云神经网络的可解释性单点攻击Hanxiao Tan Helena Kotthaus AIGroup,TU Dortmund{hanxiao.tan,helena.kotthaus} @ tu-dortmund.de摘要最近的研究表明,越来越多的兴趣,研究点云网络的可靠性,通过对抗性攻击。然而,现有的研究大多是为了欺骗人类,而很少解决模型本身的操作原理。在这项工作中,我们提出了两种对抗性方法:单点攻击(OPA)和关键点攻击(CTA),它们通过结合可解释性方法更精确地瞄准对预测至关重要的点我们的研究结果表明,流行的点云网络可以被欺骗的成功率很高,只需要从输入实例中移动一个点。我们还展示了不同点属性分布对点云网络对抗鲁棒性的有趣影响。我们讨论了我们的方法如何促进点云网络的可解释性研究。 到达贝斯特据我们所知,这是关于可解释性的第一个基于点云的对抗方法。 我们的代码可以在https://github.com/Explain3D/Exp-One-Point-Atk-PC上找到。1. 介绍自动驾驶和机器人领域的发展提高了对点云(PC)数据研究的需求,因为PC在实时性能方面优于其他3D表示。然而,与2D图像相比,PC网络的鲁棒性和可靠性只是近年来才引起了相当大的关注,并且仍然没有得到充分的研究,这可能威胁到人类的生命,例如。除非具有点云识别系统的无人驾驶车辆足够稳定和透明,否则它们是不可靠的。已经进行了几次尝试来调查PC网络上的对抗性攻击,例如。[22]和[54]。由[22]表示的第一个系列(形状可感知),尽管使用外部生成模型产生几何连续的对抗性示例,但从根本上旨在欺骗人眼,因此忽略了对扰动维度的约束。另一系列由[54]表示的(点移动)已经显示了在关键位置移动(删除或添加)点可以成功欺骗分类器的可能性然而,大多数这样的研究只集中在最小化扰动距离的不可感知性。相反,我们从一个不同的角度出发,探索对PC网络的攻击与最小数量的扰动点。此外,我们认为,现有的临界点的选择可以进一步优化,结合可解释性的方法。与以前的研究相比,我们的工作是出于以下原因:模型工作原理:部分点移动方法也通过扰动临界点来欺骗分类器,然而,我们认为它们对临界点的选择是有缺陷的。由于大多数临界点的选择方法仅基于梯度,并且现有研究[1,45]已证明原始梯度会受到饱和问题的影响,因此存在偏倚。另一方面,[16]表明PC分类网络的特征属性非常稀疏,而没有工作专门研究这些属性如何在临界点之间分布以及它们对预测灵敏度的影响。可解释性的可能性:一维扰动的另一种可能性是可解释性.被称为反事实的解释能力方法通过扰动输入特征来改变预测标签,从而向用户提供令人信服的解释。先前的研究表明,人类更容易接受具有稀疏维扰动的反事实[18,28,3]。对于像点云这样的高维决策边界,扰动维数的降低是增强邻域可理解性的重要方法,这可以被视为此外,通过结合部分语义,我们的方法有可能被扩展为生成高质量的反事实。此外,我们只需要访问梯度,没有广告生成模型,因此更内在的解释。总之,这项工作的贡献可以总结-4582×→∈如下所示• 我们提出了两种基于可解释性方法的对抗性攻击:一点攻击(OPA)和致命攻击(CTA)。从可解释的AI中提取属性,我们的方法以高成功率欺骗流行的PC网络。在大量实验的支持下,在扰动稀疏性方面与现有方法建立了显着的裕度。• 我们调查了不同的池架构作为现有点云网络的替代品,这对内部脆弱性对关键点转移有影响。• 我们从可解释性的角度讨论了对抗性攻击的研究潜力,并提出了我们的方法在促进可解释性方法的评估方面的应用。本文其余部分的组织结构如下:本文介绍了SEC对PC攻击的相关研究。2,然后我们详细介绍了我们提出的方法在第二节。3.节中4.我们展示了对抗性示例的可视化,并展示了与现有研究的比较结果。节中5我们讨论了从实验中得出的关于鲁棒性和可解释性的有趣观察结果最后,我们总结了我们的工作。六、2. 相关工作随着对抗性示例的第一项工作[47]的出现,针对2D图像神经网络的攻击越来越多[14,8,21,32,11,29]。然而,由于与PC网络的结构差异(见补充章节),7.1.1),我们不详细说明图像深度神经网络(DNN)的攻击方法。关于图像对抗示例的相关信息参见[2]。值得注意的是[43]研究了欺骗图像DNN的单像素攻击,并且还旨在探索输入的边界。然而,他们的方法是一种基于进化算法的黑盒攻击,这与我们的方法有现有的PC攻击通常分为两类:(i)形状可感知的生成,其通过生成模型或空间地理模型生成具有连续表面或网格的人类可识别的对抗性示例。另一方面,从可解释性的角度来看,大多数生成模型都包含复杂的网络结构,这些网络结构本质上是不可解释的。利用他们的输出来解释另一个模型是违反直觉的。之前的几项研究以及PointNet提议者[33]已经讨论了“临界点”的概念现有方法[54,19,58,52]通过跟踪池化层中保持活跃的关键点或通过观察基于梯度的显着图来提取关键点。虽然这些方法成功地生成了具有较小扰动距离和稀疏移位维度的对抗性示例,但我们认为,它们用于选择临界点的模块可以进一步优化。由于后续的FC层,很难确定来自池化层的幸存点是否最终对预测做出显著贡献此外,基于原始梯度的显着图是有缺陷的[1,45]。上述因素可能导致扰动过程中虚假临界点的卷入或真实临界点的遗漏,这严重影响了对抗算法的性能。近年来,可解释性越来越受到关注流行的可解释性方法可以大致分为基于梯度的[38,46,4,37,40,41]和基于扰动的[35,26,36],前者需要访问梯度信息,后者是模型不可知的。此外,还提出了针对表格数据的反事实解释[7],通过修改选定的特征来诱导模型做出不同的预测。反事实的性质与对抗性示例相同,因此攻击方法可能具有类似的解释潜力[5]。3. 方法在本节中,我们一般地阐述对抗问题,并介绍临界点集(Subsec.第3.1节)。我们提出了新的攻击方法(Subsec. 3.2)。3.1. 问题陈述设PRn×d表示给定的点云实例,f:Py表示所选择的PC神经网络,M(a,b):Rna×d Rnb×d表示实例a和b之间的扰动矩阵。本文的目标是生成一个特殊的例子P′∈Rn′×d,它满足:度量变换[55,22,51,23,17,57,25,59]。(ii)点移动扰动,通过扰动或1000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000|{m ∈ M(P,P ′))|m =0+M(P,P′):f(P′)第0个月|f(P)(一)梯度感知白盒算法[19,58,52,54,44,24]。逐点扰动,特别是梯度感知的攻击方法,使更多的内在探索的模型,如稳定性和决策边界。对4583注意,在PC数据的三种流行攻击方法中:点添加(n′> n),点分离(n′
0)//属性>0的点数3Rs=list()4 Icur= 1p(OPA)p5,对于Np从1到100,6while真实输入:P N DPC数据,fPC神经网络,α优化率,β权值约束扰动距离(可选),D距离计算功能(可选),Np移位点数(1代表单点攻击),Wn高斯噪声权重输出:Padv N D对抗性示例1Aidx=Argsort(IG(P,f))//获取P的IG掩码2Rs=list()//激活记录器3Icur=1//当前迭代4 而True则执行7apf(P)//激活预测类8G=αA p+βD(P adv,P)//添加距离约束(可选)9Padv=Adam(Padv,G[Aidx[0:Np]])// Adam优化N个点10Icur+=111Rs.append(ap)/* 如果预测类更改则成功 */12if argmax(a p)!= pred然后13returnPadv/* 当前Np轮失败,如果本地5apf(P) //预测类6G=α Ap+β D(Padv,P)//添加距离约束(可选)7Padv=Adam(Padv,G[Aidx[0:Np]])//Adam优化N个点8Icur+=19Rs.append(ap)/* 添加掩蔽高斯随机噪声,如果激活下降停止 */10如果Rs[t]