没有合适的资源?快使用搜索试试~ 我知道了~
10356LG-GAN:标签引导对抗网络,用于基于点云的深度网络Hang Zhou1张,Dongdong Chen2张,Jing Liao3廖,Kejiang Chen1,XiaoyiDong1,Kunlin Liu1,Weiming Zhang1,†,Gang Hua4,Nenghai Yu11中国科学技术大学2微软研究院3香港城市大学4Wormpex AI Research{zh2991,chenkj,dlight,lkl6949}@mail.ustc.edu.cn;cddlyf@gmail.com;jingliao@cityu.edu.hk; {zhangwm,ynh}@ustc.edu.cn;ganghua@gmail.com摘要深度神经网络在3D点云识别方面取得了巨大进展。最近的工作表明,这些3D识别网络也容易受到各种攻击方法产生的对抗样本的攻击,包括基于优化的3DCarlini-Wagner攻击,基于梯度的迭代快速梯度方法和基于分离的点丢弃。然而,经过仔细分析,这些方法要么是非常缓慢,因为优化/迭代方案,或不灵活,以支持特定类别的有针对性的攻击。为了克服这些缺点,本文提出了一种新的标签引导对抗网络(LG-GAN)的实时灵活的目标点云攻击。据我们所知,这是第一代基于三维点云的定位方法。通过将原始点云和目标攻击标签馈送到LG-GAN中,它可以学习如何变形点云以仅用单个前向传递将识别网络误导到特定标签详细地说,LG-GAN首先利用一个多分支对抗网络来提取输入点云的分层特征,然后使用标签编码器将指定的标签信息合并到多个中间特征中最后,将编码的特征馈送到坐标重构解码器以生成目标对抗样本。通过 评 估 不 同 的 点 云 识 别 模 型 ( 例 如 , PointNet ,PointNet++和DGCNN),我们证明了所提出的LG-GAN可以支持灵活的有针对性的攻击,同时保证良好的攻击性能和更高的效率。同等贡献,通讯作者1. 介绍深度神经网络(DNN)已成功应用于许多计算机视觉任务[31,12,26,6,41,19]。最近,DeepSets[40]、PointNet [5]及其变体[25,33]等开创性工作探索了通过DNN使用点云进行推理的可能性,以理解几何形状并识别3D结构。这些方法直接从原始的3D点坐标中提取特征,而不利用手工制作的特征,如法线和曲率,并为3D对象分类和语义场景分割提供了令人印象深刻的结果。然而,最近的研究表明,DNN容易受到对抗性示例的攻击,这些示例是通过攻击者向原始输入添加不可察觉的扰动而恶意创建的。这可能会给实际应用系统带来安全威胁,例如自动驾驶[2]、语音识别[7]和人脸验证[21]等。与图像类似,最近的许多作品[36,20,42]表明,深度点云识别网络对对抗性示例也很敏感,并且很容易被它们愚弄。现有的3D对抗攻击方法可以大致分为三种:基于优化的方法,如L-BFGS [32]和CW&攻击[3],基于梯度的方法,如FGSM [8]和IFGM [9],以及基于分离的方法,如[38]。尽管它们在攻击中具有显著的效果,但它们都有一些明显的局限性。例如,前两者依赖于非常耗时的优化/迭代方案。这使得它们对于实时攻击不够灵活。相比之下,最后一种更快,但攻击成功率较低。此外,它需要删除一些关键的点云结构,只支持无目标的攻击。为了克服这些缺点,并激励im-10357年龄对抗攻击方法[1,37,10],本文提出了第一代基于点云的攻击方法,该方法速度更快,攻击性能更好,支持对特定类别的动态灵活针对性攻击具体来说,我们设计了一个新的标签引导的对抗网络“LG-GAN”。通过将原始点云和目标攻击标签馈送到LG-GAN中,它学习如何以最小的扰动来变形点云,从而仅用一次向前传递就将识别网络误导到特定标签中。具体来说,LG-GAN首先利用一个多分支生成网络提取输入点云的层次特征,然后通过标签编码器将指定的标签信息合并到多个中间特征中。最后,变换后的特征将被馈送到坐标重建解码器中以生成目标对抗样本。为了进一步鼓励为了证明有效性,我们通过PointNet、PointNet++和DGCNN)。实验表明,该算法在实现灵活的目标攻击的同时,具有良好的攻击性能和较高的攻击效率.总之,我们的贡献有三个方面:• 针对现有3D对抗攻击方法的局限性,提出了基于第一代的3D点云识别网络对抗攻击方法。• 为了支持任意目标攻击,我们设计了一种新的标签引导对抗网络• 在不同的识别模型上的实验表明,该方法在提高识别效率的同时,更灵活有效地应对目标攻击。2. 相关工作2.1. 三维点识别为了获得良好的三维点识别性能,最重要的组成部分是特征提取器的设计。在深度学习之前的时代,提出了各种手工3D描述符。例如,在[23]中利用形状分布来计算基于随机表面点之间的距离、角度、面积和体积的相似性。基于物体的原生3D表示,经典的基于形状的描述符包括体素网格[23]、多边形网格[17]以及3D SIFT和SURF描述符[27,16]。最近,由于深度网络的强大学习能力,提出了更多基于深度学习的描述符。在 [29] 中 , 提 出 了 一 种 多 视 图 卷 积 神 经 网 络(MVCNN),通过一种汇集程序。开创性的工作PointNet [25]进一步设计了一种新型的神经网络,可以直接对点云进行处理,并实现卓越的识别性能。通过考虑更多的局部结构信息,在以下工作PointNet++ [25]中进一步改进。另一个代表性的工作是DGCNN [33],它通过构建局部邻域图并在图神经网络的精神中在连接相邻点对的边缘上为了评估我们的方法的有效性和推广能力,我们将尝试分别攻击这三个代表性的方法2.2. 现有的3D对抗攻击方法如前所述,3D识别网络也容易受到对抗性攻击。我们可以大致将现有的3D对抗攻击方法分为三个不同的类别:基于优化的方法[36]、基于梯度的方法[20,38,42]和基于梯度的方法[38]。对于基于优化的方法,Xianget al. [36]提出了一个基于C W的框架[3],通过点扰动、点添加和簇添加来生成对抗点云。该方法利用一个优化目标来寻找使识别网络分类错误的最小扰动样本。典 型 的 扰 动 测 量 包 括 L2 范 数 、 Hausdorff 距 离 和Chamfer距离。对于基于梯度的方法,Liuet al. [20]通过在不同维度上将扰动幅度约束到一个球面上,扩展了快速/迭代梯度法Yang等[38]开发了一种单像素攻击的变体[30],通过使用逐点梯度方法仅更新附加点而不改变原始点云。Zheng等[42]通过首先构建基于梯度的显著性图并丢弃具有最低显著性分数的点,提出了基于点丢弃的攻击。虽然基于优化和基于梯度的方法可以获得很好的攻击性能,但它们都非常慢。由于PointNet [24]中一个3D对象的识别结果通常由关键子集确定,Yang等人[38]开发了一种基于codeon-detach的攻击方法,通过迭代地从该关键子集中分离最重要的点。这种方法速度快,但攻击成功率不高。更重要的是,这种方法不支持有针对性的攻击。为了克服上述所有限制,我们提出了基于第一代的攻击方法,它可以更快,更灵活的有针对性的攻击。1035810359103602权值,确定需要从目标顶点及其邻域顶点借用多少信息。k默认设置为83.3.目标损失函数发电机网络G的目标损失函数由三部分组成:分类损失、重构损失和区分损失。形式上:LG=Lcls+α Lrec+β Ldis(5)其中α、β是权重因子。Lcls是促使被攻击模型H对目标标签t进行预测的分类损失,我们使用标准的交叉熵损失:4.1. 与现有技术方法的比较数据集。ModelNet40是一个全面的对象3D CAD模型的干净集合,包含来自40个类别的12,311个对象,其中9,843个用于训练,其他2,468个用于测试。如Qiet al. [24]在生成对抗点云之前,我们首先从每个对象的表面均匀采样2,048个点,并将它们重新缩放到一个单位立方体中。ShapeNetCore [4]是完整ShapeNet数据集的子集,具有单个干净的3D模型和手动验证的类别和对齐注释。它涵盖了55个常见对象类别,拥有52,472个独特的3D模型,其中41,986个是Lcls =−[tlogH(P)+(1−t)log(1−H(P))],(6)用于培训,其余10,486用于测试。所有的数据被均匀地采样为4096个点。其中P=Gθ(P,t)是生成的对抗点云,H(P)是对抗样本上的t ar get模型的预测概率。Lrec是重建损失其鼓励所生成的对抗点云重新建模原始样本。我们采用比Chamfer距离更好的102距离作为我们的测量。Ldis是一个图对抗损失,与Lrec具有相同的目标。受LS-GAN的启发[22],Ldis ( P) =<$1−Dθ ( P)<$2 。(7)网络的目标损失函数D旨在通过迷你区分真假点云最小化LD损失:攻击评估攻击者使用目标模型生成对抗性示例,然后评估这些生成的对抗性示例对目标模型和防御模型的攻击成功率和检测精度。方法比较。我们将我们的方法与广泛的现有技术方法进行比较。C W [36]是一种基于优化的算法,具有各种损失标准,包括R2范数、Hausdorff和Chamfer距离、聚类和对象约束。FGSM和IFGM [20,38]是受FGM∞和FGM2范数约束的基于梯度的算法,其中FGSM是一个简单的基线,它减去了沿着损失梯度符号方向的ˆ1ˆ21相对于输入点云,IFGM迭代2L D(P,P)=<$D θ(P)<$2+1 − D θ(P)(八)2 23.4.实现细节按 照 [3] 中 的 实 践 , 我 们 采 用 PointNet [24] 和PointNet++ [25]作为目标攻击模型H,并使用默认设置进行训练。给定预训练的模型,我们训练拟议的LG-GAN 来 攻 击 这 两 个 模 型 。 输 入 点 云 的 大 小 为 2 ,048×3,权重α和β分别设置为0.001和1。该实现基于TensorFlow。对于优化,我们使用Adam [15]优化器训练网络200个epoch,minibatch大小为4,G和D的学习率为0.001和0.00001。整个训练过程在NVIDIA RTX 2080Ti GPU上大约需要8小时。4. 实验在本节中,我们首先将我们的LG-GAN与以前的CAD对象基准点上的最先进方法进行比较(第10节)。 4.1)。 然后,我们提供分析实验,以了解LG-GAN的有效性和效率(第二节)。4.2)。我们还验证了基于防御的攻击(SEC。4.3)。最后,我们展示了我们的LG-GAN的定性结果(Sec. 4.4)。补充材料中提供了更多的分析和可视化减去归一化的梯度。由于FGSM不是强大到足以处理有针对性的攻击(小于30%的tack成功率),并且点分离方法[24,38]不能有针对性地攻击预先训练的网络,我们在下面的实验中不比较这些方法。结果总结见表1和表2。FGSM的攻击成功率较低(12.2%)。LG-GAN比IFGM方法至少有23.1%的攻击成功率和5倍的生成速度。LG-GAN与基于优化的C W方法具有相似的攻击成功率,但速度超过100倍。在视觉质量方面,LG-GAN的表现略差于CW方法,因为CW试图通过多次查询网络来尽可能少地修改点以LG-GAN对鲁棒防御模型(灰箱模型)具有更好的攻击能力,在简单随机抽样(SRS)和DUP-Net [43]防御模型上的攻击成功率分别为88.8%和84.8%。值得注意的是,我们在攻击黑盒模型方面取得了很大的改进。如表2所示,LG-GAN在PointNet++ [25]和DGCNN [33]上的攻击成功率分别为11.6%和14.5%,而IFGM [20,38]仅为3.0%,2.6%和C W [36]方法为0和0。10361103621036310364引用[1] Shumeet Baluja和Ian Fischer。对抗转换网络:学习生成对抗性示例。arXiv预印本arXiv:1703.09387,2017。[2] Yulong Cao,Chaowei Xiao,Dawei Yang,Jing Fang,Ruigang Yang,Mingyan Liu,and Bo Li.对抗基于激光雷 达 的 自 动 驾 驶 系 统 。 arXiv 预 印 本 arXiv :1907.05418,2019。[3] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会(SP),第39-57页。IEEE,2017年。[4] AngelXChang , ThomasFunkhouser , LeonidasGuibas,Pat Hanrahan,Qixing Huang,Zimming Li,Silvio Savarese , Manolis Savva , Shuran Song , HaoSu,et al. Shapenet:一个信息丰富的3D模型存储库。arXiv预印本arXiv:1512.03012,2015。[5] R Qi Charles, Hao Su ,Mo Kaichun , and Leonidas JGuibas.Pointnet:对点集进行深度学习,用于3D分类和分割。在计算机视觉和模式识别(CVPR),2017年IEEE会议上,第77IEEE,2017年。[6] 陈东东,廖静,卢远,余能海,华刚。连贯的在线视频风格转移。在IEEE计算机视觉国际会议论文集,第1105-1114页[7] Moustapha Cisse、Yossi Adi、Natalia Neverova和JosephKeshet。胡迪尼:愚弄深度结构化预测模型。arXiv预印本arXiv:1707.05373,2017。[8] Ian J Goodfellow,Jonathon Shlens,Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv :1412.6572,2014。[9] Shixiang Gu和Luca Rigazio。走向对对抗性示例鲁棒的深度神经网络架构。arXiv预印本arXiv:1412.5068,2014。[10] 韩江帆,董晓毅,张瑞茂,陈东东,张伟明,于能海,罗平,王晓刚.一次做人:通过学习多目标对抗网络一次实现多目标攻击。在IEEE计算机视觉国际会议论文集,第5158-5167页,2019年[11] 巴拉斯·哈里哈兰,巴勃罗·阿贝雷斯,罗斯·吉希克,和吉坦德拉·马利克.用于对象分割和细粒度定位的超列。在Proceedings of the IEEE conference on computer visionand pattern recognition,pages 447[12] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition,第770-778页[13] Qibin Hou , Ming-Ming Cheng , Xiaowei Hu , AliBorji,Zhuowen Tu,and Philip HS Torr.具有短连接的深度监督法律程序中的IEEE计算机视觉和模式识别会议,第3203-3212页,2017年。[14] Binh-Son Hua、Minh-Khoi Tran和Sai-Kit Yeung。逐点卷积神经网络。InProceedings of theIEEE计算机视觉和模式识别会议,第984-993页,2018年。[15] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。[16] Jan Knopp,Mukta Prasad,Geert Willems,Radu Rifte,and Luc Van Gool.用于稳健三维分类的霍夫变换和三维冲浪。欧洲计算机视觉会议,第589-602页施普林格,2010年。[17] Iasonas Kokkinos,Michael M Bronstein,Roee Litman,and Alex M Bronstein.用于可变形形状的固有形状上下文描述符。2012年IEEE计算机视觉和模式识别会议,第159IEEE,2012。[18] Alex Kurakin 、 Dan Boneh 、 Florian Tramèr 、 IanGoodfellow、Nicolas Papernot和Patrick McDaniel。对抗训练:攻击和防御。2018年。[19] Suichan Li,Dapeng Chen,Bin Liu,Nenghai Yu,andRui Zhao.用于视觉识别的基于记忆的邻域嵌入。在IEEE计算机视觉国际会议上,2019年10月。[20] Daniel Liu、Ronald Yu和Hao Su。将对抗性攻击和防御扩 展 到 深 度 3d 点 云 分 类 器 。 arXiv 预 印 本 arXiv :1901.03006,2019。[21] Yanpei Liu,Xinyun Chen,Chang Liu,and Dawn Song.深入研究可转移的对抗性例子和黑盒攻击。arXiv预印本arXiv:1611.02770,2016。[22] Xudong Mao , Qing Li , Haoran Xie , Raymond YKLau,Zhen Wang,and Stephen Paul Smolley.最小二乘生成对抗网络。在Proceedings of the IEEE InternationalConference on Computer Vision,第2794-2802页,2017年。[23] Robert Osada,Thomas Funkhouser,Bernard Chazelle,and David Dobkin. 形 状 分 布 ACM Transactions onGraphics(TOG),21(4):807[24] Charles R Qi, Hao Su ,Kaichun Mo, and Leonidas JGuibas.Pointnet:用于3D分类和分割的点集深度学习。Proc.ComputerVisionandPatternRecognition(CVPR),IEEE,1(2):4,2017.[25] Charles Ruizhongtai Qi,Li Yi,Hao Su,and Leonidas JGuibas. Pointnet++:度量空间中点集的深度层次特征学习。神经信息处理系统,第5099-5108页,2017年[26] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn:利用区域建议网络进行实时目标检测。神经信息处理系统的进展,第91-99页,2015年[27] 保罗·斯科万纳、萨阿德·阿里和穆巴拉克·沙阿。三维SIFT描述子及其在动作识别中的应用。第15届ACM国际多媒体会议论文集,第357-360页。ACM,2007年。[28] Ashish Shrivastava,Tomas Pfister,Oncel Tuzel,JoshuaSusskind,Wenda Wang,and Russell Webb. 通过对抗训练从模拟和无监督图像中在IEEE计算机视觉和模式识别会议论文集,第2107-2116页[29] Hang Su,Subhransu Maji,Evangelos Kalogerakis,andErik Learned-Miller.多视图卷积神经网络10365用 于 3D 形 状 识 别 。 在 Proceedings of the IEEEinternational conference on computer vision,pages 945-953,2015中。[30] Jiawei Su , Danilo Vasconcellos Vargas , and KouichiSakurai. 一 个 像 素 攻 击 欺 骗 深 度 神 经 网 络 IEEETransactions on Evolutionary Computation,2019。[31] Christian Szegedy , Wei Liu , Yangqing Jia , PierreSermanet , Scott Reed , Dragomir Anguelov , DumitruErhan,Vincent Vanhoucke,and Andrew Rabinovich.更深的回旋。在IEEE计算机视觉和模式识别会议论文集,第1-9页[32] Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna 、 Dumitru Erhan 、 Ian Goodfellow 和 RobFergus。神经网络的有趣特性。arXiv预印本arXiv:1312.6199,2013。[33] Yue Wang,Yongbin Sun,Ziwei Liu,Sanjay E Sarma,Michael M Bronstein,and Justin M Solomon.点云学习的动态图cnn。ACM Transactions on Graphics(TOG),38(5):146,2019。[34] Huikai Wu,Junge Zhang,and Kaiqi Huang.对抗性残差图 网 络 的 点 云 超 分 辨 率 。 arXiv 预 印 本 arXiv :1908.02111,2019。[35] 吴 志 荣 , 宋 舒 然 , Aditya Khosla , Fisher Yu , Lin-guang Zhang , Xiaoou Tang , and Jianxiong Xiao. 3dshapenets:体积形状的深度表示。在IEEE计算机视觉和模式识别会议论文集,第1912-1920页[36] Chong Xiang,Charles R Qi,and Bo Li.生成3D对抗点云。在IEEE计算机视觉和模式识别会议论文集,第9136- 9144页[37] Chaovei Xiao , Bo Li , Jun-Yan Zhu , Warren He ,Mingyan Liu,and Dawn Song.使用对抗网络生成对抗示例。arXiv预印本arXiv:1801.02610,2018。[38] Jiancheng Yang , Qiang Zhang , Rongyao Fang ,Bingbing Ni,Jinxian Liu,and Qi Tian.点集上的对抗性攻击和防御。arXiv预印本arXiv:1902.10899,2019。[39] Lequan Yu,Xianzhi Li,Chi-Wing Fu,Daniel Cohen-Or,and Pheng-Ann Heng.Pu-net:点云上采样网络。在IEEE计算机视觉和模式识别会议论文集,第2790-2799页[40] Manzil Zaheer、Satwik Kottur、Siamak Ravanbakhsh、Barnabas Poczos、Ruslan R Salakhutdinov和Alexander JSmola。深套。神经信息处理系统的进展,第3391-3401页,2017年[41] 张杰,陈东东,廖静,韩芳,张伟明,周文博,崔浩,余能海.用于图像处理网络的模型水印。AAAI 2020,2020。[42] 郑天航、陈长友、袁俊松、李波、任奎。点云显着图。在IEEE计算机视觉国际会议论文集,第1598-1606页[43] Hang Zhou , Kejiang Chen , Weiming Zhang , HanFang,Wenbo Zhou,and Nenghai Yu. Dup-net:用于3D对抗点云防御的去噪器和上采样器网络。在IEEE计算机视觉国际会议论文集,第1961-1970页,2019年。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功