没有合适的资源?快使用搜索试试~ 我知道了~
6403几何信息的自监督学习自定进度自我训练语义适应几何感知自训练用于对象点云邹龙坤1、2、唐辉1、陈可1、3 *、贾奎1、3、4*1华南理工大学,2DexForce科技有限公司公司3鹏程实验室、4琶洲实验室{eelongkunzou,eehuitang}@mail.scut.edu.cn,{chenk,kuijia}@scut.edu.cn摘要鉴于不一致的数据采集过程,对象的点云表示可能具有大的几何变化,这因此由于不同且不可控的形状表示跨数据集而导致域差异。为了从实用可行的角度提高对点云几何形状不可见分布的识别能力,提出了一种新的几何感知自训练方法(GAST),用于对象点云分类的非监督域自适应具体而言,本文旨在通过两个新的自监督几何学习任务作为特征正则化来学习语义类别的一方面,表示学习通过点云样本与其自生成的旋转标签的线性混合来授权,以捕获局部几何形状的全局拓扑配置。另一方面,跨数据集的不同点分布可以用新颖的曲率感知失真局部化来归一化。在PointDA-10数据集上的实验表明,我们的GAST方法可以显着优于最先进的方法。源代码和预训练模型可在https://github.com/zou-longkun/GAST 上 获得。1. 介绍点云是3D对象分类中广泛采用的流行形状表示[29,42,30,38],由于其结构简单且易于获取。具体地说,点云可以通过物体模型表面的点采样来生成,这是最近生成用于点云分类的合成数据集的典型解决方案,例如,ShapeNet [5]和ModelNet [41]基准测试。超出*通讯作者未标记的目标数据标记的源数据图1:我们的几何感知自训练UDA对点云分类的概念。我们比较了常规的自定进度的自我训练语义适应(以绿色突出显示)和所提出的几何感知的自我训练(具有两个块)。请注意,底部的灰色数字是来自ScanNet [9]的目标测试点云的预测分类概率(即左上角的两个目标示例),这可以验证我们的自监督几何感知特征正则化对语义表示的有效性。在合成点云中,在实践中可以收集作为流行的3D传感器(诸如LiDAR和深度相机)的原始输出的大规模大小的点云每个数据集的合成点云通常遵循一种策略,例如在ShapeNet [5]中的整个对象表面上均匀采样,因此处于可控生成过程下。现实世界中存在的点云由于存在真实的传感器噪声、点云分布不均匀以及自遮挡导致的非闭合曲面单视图覆盖等因素,使得点云的鉴于此,基于点的形状表示可以具有分布的移动,这需要域自适应技术来提高点云分类器的泛化能力。一方面,大量的合成点云0.750.450.950.756404可以基于具有对应语义标签的对象CAD模型容易地生成另一方面,真实点云通常需要昂贵的手动注释,这因此导致真实数据的有限大小从实际的角度来看,点云分类的域自适应的一个有希望的设置是利用来自标签丰富的源域的数据(例如,合成点云),挖掘与标签稀缺目标域上的目标任务的某些相互关系(例如,真实点云)。受上述观察的启发,本文关注对象点云的无监督域自适应(UDA)[25],即以处理基于点的形状表示的数据分布差异[4,3]。这样的问题的目的是学习一个模型,训练样本从标记的源和未标记的目标点集,可以分类目标测试样本到两个领域的共同语义类别之一基于域自适应理论[4,3],多年来已经对用于2D图像分类的UDA [23,15,13,34,44,26]进行了很好的研究,而很少有作品[31,1]探索用于点云分类的UDA。具体而言,点云上的这些UDA方法涉及通过跨域的显式特征对齐的语义特征自适应,如现有的基于图像的UDA [31]或用于域不变几何图案的自监督特征编码,而不桥接语义特征的域间隙[1],导致次优自适应。在最先进的自我训练方法[49]的鼓励下,本文采用自定进度的自我训练(SPST)方案作为我们的基线,通过发现域间语义模式的结构相似性,将目标区分纳入语义表示。然而,这样的SPST方法直接适应于2D UDA域,其省略了点云表示的固有几何模糊性。鉴于最近在点云上的自监督学习[37,28,35,38]将局部或全局几何结构纳入语义特征表示的成功,本文提出了一种新的几何感知自训练(GAST)方法用于点云上的UDA,该方法设计了两个简单而有效的自监督任务,以规范SPST基线之外的语义特征编码,其概念是也如图1所示。具体地说,本文介绍了1)一种用于旋转角分类的点云混合算法,以发现物体2)曲率感知失真定位,用于针对不一致点分布的特征由于源点云和目标点云没有监督信号 对于两个prefect任务,可以以监督方式联合训练来自两个域的具有自生成的旋转/位置索引标签的样本。因此,由自我监督任务捕获的几何模式在两个域之间共享,从而可以进一步提高辨别力的语义表示来分类目标点云。在3D UDA基准PointDA-10上的实验[31] 显示了我们提出的方法的优越性比国家的最先进的方法显着。我们的贡献总结如下。• 本文提出了一种新的几何感知自训练方法,用于对象点集上的无监督域自适应,该方法将域不变几何编码为语义表示,以减轻基于点的表示的域差异。• 在技术上,GAST基于对未标记目标数据的自定进度的自训练,将预测旋转类和扭曲位置的自监督任务集成到表示学习中,从而构建域共享特征空间。• 在公共基准上的实验验证了所提出的GAST实现了点云分类的无监督域自适应的新的最先进的性能,特别是对于更重要的合成到真实的任务,始终表现得最好。2. 相关工作点云的深度分类-第一组算法[19,46,48,11,45]是基于多层感知器(MLP)设计的,其独立地对每个点上的特征进行密集编码以聚集全局形状表示。第二组算法[42,8,6]旨在通过构建空间/光谱图[ 42,6 ]或通过定义具有连续空间的不规则点上的欧几里得卷积运算(例如,卷积运算)来将每个点的局部邻域编码球体[8,12])或规则网格(例如,体素)[39,20]。这些用于点云分类的方法试图从全局和/或局部几何形状中学习有区别的语义特征,但很少有工作[31,1]注意减轻基于点的表示的分布变化,这是本文中我们的主要关注点。2D和3D无监督域自适应-用于2D图像分类的主流UDA方法的不同之处主要在于减少跨域差异的策略,并且相应地分为两类。第一类中的方法最小化域差异的代理,其通过分布统计学[23,15,32]或距离度量[44,26,10]来测量。第二类包括以对抗方式对齐源和目标特征分布的方法,即在域[13,40,27]的水平上玩极小极大博弈[14]或类别[34,33,17,7]。最近,一些作品[31,1]提出了基于不规则点的表示上的UDA问题。6405→X → YPS T Y Y P∈XX →PY|Y|∈ {···}CLSΣCLS我 我i=1我i=10.720.090.13…企业简介“椅子”真实标签类别分类器监督学习0.110.810.06…ℒ������CLS“table伪标号自定进度的自我训练源特征编码器语义表征学习旋转分类器0.12 “00.03 “00.79 “00.06 “0埃斯特罗“0 °,180 °”混淆旋转标签…自监督旋转角度预测目标位置分类器0.120.130.59“三”…伊施托克“3”位置标签“0.19”曲度成本自监督失真位置预测几何信息编码图2:几何感知自我训练概述,其中包括四个关键组件:在源域上的监督训练,在目标域上的自定进度的自我训练,自我监督的旋转角度预测,以及自我监督的 训练。扭转位置预测,对应于Ls、Lt、Lrot和Lloc的损失。这三个单独的分类器采用特征作为它们的输入。请注意,黑色小箭头指示优化方向表示,它继承了其他DA问题的语义差距的挑战,也有其特定的挑战领域无关的特征编码从局部几何的点云。Qin等人[31]提出了一种具有自适应感受野的节点模块,用于对有区别的局部结构进行建模,并最小化MMD损失以显式对齐跨域的本地功能。 Achituve等人[1]学习变成了分类问题。表1中评估了两个借口任务的效果,这可以验证我们的动机。3. 方法在点集上的无监督域自适应(UDA)中,给定源域S={Ps,ys}ns用ns标记样本和目标域T={Pt}nt与ntunla-以自我监督的方式,即,重建部分扭曲的点云。它们的局限性在第二节中讨论。1鼓励我们提出我们的GAST方法用于区分本机域共享表示。表1中的实验可以验证GAST优于PointDAN的性能[31]和DefRec [1]。自监督学习-[22]提供了该方向现有方法的全面总结,我们回顾了最相关的方法。为了从点云数据中学习几何特征,Sauderet al. [35]设计将输入点云分成几个部分,在这些部分上具有随机排列,目标是预测原始排列,而Pour-saeed等人。[28]建议旋转整个输入并预测旋转角度。在这项工作中,我们的GAST采用两个对于被标记的样本,语义标记空间在和之间共享(即,s=t),其中点云由m个三维坐标点组成的Rm×3(x,y,z)表示一个对象形状。设类别数为C,即y为1,2,、C。 基于点的UDA的目标是学习域自适应映射函数Φ:,其可以将点云样本正确地分类到C语义类别中的一个在深度学习的上下文中,映射函数Φ可以被公式化为针对任何输入的特征编码器Φfea:Rd 和 分 类 器 Φcls : Rd 的 级 联 。[0,1]C通常使用如下的全连接层:Φ(P)= Φcls(z)◦Φfea(P)(1)其中d表示Φfea(P)的特征表示输出z∈ Z的维度。将P的类别概率向量表示为p=Φcls(z)=[p1,· · ·,pC],其中托词任务Ci=1 p i=1。 由于S和T域都是假设-和新颖的畸变局部化以区分畸变部分与其它部分,这两个公式都被制定基于点的UDA的主要挑战是减少特征的域差异具有丰富局部几何6406Σ^^Pt我 yt◦◦^联系我们用于区分特征和决策边界CLS^^i,c我我ZP·CP我i=1Φfea,Φclsns我i,c我i=1CLSi i=1不在语义和几何方面对Φfea进行真实本文介绍了一种新颖的几何感知自训练(GAST)方法UDA上的点集分类,其流水线如图2所示。具体地说,其从较高置信水平因此,基于自定进度学习的自我训练的目标被描述为:所提出的GAST方法由两部分组成-t1nt. ΣCΣ智能特征自适应(参见第 3.1)和几何学-感知正则化(参见Sec.3.2)。在没有显式特征对齐的情况下,我们的GAST应用迭代自训练minΦfea,Φcls,Yt不Lcls=−n ti=1RCc=1y^i,clogpi,c+γ|y^i|1(三)目标数据上的自定进度学习,以适应语义表示,该语义表示是从超级中的源数据中提取的S. t. yi ∈ {{e|e∈γ >0,}0},i∈{1,2,···,n}固定的学习风格。其中yt是为目标分配的伪标签向量感知学习,提出的GAST规则化特征实例e^i^i,c是其 第c个元素,Y^t 是所有的集合通过预测旋转角度和失真位置的自我监督,通过合并全局和局部几何结构来学习3.1. 自适应语义特征我 们 的 目 标 是 学 习 一 个 自 适 应 的 分 类 模 型generalizing知识诱导从一个标记的源域到一个未标记的目标。如前所述,由于域差异,通过在具有类别标签y的源数据上学习分类模型Φ cls Φ fea而生成的语义表示在应用于未标记的目标域的情况时可能导致分类性能显著降低。以这种方式,我们提出通过用源样本和目标样本联合训练相同的网络ΦclsΦfea来学习域共享语义表示对于在监督学习方法中使用未标记的目标样本进行训练,我们以自定进度的学习方式采用自训练方案以最优地选择置信目标样本,将其与伪标签一起馈送到分类模型Φ中以细化具有目标区分的语义特征。源域上的监督学习-我 我i=1其中,e是独热向量,0是具有全部零元素的C维向量,并且γ是超参数。类似于Eq。(2),等式中的第一项。(3)旨在在相同的ΦclsΦfea上最大化所选择的输入Pt与其分配的标签yt之间的互信息,从而产生到目标域。这对于目标样本的分类确实有意义,因为各个域中的最佳分类器不一致[36]。在第二项中,利用负L1损失来避免所有yt都为0的退化解,即在网络训练中忽略所有目标样本γ控制所选目标样本的数量。γ越大,样本越多更具体地说,优化Eq.(3)在以下步骤之间交替。• 更新伪标签-我们首先固定模型Φ并最小化等式(1)中的Lt。(3)在伪标签向量设置Yt。通过求解一个非线性整数规划,我们得到了如下的优化解[49]:. 1如果c=argmaxpt',pt>exp(−γ)ytbeled源样本{Ps,ys}ns能力向量{ps}ns他们的分类问题^i,c=C'0否则。i,ci,c通过最小化交叉熵损失来训练:• 更新模型Φns C最小L=−1Σ ΣI[c=ys] logpsi=1c=1、(二)向量{yt}nt模型Φ。最小化Lt由方程式 (3)在其中p是a的类别预测ps的第c个元素将pt的最大值表示为源点云s,并且I[ ]是指示函数。监督学习在特征空间中建立语义表示z,其在源域S上的类别之间是有区别的。目标领域自我训练与自定进度学习-我们没有guarantee在所获得的伪标签的正确性,但期望,他们大多是正确的。为此,我们采用由易到难的学习方式[49]进行自定进度的学习目标实例T,即,maxc'pt'.在训练过程中,模型迭代地用更自信的目标样本来适应语义表示。用语义表示-源域和目标域之间的自适应性越来越强,具有较低置信度的目标样本(即,更硬的样品)。这种从易到难的方案也符合超监督学习的优化动态[2],它首先学习更适合模式的更容易的例子语义表示学习(2)和目标S由模型Φ预测,其为(四)CLS不不不、6407S∈ZZY~ns+nt{P}从源域和目标域两者。Giv eni˜i=1其中y∈{1,2,3,4}和y~∈{5,6,7,8}表示eab关于我们˜StΣ Σ。˜˜˜˜~~oP˜·--PPPP∈ P∈PZ →∈因为αy<$(1−α)y<$也被生成以形成训练abP领域自我训练与Eq的自定进度学习(3),我们制定了语义表征学习的目标minΦfea,Φcls,Y^tLsem=Lcls不CLS、(五)其中λ[0,1]是用于在训练的早期阶段抑制噪声信号的惩罚参数。在不显式地跨域对齐特征的情况下,目标(5)强制特征编码器Φfea直接输出具有源和目标的域共享语义表示。联合获取数据由于两个域共享相同的标签空间,因此它们对应于相同类别的样本将理想地被推到彼此更接近,自然地实现跨域的特征对齐。3.2. 自监督几何特征编码由于类内形状的变化,Φfea的特征输出可能是模糊的,这对于表示(a)rot90◦,90◦(b)rot0◦,180◦图3:通过组合采样点子集来生成表类的两个混合样本的说明性示例,用于预测沿着X轴和y轴的旋转类。两行分别对应PointDA-10 [31]的ModelNet-10和ScanNet-10。跨域的会话 因此,一个共同的ob-与对应的点云混合P~∈Rm×3,将分类器Φcls应用于源域和目标域,从点云中学习域不变几何特征是提高表示区分度的另一种解决方案。”[1]这是一个民族的故事。为此,我们提出了两个借口任务,即:旋转角度预测和失真位置预测,在自监督学习中旋转类标签的Pa和Pb。旋转分级机Φrot◦Φfea(P)将旋转的点云混合作为输入i=1旋转标签y a,i,y b,ins+nt,我们有以下结果:旋转角度分类的目标:ing(SSL)方式,可以对几何不变性进行建模跨域。注意,在特征编码中利用所提出的自监督几何特征编码minΦfea,Φrot1Lrot=−n+nns+nti=1RαI[r=ya,ir=1]logp~i,r(六)在源域和目标域上,其监督信号从数据中自动生成,如其他自监督学习方法[35,1]。基于点云混合的旋转角预测其中R=8且pi,r+(1−α)I[r=yb,i] logpi,rΣ,的第r个给定点云系数P,我们首先随机抽取一个Mixup旋转概率向量pi= ΦrotΦfea(i)。优化目标(6)使得模型能够感知全局α(0,1),用于对两个形状aR[α·m×3andbR[(1−α)·m×3from re-分别使用最远点采样(如[29]中所示),其中[α·m和[(1−α) ·m是Pa和Pb中的采样点数量,[·表示要输出整数。最后,我们通过沿x轴顺时针旋转a和沿y轴顺时针旋转b分别在0◦,90◦,180◦,270◦内为了实现点云混合的旋转角度预测的辅助任务,我们在特征提取器Φfea()的顶部额外堆叠混合旋转分类器Φrot:[0,1]R,其中R是旋转角度类的数量。图3中给出了两个说明性示例。1在[47]中的其他混合操作之后,标签混合1注意,下面[1,29]我们的论文中的点云是容忍的沿z轴的任意旋转。和局部形状基元的拓扑配置三维空间[28]。曲率感知失真定位-为了位置或变形,例如,重建具有随机位移或扭曲部分的受他们成功的启发,本文提出了一个简单而有效的借口任务,即通过显式地结合几何属性-曲率来预测位置畸变点集。直观上,曲率越高,保留的几何信息越丰富[21]。为此,我们首先通过基于局部区域内的主分量分析(PCA)的直接物理计算来获得每个点的曲率,例如。寻找最佳拟合中心点及其k近邻的最佳平面。然后,我们将点云体素化为k3个体素,从这些体素中以相等的概率随机选择一个,并替换其中的所有点。+λL6408P STi=1·◦Z →i=1i=1关于我们关于我们PStΣΣ◦P{P}(a) 第1段(b)分段第2段图4:具有不同扭曲位置和用于分类的相应的基于曲率的目标代码的床示例的图示。两行分别对应PointDA-10 [31]的ModelNet-10和ScanNet-10域这种体素具有从各向同性高斯分布采样的相等数量的点,其中平均值是采样体素的中心,并且标准偏差通常很小。代替使用单热目标编码,软目标编码揭示局部几何形状,例如。点态由于特征编码函数Φfea跨语义特征自适应和几何特征学习共享,因此目标(8)迫使Φfea经由两个借口任务的代理丢失来学习跨域捕获全局和局部几何不变性的表达特征也就是说,通过学习点云的全局旋转和局部变形无论是和域,鉴于使用源数据和目标数据两者构建公共几何特征空间,进一步减小了域差异。具体地,在自监督学习任务中,源数据和目标数据都将被分配自动生成的旋转/失真索引标签,并且从源数据和目标数据联合学习的几何特征因此可以对不同域中的点分布变化更鲁棒3.3. 整体训练和推理总体训练目标集成语义表示学习(5)和几何感知正则化(8),从而产生用于UDA的几何感知自训练(GAST)的统一框架,如下所示:诸如曲率的几何属性可以强制网络以成本敏感的学习方式集中在具有较高曲率的区域。具体地,曲率成本为minΦfea、Φ cls、Φ rot、ΦlocLGAST=Lsem+βLgeo,(9)要被畸变的任何点子集的曲率和与整个点云的曲率和之比。通过采取这些步骤,扭曲的点云ins+nt两者均─如图4中所示,产生主电源。这种具有曲率敏感标签的具体来说,我们在Φfea()之上堆叠位置分类器Φloc:[0,1]L,用于从整个点云中发现一个扭曲的几何单元,其中L=k3是覆盖所有形状表面的体素的数量。根据Cho的指数感测单元作为位置标记Yi 1,2,,Lns+nt和对应的曲率成本ci R ns+nt,我们通过以下方式训练位置预测模型ΦlocΦfea目标:其中β是权衡超参数,并且所提出的GAST的所有模型参数(参见图1)。图2)以端到端的方式同时学习。一旦训练,我们的模型可以简单地部署为一个传统的分类模型,通过丢弃旋转和失真位置的分类器。在测试过程中,我们推断任何目标测试点云的类别作为arg maxcpc,其中pc是预测类别概率向量p=ΦclsΦfea(P)的第c个元素。4. 实验4.1. 数据集和设置数据集-minΦfea、Φloc1Lloc=−n+nns+ntCii=1LI[l=yi] logpl=1我,我(七)来自ModelNet40 [41],ShapeNet [5]和ScanNet [9]的10个 共 享 类 的 云 , 导 致 以 下 三 个 不 同 的 域 。 ( 1 )ModelNet-10(M)由以下部分组成:其中p我,我是预测位置概率的第l个元素4,183个训练点云和856个测试点云从干净的3D CAD模型表面提取2,048个点能力向量pi = ΦlocΦfea(i)。直观地说,目标(7)可以通过推断畸变点的位置来从点云中空间点的局部分布中捕获几何信息。几何特征编码-方法[30]。ShapeNet-10(S)包括在ShapeNet对象表面均匀采样的17,378个训练点云和2,492个测试点云,每个点云也包含2,048个点。注意,ShapeNet-10比ModelNet-10更异构,因为ShapeNet具有更多的对象实例,其中 存在更大的结构 方差。( 3 )ScanNet-10(S*)包括6,110个训练样本和1,769个测试样本,收集了2,048个点minΦfea、Φ rot、Φ locLgeo=Lrot + Lloc。(八)从ScanNet的部分可见对象点云6409◦------LocClsRotClsSPSTM→SM→S*S→MS→S*S*→MS*→SAvg.监督不带适配器93.9 ±0.283.3 ±0.778.4 ±0.643.8 ±2.396.2 ±0.175.5 ±1.878.4 ±0.642.5 ±1.496.2 ±0.163.8 ±3.993.9 ±0.264.2 ±0.889.5 ±0.362.2 ±1.8DANN [13]PointDAN [31]RS [35]DefRec + PCM [1]74.8 ±2.883.9 ±0.379.9 ±0.881.7 ±0.642.1 ±0.644.8 ±1.446.7 ±4.851.8 ±0.357.5 ±0.463.3 ±1.175.2 ±2.078.6 ±0.750.9 ±1.045.7 ±0.751.4 ±3.954.5 ±0.343.7 ±2.943.6 ±2.071.8 ±2.373.7 ±1.671.6 ±1.056.4 ±1.571.2 ±2.871.1 ±1.456.8 ±1.556.3 ±1.266.0 ±1.668.6 ±0.8C78.6 ±0.384.3 ±0.284.4 ±0.483.9 ±0.284.8±0.152.3 ±0.246.2 ±0.345.9 ±0.556.7 ±0.359.8±0.275.0 ±0.269.8 ±0.680.5 ±0.376.4 ±0.280.8±0.651.4 ±0.349.2 ±0.348.7 ±0.455.0 ±0.256.7±0.269.3 ±0.266.6 ±0.564.8 ±0.373.4 ±0.381.1±0.863.6 ±0.266.1 ±0.270.4 ±0.372.2 ±0.274.9±0.565.1 ±0.263.7 ±0.465.8 ±0.469.5 ±0.273.0±0.4CGASTCCCCCC表1:在PointDA-10数据集上对3个种子(土SEM)平均的分类准确度(%)的比较评价LocClsRotClsSPST浴缸床书架内阁椅子灯监测植物沙发表Avg.监督76.958.855.573.292.563.470.572.056.085.070.4不带适配器61.531.832.9049.836.654.196.030.647.544.1DANN [13]34.638.834.22.759.412.249.284.053.057.842.6PointDAN [31]34.636.535.63.461.229.337.776.044.845.540.4DefRec + PCM [1]65.449.449.31.361.441.455.788.042.560.851.5C61.531.851.42.061.834.132.876.041.065.145.8C53.828.237.72.054.97.363.984.040.362.543.5GASTC57.735.345.23.354.334.149.276.051.550.245.7CC61.544.741.83.470.239.068.988.038.166.852.2CCC57.738.835.62.074.343.977.096.045.574.154.5表2:ModelNet-10与ScanNet-10(M→S*)的类分类准确度(%)评价。在手动注释的边界框内。由于扫描网络包含扫描和重建的真实世界场景的点云,因此除了现实传感器噪声之外,鉴于场景中的上下文对象的遮挡,点云通常是不完整的我们遵循[1]中使用的数据准备和数据设置。具体地,所有域中的所有对象点云(即数据集)沿x和y轴对齐,仅容许沿z轴的任意旋转。此外,包含1,024个点的点子集从PointDA-10提供的原始2,048个点云中进行下采样,并在具有随机抖动的单位球内进行归一化[29],这在所有方法中都被采用以进行公平比较。采用典型的80%/20%数据分割,用于在源域和目标域上进行训练和测试[1]。比较方法利用一系列关于图像分类的代表性UDA方法和最先进的基于点的DA方法,包括域对抗神经网络(DANN)[13]、点域自适应网络(PointDAN)[31]、重建空间网络( RS)[35]和具有点 云混合的变形 重建网络(DefRec+ PCM)[1]。本文还对仅用标记的目标数据训练同一骨干分类器ΦclsΦfea的监督方法和仅用标记的源样本训练同一骨干网络的w/o Adapt方法进行了性能评估,作为性能上下限的参考边界,分别。所有比较方法采用相同的训练协议,并且根据基于源验证的早期停止来选择最佳模型。实施细节DGCNN [42]作为特征编码器Φfea的主干,而类别分类器Φcls基于具有三个完全连接(FC)层(即,三层)的多层感知器(MLP)。512,256,10)。对于自监督旋转分类器和变形分类器,GAST分别采用两个两层MLP(即自监督旋转分类器和自监督变形分类器)。512,4),考虑到第512,5节中提到3.2,以及三层MLP(即,512,256,27),其中整个对象表面被体素化为3 ×3个单元。γ和β的超参数分别经验地设置为0.05和1。在训练期间,在所选择的具有伪标签的目标样本上,我们遵循[43]用沿z轴的随机旋转来增加数据Adam优化器[16]与初始学习率0.001,权重衰减0.00005和逐时余弦退火学习率调度器一起使用总的来说,我们在NVIDIA GTX-1080 Ti GPU上训练了150个时期的所有方法,批量大小为16,并对不同的随机种子进行了三次试验4.2. 结果与现有技术方法的比较-同样,GAST2优于所有比较域自适应方法,具有显著的裕度,与最先进的DefRec +PCM [1]和PointDAN [31]相比,平均准确度分别提高了4.4%和16.7% 值得注意的是,对于具有挑战性的2本段中的GAST表示具有所有组件的变体6410→→→→→→→→(a) 不带适配器:M→ S*(b)GAST:M → S*(c)不带适配器:S → S*(d)GAST:S →S*图5:在目标域上分类测试样本的混淆矩阵。消融研究LocCls(失真位置预测)、RotCls(旋转角度预测)和SPST(自定步自训练)。表1和2比较了包含这些组件的不同组合的五种GAST变体:(1)仅LocCls,(2)仅RotCls,(3)仅SPST,(4)RotCls+ LocCls,和(5)RotCls + LocCls + SPST。我们在下面强调主要意见(a) 不带适配器:S*→M(b)GAST:S* → M图6:目标域上特征分布的t-SNE可视化颜色表示不同的类。在MS *和S S*的现实显著的合成到真实任务中,GAST获得了比w/o Adapt分别16%和14.2%的显著增强。混淆矩阵在类分类精度方面的可视化,通过w/oAdapt和我们的GAST在M S* 和S的两个合成到真实UDA任务上S* 如图5所示。作为w/o Adapt基线和所提出的GAST使用相同的DGCNN主干,我们的方法在基线上的显著性能增益(平均10.8%)只能归功于我们的几何感知自训练方法的设计,以学习更好的语义表示,其在域之间更具适应性并且在类别之间更具区分性,受益于将自定进度的语义适应与自监督的几何编码相结合。更重要的是,与DefRec + PCM相比,所提出的GAST在两个合成到真实M S*和S S*任务上分别获得了8.0%和2.2%的性能增益。表2中还报告了任务MS *的类分类准确度。与现有的方法相比,建议的GAST实现了更好的性能上的大多数类,特别是那些主要的类与更多的样本,如椅子和桌子类。我们的方法的长尾类,如浴缸和床类的结果可以媲美的DefRec + PCM,但我们的方法仍然是其优越性的DANN和PointDAN。我们的方法的头部和长尾类之间的性能差距可以解释为表示学习需要足够的样本来表征跨域的语义。首先,每个组件都具有积极的影响,并且具有所有组件的方法(5)实现了最佳性能,验证了我们的GAST的所有组件都是互补的。第二,自监督几何编码是有效的,以处理基于点的形状表示的分布移位,其结果(即。在没有SPST的情况下,RotCls + LocCls)仍然可以优于最先进的方法,这可以通过对具有自生成标签的源和目标数据进行联合表示学习来解释,以捕获跨域的常见几何模式。特征可视化-鉴于数据分布的不平衡性,具有更多样本的黄色和绿色)在表示学习期间被强调,并且因此可以比基线的那些更有区别性。5. 结论这项工作的目的是通过一种新的几何感知的自我训练(GAST)方法,学习一个域共享的表示的语义类别的点云。在PointDA-10基准测试中的实验可以验证我们方案中关键部件的有效性,达到新的最先进的性能。确认这项工作得到了《广东省引进创新创业团队计划》(编号:2017ZT07X183)、国家自然科学基金(编号:61771201、61902131)和国家广东省研发重点项目(编号:2019B010155001)。6411引用[1] I. Achituve,H. Maron和G.谢奇克点云领域自适应的自监督学习。在IEEE/CVF计算机视觉应用冬季会议上,第123-133页,2021年。二三五七[2] D. Arpit,S. Jastrzebski,N.巴拉斯湾Krueger,E.本吉奥M. S. Kanwal , T.Maharaj , A.Fischer 、 A. 库 尔 维 尔YBen-gio和S.拉科斯特-朱利安深入研究深度网络中的在马赫国际会议上。学习. ,第233-242页4[3] S.本-大卫约翰·B K. Crammer和F.佩雷拉.域适应的表示分析。在高级神经信息。过程系统,第137-144页,2007。2[4] S. 本-戴维布利泽,K。克拉默,A。库莱萨河Pereira和J.W.沃恩从不同领域学习的理论。马赫学习. ,79:151-175,2010. 2[5] A. X Chang,T.芬克豪泽湖Guibas,P. Hanrahan,Q.Huang,Z. Li,S. Savarese,M. Savva,S.宋,H. Su等人 Shapenet : 一 个 信 息 丰 富 的 3d 模 型 库 。 ArXiv ,1512.03012,2015。1、6[6] C. Chen,G.利河,巴西-地Xu,T. Chen,M. Wang和L.是林书Clus- ternet:用于点云分析的具有严格旋转不变表示的深度层次聚类网络。在IEEE Conf. Comput.目视模式识别,2019年。2[7] X. Chen,S.Wang,M.Long和J.王. 可转移性与可辨别性:对抗域适应的批量频谱惩罚。在马赫国际会议上。学习. ,第97卷,第1081-1090页,2019年。2[8] T. 科恩,M。Geiger,Jonas Köhler,and M.威林Spheri-cal cnns. Arxiv,2018年。2[9] A. Dai , A. X Chang , M. Savva , M. Halber , T.Funkhouser和M.尼斯纳扫描:室内场景的丰富注释的3D重建。在IEEE Conf. Comput.目视模式识别,第5828-5839页,2017年。1、6[10] Z. 邓,Y.Luo和J.竹与教师进行聚类对齐在国际会议中Comput.目视,第9943-9952页,2019年。2[11] Y. Duan,Y. Zheng,J. Lu,J. Zhou和Q.田点云的结构关系推理 IEEE会议Comput.目视模式识别,2019年。2[12] C.埃斯特韦斯角Allen-Blanchette,A. Makadia和K.丹尼-小精灵。学习so(3)等变表示与球面cnn。以Eur.确认补偿目视,2018年。2[13] Y. Ganin,E.乌斯蒂诺娃Ajakan山口Germain,H.拉罗谢尔F.拉维奥莱特M Marchand和V。Lempitsky神经网络的领域对抗训练 J. 马赫学习. Res. ,17:2096-2030,2016.二、七[14] I. Goodfellow,J.普热-阿巴迪米尔扎湾,澳-地Xu,L.沃德-法利,S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。在高级神经信息。过程系统,第2672-2680页,2014。2[15] G.康湖,澳-地Jiang,Y. Yang和A. G.豪普特曼用于无监督域自适应的对比自适应网络。在IEEE Conf. Comput.目视模式识别,第4888-4897页,2019年。2[16] D. P Kingma 和 J. BA. Adam : 随 机 最 佳 化 的 方 法 。ArXiv,1412.6980,2014。76412[17] C.李,T.巴特拉湾H. Baig和D.乌布利希用于无监督域 自 适 应 的 切 片 沃 瑟 斯 坦 差 异 。 在 IEEE Conf.Comput. 目 视模 式 识 别 , 第10277-10287 页 ,2019年。2[18] D.- H.李你伪标签:简单高效的深度神经网络半监督学习方法。ICML表征学习挑战研讨会(WREPL),2013年。4[19] J. Li,B. M. Chen和G. H.李你So-net:用于点云分析的自组织网络。 在IEEE会议Comput.目视模式识别,2018年。2[20] Y. 利河,巴西-地布,M。太阳,W。Wu,X.Di和B.尘Pointcnn:x变换点上的 在高级神经信息。过程系统,第820-830页,2018。2[21] J Lin,X Shi,Y Gao,K Chen和K Jia。Cad-pu:用于点设置采样的曲率自适应深度学习解决方案。arXiv预印本arXiv:2009.04660,2020。5[22] X. Liu,F.Zhang,Z.胡,Z.王湖,加-地Mian,J.zhang和J. Tang。自我监督学习:生成的或对比的。ArXiv,2006.08218,2020。3[23] M.隆岛,澳-地曹,Z. Cao、J.Wang和M. I.约旦.具有深度适应网络的可转换表示学习。IEEE传输模式分析马赫内特尔,41:3071 2[24] L. van der Maaten和G.辛顿使用t-sne可视化数据。J.马赫学习. Res. ,9:2579-2605,2008. 8[25] S. J.Pan 和 Q. 杨 迁 移 学 习 研 究 综 述 。 IEEE Trans.Knowl.数据工程,22:1345-1359,2010. 2[26] Y.潘氏T. Yao,Y. Li,Y. Wang,C. Ngo和T.美.用于无监督域自适应的可转移原型网络。 在IEEE会议Comput. 目视模式识别,第2234-2242页,2019年。2[27] P. O.皮涅罗无监督域自适应与相似性学习。在IEEEConf. Comput. 目 视 模 式 识 别 , 第 8004-8013 页 ,2018。2[28] O. Poursaeed , T. 江 角 , 澳 -
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 李兴华Java基础教程:从入门到精通
- U盘与硬盘启动安装教程:从菜鸟到专家
- C++面试宝典:动态内存管理与继承解析
- C++ STL源码深度解析:专家级剖析与关键技术
- C/C++调用DOS命令实战指南
- 神经网络补偿的多传感器航迹融合技术
- GIS中的大地坐标系与椭球体解析
- 海思Hi3515 H.264编解码处理器用户手册
- Oracle基础练习题与解答
- 谷歌地球3D建筑筛选新流程详解
- CFO与CIO携手:数据管理与企业增值的战略
- Eclipse IDE基础教程:从入门到精通
- Shell脚本专家宝典:全面学习与资源指南
- Tomcat安装指南:附带JDK配置步骤
- NA3003A电子水准仪数据格式解析与转换研究
- 自动化专业英语词汇精华:必备术语集锦
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功