没有合适的资源?快使用搜索试试~ 我知道了~
8866不受监督的域适应性三维检测与多层次一致性罗志鹏1,2中昂菜1,2,3* 周常青2,4张功杰4赵海玉2,3帅毅2,3吕世坚4在李鸿声5张尚杭6刘紫薇11南阳S-Lab技术大学2商汤科技研究3上海爱实验室4南阳技术大学5中文大学洪孔6加州大学伯克利{志朋001、周0365}@e.ntu.edu.sg,{彩中昂、昭海峪、义帅}@sensetime.com{shijian.lu}@ntu.edu.sg,hsli@ee.cuhk.edu.hk,shz@eecs.berkeley.edu,zwliu.hust@gmail.com摘要基于深度学习的三维物体检测在大尺度自动驾驶数据集的复临下获得了不可预知的成功。保留,激烈的性能降解残留物跨域部署的一个关键挑战。在添加中,现有的三维域自适应去测试方法often问题先验获取目标多-梅因注释、惠希is拉雷利可能的在the雷亚尔世界。到地址这个挑战,我们研究了一个更现实的设置,无监督的三维域自适应检测,which只使用源域注释。1)我们首先做到了先发制人调查报the少校底层因素的领地盖普在三维检测。 我们基洞察力is that几何不匹配是域移位的关键因素。2)现在,我们提出了一个新颖和统一的框架,多级连续系统网络(MLC-Net)Wich雇用了一名教师帕拉迪格姆到代适应性和可靠的伪目标。MLC-网利用点-、实例-和神经统计-级一致性到法西利塔特跨领域的跨弗。扩展实验演示MLC-Net非性能现有状态方法(包含那些使用附加目标领域信息的方法)的标准基准。值得注意的,我们的方法是检测者不可知的,在both单两阶段3D检测者上取得一致的成就。代码意志是释放了。1. 导言与the普雷瓦伦特使用的激光雷达为自治韦希-克莱斯和移动的机器人、三维对象检测论波因特云哈斯拉温增加研究注意力。 规模很大的三维ob-ject检测数据集[11,35,3]在最近的岁月里,有权力的深以学习为基础的模型【32,42,41,21,31,43,25,34,33,50,45】到阿基耶韦夫可发出的成功。 如何--* 等贡献在科伦布尔丁作者地真相预测地真相预测图1:从KITTI到Waymo数据集的域适应检测结果可视化。左:基线预测模型受训论基蒂数据集和directly考斯特论Waymo dataset。模型可以分类和本地化的对象,但产品不精确的盒规模是完全的几何不匹配。预测的盒子比地面真相更容易通知。 右:预测的我们领域自适应的MLC-Net、惠希恶魔精准包围盒规模好思考MLC-网是训练无访问任何目标域注释。最好看在颜色。ever,深度学习模型训练在一个数据集(源域)oftensuffer tremendous性能分解时评估在另一个数据集(目标域)。我们放弃了包围盒规模错配问题(e.g.,车辆尺寸在the美国。 is通知拉尔杰丹that在Ger-Many),which是主要的贡献者,与上一篇作品保持一致[38]。这是三维检测的独特之处:与二维包围盒进行比较,可以有大范围的大小,从相机上放置在物体的不同位置,三维包围盒在同一数据集上具有更一致的大小,与激光雷达传感器的位置无关。亨斯、the检测器滕兹到记忆a窄和数据集-来自源域的包围盒大小的特定分布(图2)。不幸的,现有的作品是不适合地址的领域差距与现实设置。域自适应三维检测中的最近方法无论是要求从目标域中获得一些标签数据,以进行微调或利用目标域中的一些附加统计数据(就像平均大小)[38]。豪斯,目标的知识做-8867图二:A研究论the域班次为三维检测。 这里we拿去基蒂美国the来源数据集和Waymo美国the目标数据集。 我们重点洞察包含:1)在数据集上,目标维数方差的分布很严重,指示几何不匹配可以成为关键域间隙的因子; 2)向Waymo直接应用经过培训的KITTI车型(在图中作为基线进行推荐)是无效的:模特继续到普雷迪克特箱维度克洛斯到the来源领域; 3)我们MLC-Netis效果在寻址the几何学不匹配,以及它对目标域预测的分布与地面真相精确对齐。最好看在颜色。玩它不是永远可用的。在addition中,流行2D杠杆特征比对的unsu-修正域适应方法泰克尼克斯山【8,29,48,15,6,14,40,19,22,17,46,18,47,37】到米蒂盖特域班次阿雷不雷阿迪利山跨性能的三维检测。当它们的方法在处理领域间隔度对光照、颜色和纹理变化是有效的时,这样的信息在点云中是不可利用的。因斯特德、波因特云姿势独一无二的挑战苏奇美国the泛对称失配讨论上面。Therefore , We Propose MLC-Net for Unvissed Do-Main适应性三维检测。 MLC-Net is设计到攻克两大挑战。第一,创建有意义的规模自适应目标,以便利学习,MLC-Net Em-ploysthe平均数教师【36】学习范式。 The教师模型是学生MOD-ELS的一个时间集合的本质:教师模型的参数是通过学生模拟预迭代的指数移动平均窗口更新的。我们的分析显示的平均教师产品准确和稳定的监督学生模型没有任何先验知识的领域。 到最好的我们的知识,我们是第一个引入平均教师范例在非超视域自适应三维检测。第二,到设计规模相关的一致性损失和构造的师生预测对初始gra-长期流动的使用性备查反应,我们设计MLC-Net在三个层次上确定一致性。1)点级。作为点云是不可构造的、基于点的区域提议或等价[32,42]是共同的。Hence,我们在教师和学生之间的点数和分享中给出了相同的子集。我们在不丢失的情况下重新选取了allow三维增强方法的应用点的指标通讯。2) 实例级。匹配区域提案可以是错误的,特殊的在最初阶段,当重新考虑的提案的质量是实质性的。Hence,我们去度假了转-环教师区向学生提出的建议,以绕过匹配过程。3)神经统计水平。作为教师只获取目标域输入的模型,批量统计数据之间的不匹配导致有效学习。We thus转移the学生的统计、惠希is加特雷德从源头和目标领域,到教师实现更稳定的训练行为。MLC-Net shows值得推荐的兼容性与流行的主流3D侦探,呼吁我们在两个阶段实现它[32]和单阶段[42]侦探。更多的是,我们通过在多个widely用户三维物体检测数据集上的硬质实验验证我们的设计[11,35,3]。我们的方法的不良基线由Convinc-In-Margins,even溢出存在实用附加信息的方法。在总结中,我们的游戏贡献阿雷:• We福尔穆拉特和研究不受监督的域自适应三维检测,一个实用的,yet未被探索的任务那请求书不注释的the目标域。 We三维检测中域间隙的主要基础因素的共测预探寻找几何失配是关键因子。• We普罗波塞a简明耶特效果迈恩-蒂阿切尔杠杆化的范式三个层次的一致性对便利化跨领域的转让、阿基耶文a显著性能提升那才是一致的跨越多大众大众数据集。• We瓦利达特我们假说论the独一无二的挑战与点云关联并用综合评价验证我们提出的方法,让我们希望伍尔德莱a斯特朗基金会为未来研究。2. 相关的沃克斯基于激光的三维检测。基于激光的三维检测方法主要来自两种类别,即基于名称网格的方法和基于点的方法。基于网格的ap-将全点云场景转换为体素的固定尺寸和进程the输入与二维或三维美国有线电视新闻网。8868∈sss 我=1tt 我=1stNt{}MV3D[7]第一个项目点云到鸟眼观到生成年代的建议。波因特皮拉尔[21]表现vox-点云上的消除,并将表示转换为2D。VoxelNet[49]应用点网的模糊体素表示[27]用三维卷积点并处理特征。第二[41]应用三维稀疏融合-路由[12]提高效率。PV-RCNN[31]有利于组合体素化和点位集文摘。有利于闭塞更多的判别特征。论另一只手,基于点的方法从原始中直接提取特征波因特云输入。 F-PointNet【26】应用波因特内特【27]在二维边界上表演基于三维检测盒子。波因特尔CNN【32】提案a两阶段框架到盖纳-阿特斯箱邦德提案来自the整波因特云并用特征集合来修饰它们。3DSSD[42]关于使用F-FPS以更好地抽样点取得成就的建议单阶段检测。 在这工作、we行为焦点讨论用PointRCNN作为基本模型,但我们显示我们的方法在升压补充中也与单阶段检测器(3DSSD)兼容材料。点云域适应。当扩展的重新搜索在二维图像数据的域适应任务上有行为,三维点云域适应领域有关系的小文献。波因特丹[28]赞成联合对准局部和全局特征用分歧的薄板损失和对抗训练点云类-精简。Achituve等人。艾尔。[1]引入一个附加的自我监督重建任务,以改进目标领域的分类性能。伊等。艾尔。[44]设计a稀疏体素完成网络到表演域自适应语义分段的点云完成-tion。贾里茨等人。艾尔。[20]杠杆多模态信息由投影点云到二维图像和列车模型联合。对于对象检测,[38【认定主体与自治主体不匹配对象的主要差距驾驶数据集和建议以减轻差距杠杆目标域对象规模统计。SF-UDA[30]在相关框架上的连坐运动一致性,从而为目标域选择最佳尺度。我们提出的方法作品安德a相似的设置到【38】但是多埃斯不要求几何定义域tar-get统计学。平均老师。平均教师框架[36]是第一个提出半监督学习。多品种蚂蚁[9,2,39]有个建议来改进它的性能。Furthermore,框架像域适应一样适用于其他领域[10,4]和自我监督的学习【16,13,24】何地标签数据是可悲的或不可用的。专业人士,平均教师框架法团一个受训学生模式和一个非受训教师模型,谁的重量是客观的the exponential移动平均的the学生模特的体重。学生模型是基于学生和教师网络的对称性损失的优化模型前-狄克斯。在微粒,阿尔托[4]根据对齐区域级别特征,点云检测模型与二维检测器和我们提出的建议相比,在检测任务中也没有雇用平均教师范例多层次公司化的扩散法一致性。3. 我们接近在这一节中,我们提出了三维点云进行主自适应检测问题(节3.1),以及Pro-Vide对我们MLC-Net的概述(节3.2),遵循我们的平均-教师范例的细节(节3.3)。最后,我们解释点的细节(节3.4)、instance-level(Section 3.5)、和统计水平(Sec-Tion 3.6)我们的一致性MLC-Net。3.1. 问题定义在非监督域适应设置下,我们有阿克塞斯到波因特云数据来自一标签来源多-梅因丁={x我第,y我}Ns 和一个未标记的目标域丁=x我,何地N和N这是萨姆-普勒斯的号码来自the来源和目标领域、尊重。 埃奇点云景x我Rn× 3的一致性n点与他们三维库科里纳茨怀勒y我德诺特斯the标签的the通信-英培训样本来自the来源域。 y is在the的形式对象班k和三维邦德箱参数化的比包围箱的中心位置(c x a、c y a、c z)《each的尺寸》维度(丁x,丁y,丁z),和the定向作用η。 The领域自适应检测任务的目标是列车模型F以丁s和丁t并最大限度地提高性能丁t。3.2. 框架概览We illustrate MLC-Net in Figure 3。标记源输入x s它被用于Stu-Dent模型的标准监督培训F有损失的L来源。用于each未标记tar-get域实例x t我们被随机应用搞得一团糟加格曼蒂翁h到奥布泰因xˆt。The扰动和奥里吉-日点云输入传递给学生模型和教师模型尊重获得他们的点级框亲─波萨尔斯Rˆt和Rt何地波因特-l e五埃尔孔尼达姆山c y is应用。亚序列,教师提案是与增强的h和传递到the学生模型为箱细化、到奥布泰因Sˆt。 T奥格瑟尔与教师‘sinstance-l e五埃尔预测St,实例级一致性就是应用。总体一致性损失L孔西斯特是计算机的美国:L 孔 西 斯 特 =Lpt , cls+Lpt , box+Lins , cls+Lins , box(一)什么地方pt,ins,cls和盒立场点级,实例级,分类和盒回归尊重。它们的损失成分是分段阐述的3.4和3.5。在each迭代中,学生模型是通过梯度更新的--ent下降与the共计损失L,惠希is a加权和8869输入源s学生模型普恩特-莱夫尔预测s普恩特-莱夫尔一致性埃克安普勒波目标输入“t#$N大区提案网络实例级的预测s“tB#N箱精化网络$t实例级的一致性ℎ目标输入tℎ大区箱提案精化网络网络$Nt教师模型Yt&B#Nℎ输入加格曼蒂翁投资回报率加格曼蒂点云区域统筹普恩特-莱夫尔一致性实例级的一致性神经统计-水平一致性Exponential移动平均图3:我们建议的MLC-Net的网络架构。MLC-网杠杆mean-teacher[36]教师所在的范式是学生模型的指数移动平均(hence thename mean-teacher),并且在每一次迭代中更新。这些均值-教师设计提供了高质量的伪标签,以促进学生模型的顺利学习。向着目标,我们设计一致性在三个层次上被强制。首先,在点上,三维建议是基于点对应关系的,它是通过对学生和教师模型的目标域的相同点集抽样来建立的;第二,在即时水平上,教师3D提案是通过学生盒子精化网络的,两种模型的3D盒子预测之间的对应关系是自然维护的;第三,在神经统计层面,我们在批量归一化层中发现不可学习的参数示范有效域移位,以及将教师的参数与学生对齐。我们突出MLC-网的效能和分节讨论我们的设计动机3。最好看在颜色。的L来源和L孔西斯特:L=λ l来源+L孔西斯特(二)何地λ是重量系数。的可学习参数the学生模型阿雷then乌塞德到更新the接听老师模型参数,分段哪里能找到细节3.3。在addition,we enforce通过神经统计-一致性使教师和斯图-登特之间对准的不可学习参数(节3.6)。MLC-网实现两大主要设计目标走向费力的无监督三维域自适应检测。第一中,实现无任何访问地生成准确和稳健的伪目标到the目标域注释或统计非正规的。MLC-网杠杆一个平均教师范例在哪里教师模型可以被重塑为一个学生模型的时间集合,将其分配给出高质量的预选和指导学生的学习。第二中,到点上、即时上和神经上设计有效的一致性损失统计-水平that恩汉斯适应性到刻度变化,并构造师生对应关系,该对应关系通过反向传播梯度通过修正路径流动。关于PointRCNN的Although我们行为最强的分析美国the代表的两阶段三维侦探,我们强调了我们的方法是通用的,并可以满足扩展为单阶段检测模型就像3DSSD与modest修改(见补充材料)。3.3. 平均数教师以中庸教师的成功为动力帕拉迪格姆【36]在半监督学习和自我监督学习中-ing、we应用资讯科技到我们波因特云域适应性检测-tion任务美国画报在图3。 The框架的一致性a学生模型F和a教师模型F ′与the同一网络建筑但是差速器重量θ和θ′,亲爱的。教师模式的权重是通过更新的打车theexponential移动平均的the学生模型重量:θ′=θ m′+(1-米)θ(三)何地米它是已知的,因为它的势头是一个数字。克洛斯到1, e.g. 0.99. 图5秀that the教师模型对Stu-dent模型通过高质量伪目标的恒保有效监督。Hencethe一致性贝特韦恩the学生和the老师,the学生学习领域不变的代表到适应于the未加标签的目标领域、指南比the伪标签 。 我 们 在 桌 子 上 展 示 5 中 庸 教 师 是 重 要 的 IM-PROVES车型性能对比来看基线。3.4. 普恩特-莱夫尔一致性点位一致性损失是相互计算的第一阶段箱提案的the学生和教师莫德-埃尔斯。制定的关键挑战之一一致性8870∈∈||ins,cls一、∈}|Gt|KLtttt{一、}pt,boxtt是为了找到学生和老师之间的通信。在规则格子中排列的非类图像像素,连续三维空间which lacks结构中的残留点[27]。亨斯,构造点对应能成为问题(表3)。Instead,我们纵容了艰难困苦比喂食the教师和the学生二识别非常开始点的集合,并跟踪保持的点指标通讯。专科医生、为伊奇目标域例举、we样本米波因茨来自the波因特云场景到奥布泰因the教师输入x t和应用兰登加格曼蒂翁h论a复制的集到奥布泰因xˆt与xˆt= h(x t)。 h孔西斯茨的兰登全球缩放的the波因特云场景和can be雷加尔代德美国应用移位作用论个体化积分、无迪斯-破裂the波因特通讯。 美国a result、伊奇波因特pxt科伦布尔德斯到a波因特pˆxˆt,和这关系--船霍尔兹为the普恩特-莱夫尔预测的the大区亲─波萨尔网络F印尼盾N。 We德诺特the第一舞台美国预测公司R = F印尼盾N(x)。 笔记that the波因特科伦布登塞斯阿雷转让到箱提案美国伊奇波因特生成器一箱式提案。 R孔西斯茨的班预测R c和箱雷格莱斯-锡安R乙。为the班预测、we德芬the一致性损失美国the库尔巴克-莱布勒(KL)分歧贝特韦恩伊奇波因特副来自xt和xˆt:L=1Σ丁(Rˆc||Rc)(四)点云场景。我们强调了该协会在吐温地区提出的来自学生和教师的建议。阿雷失落在the NMS进程杜伊到the差速器be-吐温Rˆt和Rt。 T奥火柴theinstance-l e五埃尔预测对于一致性计算,一个共同的方法是每形式贪婪匹配的基础上的借据教师和学生地区建议。保持,这样的匹配是不稳健的对噪声预测的大数,wich领先到不要客气的学习美国肖恩实验性在塔布勒3。 亨斯、we阿多普特a简单接近比复制教师地区对学生的建议输入扩增模式及应用h来匹配学生模特的尺度。亚序,我们通过应用随机RoI增广来扰乱区域提案阿扎尔针对一组区域提案前他们阿雷乌塞德为特写集合。 The此操作的mo-倾斜是将模型力推到输出一致预测given非恒定域上提案和预防融合到普通解决方案。福尔马利,阿布ov e进程canbe明细表美国fˆt=普奥l(阿扎尔(h(Gt)))和ft=池(阿扎尔′(G t))为学生和教师模范,尊重,在哪里f即时水平特征客观的面额来自特写统筹美国明细表在【32]。 The集合特征是通过了盒子精炼网-工作F BRN用于盒精炼以蒙蔽第二阶段预测S=F BRN(f)。与第一阶段相似预测-tion R,S孔西斯茨的the班预测S c美国井美国thept,cls|xt|KLtt包围盒预测S乙。 我们定义了实例级的班孔尼达姆山c y美国the在f参考文献贝特韦恩Sˆc和Sc:何地|x t|斯坦兹为the号码的波因茨在x t。tt更多重要、we恩福尔斯一致性贝特韦恩地址几何不匹配的包围盒回归预测。 为the邦德箱预测、we只网-L=1Σ丁(Sˆc||Sc)(六)普特一致性由于背景点不产生意义完全的包围盒而归于对象。我们背负了一组要点P岗位用它对学生和教师网络的最终预测的包围盒内的Wich Fall P岗位={(p ∈何地G t按地区的数字提出建议。论the另一只手,计算即时级盒一致性损失,我们第一个持有一套积极预测S岗位=(Sˆc>ε)(Sc>ε)比选邦德博x冰与分类处理预测拉尔杰丹a概率门限ˆˆε。 我们过去的应用h到S乙要比一比规模,比一比计算NMS(S t))(p NMS(S t)),何地S t和St阿雷the精炼邦德箱预测后第二舞台(见tthe实例级的箱一致性损失基论the酌处─安c y贝特韦恩Sˆ乙和S乙为the精选预测:节3.5)。我们先计算点级盒一致性-时态损失美国:ttL=1Σt丁(Sˆ乙(我),S乙(我))(七)ttL=1Σ丁(Rˆc(我),h(Rc(我)))(五)ins,box|S岗位|S我∈S|P波s|p我∈P岗位何地丁is the斯穆特L1损失和h is the兰登对输入的增强-保留应用x t。我们将同样的增量应用到教师包围盒预测中,以实现对齐与刻度的the学生波因特云场景前计算一致性。3.5. 实例级的一致性在the第二舞台、NMS is表演论R到奥布泰因N美国面额高信任区提案G为伊奇岗位88713.6. 神经统计-水平一致性美国波因特德出局在【23,5】that the不匹配的在批次教师和学生之间的统计数据的正常化。模型could导至次优模型绩效,在我们的案例中,当学生模型获取源域数据时x s和目标数据域xˆt作为输入,教师模型只访问目标数据x t。在学生和教师模型的批量标准化(BN)图层之间,源和目标数据could引导到不匹配的批量统计数据之间的分布移位分布。这种不匹配库尔德8872→导致错误的规范化和在转折中,以退化的性能或良好的发散来引导一个非稳定的训练过程。我们提供了一个深入的分析,在部分中重新定义了这个问题。4.4。为了减轻这一问题,我们赞成将BN layers学生模型的运行统计数据用于教师模型杜林the培训过程。 专科医生、为伊奇学生模型中的BN层,平均批次在安达瓦伦斯σ阿雷乌塞德到更新the跑步统计学at每迭代:在′=(1)α)在′+阿尔默斯(八)σ′=(1)α)σ′+ α σ(九)何地在′和σ′阿雷the跑步平均数的在和σ和α is国阵动量that控制the速度的批次统计学最新的运行统计数据。为模范教师,我们用在′和σ′国阵所有层的批量统计数据的缺失,以规范层的输入。我们认为这是一个修改-克洛斯the盖普凯乌塞德比域不匹配的和铅到更稳定的训练行为。我们经验之谈,通过比照国阵在区段设定下的表现,来证明其效力;我们的经验,我们的经验。4.3。4. 实验我们先介绍普及自动驾驶数据集包含KITTI【11]、Waymo开放数据集[35],和努塞内斯[3]在实验中使用(节4.1)。Wethen基准MLC-Net阿克罗斯数据集何地分段MLC-Net成就一致性性能提升4.2。莫雷奥弗、we阿布拉特山MLC-Net到给a综合阿斯塞斯门特的its子模块和贾斯蒂菲我们设计选择在部分4.3。最后,我们进一步调查挑战的无监督域自适应三维检测和显示他们的MLC-网成功地址。我们进一步分析三维域自适应检测中的问题和我们在断面上的问题4.4。空间约束的适当程度,我们在补充中包含了实施细节材料。4.1. 数据集We跟随【38】到评价MLC-Net论瓦里奥乌斯与跟随的源-目标组合数据集。吉蒂。 基蒂【11】is a流行的自治驾驶那个数据集孔西斯茨的3,712培训桑普莱斯和3,769验证样本。3D包围盒注释只配视频为对象威辛the场的观(FoV)的the前置摄像头。Therefore,FoV的外点是缺乏训练和评估的。我们使用官方KITTI评价指标来评价对象在哪里猫科动物变成三个级别(易、中、硬)和平均精确度是评估一下。Waymo开放数据集。Waymo开放数据集(Re-Ferred到美国Waymo)【35】is a规模很大的基准thatcontains培训样本122,000份,验证样本30,407份。我们是训练和验证集的1/10子样本。使《输入公约》一致,我们适用同一阵线照相机FoV美国the基蒂数据集。The官方Waymo评估指标包含平均精确度(AP)和平均数平均精密加权比航向(APH)它是用来基准两个不同级别的物体的性能的(L1和L2)。努塞内斯。努塞内斯[3】28.130培训的数据集一致性桑普莱斯和6,019验证样品。We将训练数据集按50%进行迭代,并使用实体验证集。我们在输入上也会应用同样的FoV作为其他数据集。我们采用了泛型、尺度和方向误差的官方评估指标,并附加了基于具有阈值的三维借条的通用平均精度的0.7到反射the工装裤检测准确性。4.2. 基准测试结果作为一个新兴的研究领域,跨域点云检测主题有相对的小文献。到我们最好的知识,[38]这是最相关的工作,有类似的设置作为我们的研究。我们将我们的方法与所提出的两种规范化方法相提并论[38]、名称输出转换(OT)和统计规范化(SN)、何地the福尔默变形金刚the预测比安用尺度归一化输入离开和拖动检 测 器 。Moreover , 我 们 也 和 对 抗 论 者 比 较 FEA-TURE定位仪方法、惠希is科姆蒙利乌塞德论基于图像的任务,通过自适应DA-Faster[8]致我们波因特尔CNN【32]基地模型。我们也照样提供直接转移和广域扩增作为基线。图1显示检测结果前的质量比较以及用我们建议的方法进行域适配之后。更多的成果可以在补充中找到材料。表1德蒙斯特拉特斯the跨领域的检测四源目标域对上的性能实现,MLC-网外性能所有不受监督的基线比康文辛马金斯。We亮点that我们方法adapts刻度为伊奇应用全局移位的instead实例,将美国分配给用于实用目标域对象尺度的快速状态方法统计学。4.3. 消融作用研究到评价the有效性的the部件的MLC-Net,we行为消融研究以PointRCNN为基地的KITTI Waymo 转移模特。点的有效性/实例级一致性。我们研究了不同成分对建议一致性损失的影响。表2损失成分的差异组合被提高时的实验结果报告。它是观察的,对于点-级一致性和实例-级一致性,盒一致性是明确的有a拉尔杰贡献美国比较到the班consis--8873在表1:MLC-Net在与变异基线和最新技术方法的比较中关于四个源-目标对的性能。MLC-Net Offerms所有基线和Even OffersesSOTA方法使用目标域注释信息(由)。直接转让:在源域上训练的模型是在目标域上直接测试的。宽范围Aug:具有随机缩放增量的基线方法。宽范围的潜力包含目标域缩放。这就是验证了激烈的性能分解,可以通过简单的数据增加来完全缓解。达-法斯特[8]:一种基于对抗特征对齐的代表性方法,a共同特克尼克乌塞德在二维域适应。 #印度the实施is适应来自二维到3D. 豪韦弗、特征对齐方式is不可承受的到索尔韦the几何学不匹配、惠希we阿格里is独一无二的到三维检测。 The最先进的水平工作【38】提案将输出转换(OT)表现为规模预测和统计规范化(SN)用于规模调整训练例。Both OT和SN要求知道目标域统计。MLC-Net,albeit完全不受监督,Even Supasses这些关于关键指标的方法:APH/L2(Waymo)、AP 3丁(nuScenes),和AP适中(凯蒂)。基蒂→ WaymoWaymo →基蒂方法AP/L1APH/L1AP/L2APH/L2方法易中度硬直接转移9.178.997.947.78直接转移20.2221.4320.49广泛性的Aug18.6118.1816.7716.40广泛性的Aug30.2331.4932.85达-法斯特【8】#6.966.876.426.33达-法斯特【8】#4.425.555.53奥特【38】在26.4825.8423.8523.29奥特【38】在39.7837.8239.55SN【38】在30.6930.0627.2326.67SN【38】在61.9358.0758.44乌尔斯38.2137.7434.4634.04乌尔斯69.3559.4456.29基蒂→努塞内斯努塞内斯→基蒂方法阿特濑AOE美联社3丁方法易中度硬直接转移0.2070.2480.21213.01直接转移49.1339.5635.51广泛性的Aug0.2000.2280.21116.01广泛性的Aug58.7145.3743.03达-法斯特【8】#0.2470.2530.29210.77达-法斯特【8】#52.2540.6235.90奥特【38】在0.2070.2200.21214.67奥特【38】在23.1327.2629.10SN【38】在0.2270.1680.36823.15SN【38】在44.8145.1547.60乌尔斯0.1970.1790.19723.47乌尔斯71.2655.4248.99表2:点级和瞬时级con-持久性损失成分的消融研究。结果显示损失成分是高度互补的;在两个列斯的所有四个损失的联合使用取得了最好的表现。更重要,我们找到了那邦德箱回归损失、惠希is directly联营与包围盒规模,好处的性能超过等级的损失。这些未来验证我们的立场几何不匹配是三维的关键域差距检测。L pt,clsL pt,boxL ins,clsL ins,boxAP/L1APH/L1AP/L2APH/L2✓✓✓✓✓✓✓✓✓✓✓✓18.6118.1816.7716.4020.3419.9118.0717.7030.3429.6927.0826.4931.0030.3927.6427.0921.1220.8718.7918.5733.2132.4429.9529.2634.9534.5331.4331.0538.2137.7434.4634.04腾西。 这观察印度that the刻度差异是具有不同对象大小分布的源和域间隙的主要来源,which是阿尔索在线与the普雷维奥乌斯工作【38]。 资讯科技阿尔索秀我们建议的盒子一致性规则化方法效应-在附加中,所有的损失都完全属于一个:最好的结果是在那时实现的他们所有的四个人都是用过。弗瑟莫尔、we孔帕雷MLC-Net与二可操作点与盒匹配尊重的替代方法3。与它们的基线方法进行比较,MLC-网副本the输入波因特云和the大区提案表3:点级和即时级匹配方法的消融研究。最近点:匹配点的基线学生输入中的某一点用欧几里得距离匹配到教师输入中的最近点。麦克斯借条箱:的一个基线箱匹配何地a学生箱预测is匹配到教师伪标签与the拉尔格斯特借条。 我们的:输入波因特学生的云或区域提议是从教师那里复制的。我们强调了我们匹配的方法ensures精确一对一的对应,wich是有效的师生学习的关键。匹配方法AP/L1APH/L1AP/L2APH/L2近波因特2.932.862.652.58马克斯欠条箱26.9526.6624.1823.92乌尔斯38.2137.7434.4634.04在他们通过学生和教师模型消除之前阿尼噪声惠希梅阿里斯来自不务正业匹配。 The结果亮点the重要性的有效非监督的构造意义一致性损失中的相应学习。有效性的神经统计-水平一致性。 我们对神经统计学的有效性也作了同样的实验-水平一致性比康普林斯the表演当这样的结盟既是有利的,也是有残疾的。从餐桌上4我们可以看到that当神经统计-水平一致性is残疾人,the模型表演塞韦雷利滴。 美国已分析的在Sec-tion 3.6、当神经统计-水平一致性还不到位时,the教师模型国阵层诺尔马利泽the输入fea-8874表4:神经统计量的消融研究-MLC-网效密切域差距对神经统计量失配的适切性水平一致性。残疾:无一致性是强制的。分离:学生模范表现国阵分离来源和目标域输入到阿利格恩与the教师模特。 启用:我们建议的神经统计-水平对齐。设置AP/L1APH/L1AP/L2APH/L2残疾人2.792.742.542.49分离器29.8829.4526.8526.48恩布莱德38.2137.7434.4634.04表5:消融作用研究的the exponential移动平均(EMA)更新平均教师范例中的计划。指数移动平均更新时的性能标志性退化残疾人、亮点the重要性的the平均数教师实际生产中的设计目标。EMAAP/L1APH/L1AP/L2APH/L2残疾人8.958.668.358.08恩布莱德38.2137.7434.4634.04使用一批统计数据,这批数据是客观的,而BN的学生模型表现是静态的,来自both源和目标领域。这种错位产生了一个显著的差距。作为结果,学生和教师预测之间的一致性计算是无效的。我们对BN的学生模型性能分离器来源和目标数据的方法也进行了比较。在本案例中,although的目标标准化是用目标统计数据来表现的,用于模型,不匹配常态化的来源和目标输入领先于美国与之比较的次优表现MLC-Net。平均教师的效能。师模是冰情a时态合奏的学生模型at差动时间邮票。We研究the有效性的the平均数比照博览会时的表现,教师的范例移动平均更新is恩布莱德或残疾人。表5显示对雇用很重要的因素教师的移动平均水平更新机制产生意义上的监督到指南the学生车型、和the卸载这样的机制引领性能恶化。4.4. 弗瑟分析分配移位分析。我们强调了ge组元不匹配是三维检测模型跨域部署的一个重要问题。在人物2时,Ob-ject维度(长度、宽度和高度)分布在域上存在严重差异,具有较小的相对重叠。基线,源域训练,不可得到总论到the目标域美国the分布它的维度预测仍然接近源域的那一个。在对比中,MLC-Net可以通过预测作为目标的高度相似几何分布来适应新域域。神经统计量失配分析。图4显示从差异域输入的东西有非常大的差异迪斯-图4:跨领域神经统计不匹配。我们绘制了批均值和批方差的分布。意义错误对齐在批次统计学贝特韦恩来源和目标域它是观察的,which重点介绍了神经统计的必要性-水平一致性。图5:对抗tion迭代的师生模型性能。不能只做教师模范恒定优秀学生,its表演曲线is阿尔索斯穆瑟。 亨斯、the教师模型,Wich可以作为一个长期模型的时间集合来更新,它可以生产更稳定和更精确的伪标签来监督学生模特。贡品的批次统计、惠希解释the特雷门多斯性能降当我们提出神经统计-水平一致性不应用于统计的对齐(表4)。的分析教师/学生范式。在人物5《MLC-Net Demonstrats中的教师模型》。Moreover,教师模型展示了一个光滑的学习曲线。这验证了我们的平均-教师范例为我们创造准确可靠的监督的有效性学生的抗衰优化模特。5. 会合我们研究了请求没有目标域注释或与注释相关的统计数据的无监督三维域自适应检测。几何不匹配的我们是域移位和保序MLC-Net的主要贡献者that勒维拉杰斯a教师-学生帕拉迪格姆为罗布斯特和通过点-、瞬时-和神经的可靠伪标号生成统计-水平一致性到恩福尔斯效果跨弗。MLC-净表现全部以收敛边缘为基准,和埃文苏尔帕塞斯方法that要求附加目标物信息。埃克诺莱杰门茨这研究is支持比南大NAP,以及在RIE2020行业联盟基金下--INDUS-TRY合作项目(IAF-ICP)资金倡议,as well美国卡什和因因达德贡献来自the工业part-ner(s)。8875参考资料[1] 伊丹·阿奇图夫,哈盖·马龙,还有加尔·切奇克。在点云上进行域适应的自监督学习。在计算机视觉Ap-应用IEEE/CVF冬季会议会刊,页123-133,2021。 3[2] 大卫·伯特洛、尼古拉斯·卡里尼、伊恩·古德费罗、尼古拉斯·帕佩诺、阿维塔尔·奥利弗和科林·拉菲尔。混搭:整体接近到半监督的学习。 阿尔克西夫预印arXiv:1905.02249,2019年。 3[3] 霍尔格·凯撒、瓦伦·班基蒂、亚历克斯·H·朗、苏拉布赫·沃拉、威尼斯艾琳梁、羌徐某、阿努什克里希南、于潘、吉-安卡洛·巴尔丹,还有奥斯卡·贝杰博姆。nuscenes:自动驾驶的多模态数据集。在计算机视觉与模 式 识 别 IEEE/CVF 会 议 论 文 集 , 页 11621-11631 ,2020。1,2,6[4] 齐蔡、英伟潘、崇华非政府组织、新美田、凌宇端,与庭耀。在跨域检测的平均教师中探索对象关系。在计算机视觉与模式识别IEEE/CVF会议论文集,页11457-11466,2019。 3[5] 兆纬蔡、阿维纳什山拉维钱德兰、苏布赫兰苏马吉、夏尔勒斯福尔克斯、卓文图、和斯特凡诺索阿托。 用于自我监督和的指数移动平均标准化半监督学习。在计算机视觉与模式识别的IEEE/CVF参考论文集,页194-203,2021。 5[6] 朝起陈某、泽标郑女士、兴昊丁、月黄某、与气豆。协调一致可转移性和可鉴别性用于自适应对象检测器。在计算机视觉与模式识别IEEE/CVF会议论文集,页8869-8878,2020。 2[7] 陈小志,马慧敏,纪婉,柏丽,和田霞。面向自动驾驶的多视点三维物体检测网络。 在议事录的the IEEE会议论计算机视觉与模式识别》,pages 1907-1915,2017。3[8] 陈玉华,文莉,克里斯托斯·萨卡里迪斯,戴登新,还有吕克·凡·古尔。面向对象去测试的域自适应faster r-cnn在the野性。 在议事录的the IEEE会议论计算机视觉与模式识别,页3339-3348,2018。2,6,7[9] 伊金丁窝窝头,巴雷特佐普、蒲公英马内、维杰伊Vasud
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 0
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功