623SAILOR：通过洞察潜在对象表示来缩放锚点DusBischoMalic'1，2 ChristianFruhleth-Reisinger1，2HorstPosse gger1HorstBischof1，21格拉茨理工2Christian Doppler嵌入式机器学习{dusan.malic，christian.reisinger，possegger，bischof} @ icg.tugraz.at摘要LiDAR 3D对象检测模型不可避免地偏向于其训练数据集。当在目标数据集上采用时，检测器清楚地然而，由于例如不同的标签策略或地理位置，对象大小在域之间变化很大。最先进的非监督域自适应方法外包方法来克服对象大小偏差。主流的大小自适应方法利用目标域统计数据，违背了原始的无监督假设。我们新的无监督锚校准方法解决了这一限制。给定在源数据上训练的模型，我们以完全无监督的方式估计最佳目标锚点。 主要思想源于直观的观察：通过改变目标域的锚定大小，我们不可避免地引入噪声，或者甚至去除有价值的对象线索。受锚点大小影响的潜在对象表示只有在最佳目标锚点下才最接近所学习的源特征。我们利用这一观察结果进行锚定尺寸优化。我们的实验结果表明，在没有任何再训练的情况下，即使与最先进的弱监督大小自适应方法相比，此外，我们的锚校准可以与现有的方法相结合，使它们完全无监督。1. 介绍获取和标记用于训练3D对象检测器的数据需要相当大的点云的庞大规模和底层的无组织结构使这个过程变得繁琐。检测点云中的对象可能是困难的，甚至对于人类来说也是困难的，因为对象可能仅包含几个此外，在标记过程中，专家通常会从多个视角检查单个LiDAR帧，以考虑不可避免的遮挡和扭曲。图1：框大小，显示数据集之间的域差距。盒子是由一个完全监督的oracle模型生成的，该模型分别在KITTI[8]，Waymo [20]，nuScenes [1]和Lyft [11]上训练阳离子，通常在图像和点云之间切换上下文这些中断大大增加了贴标时间，并随之增加了贴标成本。为了减轻高标签成本，我们的研究界正在无监督3D领域取得巨大进展[15，23，31]。最先进的方法通常依赖于自训练[30，31]，输入转换[21，24，27]，特征对齐[35]和/或跟踪[7，34]的一些变体这些方法有一个共同的问题，最初由Wang等人报道。[23]：如图1所示，对象大小之间的差异引入了624巨大的领域差距。在2D对象检测中，对象大小根据对象与传感器的距离而变化。这种自然发生的增强增加了检测器对尺寸变化的鲁棒性。然而，在3D对象检测中，对象的大小与距传感器的距离无关。相反，它取决于数据集是在哪里获得的，例如平均而言，美国的车辆比欧洲的车辆大[23]，或者在标签政策上，e.G. Waymo Open Dataset [20]在其注释中包括汽车的侧镜，而KITTI [8]则没有。对象检测器通常使用平均精度（mAP）度量进行评估，该度量进一步利用交集对并集（IoU）进行地面真值匹配。在2D检测中，IoU是根据预测和真实边界框的面积计算的，而在3D中，它是使用预测和真实立方体的体积导出的。给定额外的维度，不正确的尺寸预测的总体影响导致指数精度下降。这种相关性使得3D探测器对物体尺寸的变化非常不稳定。统计标准化（SN）[23]已成为弥合尺寸差距的标准方法。它试图通过将源注释的非自由缩放作为训练增强来将源数据统计转移到目标统计。随机对象缩放（ROS）[31]努力克服这种尺寸偏差，而不直接缩放。相反，它通过更广泛的尺度大大增强了地面实况框。然而，这两种方法都利用了关键的目标领域洞察力，这在无监督的环境中通常是不可用的。首先，他们使用锚定大小，手动优化目标域。第二，他们手动调整增强尺度的大小。最后，这些方法的随机性不允许确定性检查点选择，而是最佳执行的检查点选择。我们提出了SAILOR，这是一种新的无监督锚点校准管道，它可以在预先训练的源模型下估计最佳目标锚点。我们的目标是确定目标锚下的源和目标域之间的特征相似性最大化。我们首先建立一个参考特征库，通过收集的实例特征从源域。在下一阶段，我们迭代地扰动锚点一小部分，并类似地计算目标特征数据库。目标特征数据库对参考特征数据库的适应性提供了一个随机梯度，我们在随机优化方法中采用了该梯度。我们的方法实现了与SN或ROS类似的改进，但不引入额外的模型参数，不需要再训练，并且根本不需要来自目标域的任何知识。自动驾驶数据集KITTI [8]，Waymo [20]，nuScenes[1]和Lyft [11]的实验结果表明，以最小的努力获得巨大的性能提升。我们证明，一个简单的交换源锚与我们的优化，导致大的精度增益的目标域。我们的方法是有竞争力的，即使与流行的弱监督的方法来弥合对象大小域的差距，但成本只有一小部分的计算时间，因为我们不需要再培训。此外，我们优化的锚点也可以用作扩展弱监督方法之前的无监督方法，将它们变成完全无监督的方法。2. 相关工作3D物体检测最先进的3D检测器由一个区域建议网络（RPN）和一个检测头组成。RPN首先使用特征提取器提取输入点云，该特征提取器通常是基于点的[17]，基于体素的[18，28]或两者的混合[16]。然后，在提取的点云的每个离散位置处，RPN预测对象概率并回归粗边界框。这种回归的幅度是绝对的[33]或相对于锚定值[5，12，16，18，28]。锚点减少了网络的回归空间，使得预测成为匹配锚点的残差。锚值通常从训练数据中导出，并且必须小心手动选择。下面的检测头将这种粗略预测细化为最终预测。在一个数据集上训练的3D检测模型通常不能很好地推广到新的、看不见的数据。源数据集和目标数据集的差异通常被称为域间隙。非监督域自适应的目的是在没有任何附加注释的情况下减少差距。样式转换方法通过将目标数据转换为源数据来减少输入空间中的差距。Wei等[24]证明了在密集数据上训练的模型的泛化能力，该密集数据由来自原始密集数据的伪稀疏点云增强。由于不需要昂贵的操作，因此丢弃激光雷达光束可以随点云的大小而放大。然而，背景转换在多大程度上有帮助以及它是否证明了更复杂的转换是正确的，这是不明确的。通过添加新点[21，27]或重新组织现有点[13]仅修改前景对象可以节省计算资源，并具有类似的效果。自动驾驶数据集的顺序采集允许利用时间一致性进行自适应。一些自训练方法[15，29，34]通过多对象跟踪（MOT）[25]改进每帧检测，因此能够通过降低误报率和漏报率来改善天真的再训练即使没有显式跟踪，也可以将多个LiDAR帧聚合到一个625ΣS不FFSTS·|不联系我们.Σ我2i.（三）我 i=1我i=1S{}Ts ss公共参考系已经导致了更密集的静态观测。检测这样的物体对于最先进的3D检测器来说是一项微不足道的任务通过将高质量检测传播到所有聚合帧，[22]甚至为 更 复 杂 的 （ 稀 疏 和 静 态 ） 样 本 生 成 伪 标 签 。FAST3D [7]通过利用场景流[26]进行聚合，进一步将此想法扩展到移动对象。除了跟踪和流陷阱，例如。关联、do-main间隙等，时间信息可能并不总是可用的。 在每帧基础上生成伪标签也有利于自我训练[2]。利用对所呈现的伪标签的逐步改进，记忆集成[30，31]通过在训练期间对预测进行编目来增强鲁棒性。辅助损失[32，35]可以进一步减少由伪标签引起的不可避免的噪声尽管如此，自我训练还是会放大噪音。这是一个众所周知的副作用，称为归纳偏见，这通常是解决与学生-教师范式[10，14]。自训练方法不能独立地克服由源数据引起的对象大小偏差。对象大小差距的程度极大地影响最终模型的性能因此，最先进的自训练方法明确地利用机制来减轻跨域大小失配。克服对象大小偏差主流方法利用目标领域知识来克服对象大小偏差。Wang等人[23]建议以两种方式使用目标域统计数据。输出变换（OT）通过添加残差直接修改预测的边界框大小。平均源和目标样本之间的差异定义了该残差。统计归一化（SN）在训练期间缩放源地面实况框和点。与OT类似，缩放强度是从源和目标数据集统计数据导出的。为了避免通常不可用的精确目标域统计数据，随机对象缩放（ROS）[31]在源地面实况对象上实现了大量的大小增强然而，增加网络与弱监督方法相反，我们提出了一种完全无监督的方法，该方法专门针对目标域优化模型此外，我们的方法不需要重新训练，因此成本只是计算时间的一小部分。我们实现了与这些弱监督方法相似的效果，因为更合适的目标锚减轻了模型3. 无监督锚定校准我们考虑3D检测模型H（·|Θ）=D保护头D.其参数θ在标记源数据集=（Ps，Ys）Ns上训练，其包含LiDAR点云Ps和相应的标记实例集Ys。然而，目标数据集=PtNt仅包含未标记的点云。除了可训练的参数之外，模型还通过其超参数来定义锚点θ =（λ（x），λ（y），λ（z），λ（w），λ（l），λ（h），λ（θ））Θ为回归头提供了一个起点，其中网络预测相对于锚点的残差，而不是回归绝对值。锚的 宽 度 ， 长 度 和 高 度 通 常 是 精 心 挑 选的 ， 以 匹 配 注 释 对 象 的 平 均 大 小 。物体大小的差异-引入明显的畴隙，如图1所示。通过我们的无监督锚点校准，我们在没有任何监督的情况下将锚点大小调整到目标数据集。如图2所示，使用在源数据上预训练的模型H（Θ），我们首先通过累积来自源域的建议特征向量来构建引用特征数据库（第3.1节）。然后，我们迭代地将模型的锚大小扰动（n（x），n（y），n（z），n（w）+ε（w），n（l）+ε（l），n（h）+ε（h），n（θ））并且类似于参考特征数据库，从其计算这样的目标特征数据库对源特征数据库的适应性（第3.2节）提供了一个随机梯度，我们利用它来调整模型我们的方法产生了一个合唱团，这是专门针对给定的模型的目标域，没有任何再培训。3.1. 参考特征数据库使用模型H（·|Θ），在源数据上进行预训练首先生成一个参考特征数据库F= RPN（P|Θ）δ[cθ> τ]|P∈S。（一）我们选择帧Ps的RPN特征，其中从分类头获得的相应预测分数c_i超过特定阈值τ。最终，s是源数据库样本的潜在特征数据库。根据源数据集的大小，s可能会占用大量内存因此，为了压缩可能丰富的参考特征数据库，我们将高斯混合模型（GMM）拟合到数据。 GMM由K个加权高斯分布组成，其中观察样本f的概率定义为：Kp（f|n）=ωi·N（f|（2）， 其中（2）i=1exp. −1（f−µi）T−1（f−µi）区域方案网络，包括区域方案网络 一个德-N（f |µi，i）=（2π）K|Σi|626FΨΨLF|i=1Y我不我不我获取数据库t从目标数据集类似于不Fs| F t|iFs图2：SAILOR概述：给定模型H（·|利用在源数据上训练的参数Θ和针对相同数据优化的锚点θ，我们首先通过累积区域建议网络（RPN）的预测来提取源特征数据库Fs。然后，我们使用期望最大化（EM）[4]拟合高斯混合模型（GMM）参数Fs到s在目标域上的锚点校准期间，使用相同的模型，我们迭代地向源锚点引入小噪声ε，并提取临时目标特征数据库Ft ′。 我们利用一个随机的梯度函数，从适应度（t′Fs）估计，直接适应源锚到目标域。我们既不进行任何进一步的调整，也不要求任何再培训。这里，ωi对第i个高斯分布进行加权，该分布由其均值向量μi和协方差矩阵μi定义。我们拟合使用期望最大化[4]将GMM参数<$Fs={（ωi，µi，<$i）}K映射到源特征数据库Fs。3.2. 目标健身量化（y），（z）+（z），（w），（l），（h），（θ）+（θ））。这隔离了所选锚点的影响，因为否则，检测器的连续回归阶段会混淆变化。为了量化锚点的适应度，我们利用联合概率密度参考概率模型描述了理想的潜在实例，即.高维特征向量是没有背景的完整对象的抽象p（Ft|Fs）=ft∈Ftp（fi|（4）噪声使用源模型对目标数据的推断将不可避免地导致包括背景噪声或不完全包含对象的预测。然而，我们可以通过选择适当的锚点大小来减少这种噪声预测。在本节中，我们将展示如何量化所选锚点的质量。使用源模型H（·|我们计算出了焦油-其中，是参考概率的参数模型和特征f t是独立同分布的。为了避免数值不稳定性，我们不使用联合概率，而是使用每个样本的平均对数似然1公升（女性|f）=logp（f|Ω）。（五）ft∈Ft等式⑴。然而，在此期间，我们忽略了网络（（x）+（x），（y）+该算法的特征和在数值上是稳定的，并且基数归一化保证了与目标特征的数量无关。源RPNEM目标+RPN锚钉校准...检测头参考特征数据库检测头627LΨFΨi=1Ψ↔--↔较小的值表示不合适的预测，例如如果与源特征相比，目标特征包括更多的背景杂波或更少的对象线索，并且对于对于目标域最优的锚点被最大化。我们在图3中展示了一个演示这种行为的实验。3.3. 锚钉校准使用参考特征数据库Fs和适应度量化L，我们现在可以计算模型H（·|（1）优化L= arg min−L（Ft|（6）Ψ其中，最佳锚点表示目标数据集T的最佳锚点。我们在算法1中概述了我们的方法。算法1SAILOR方法输入：3D检测模型H（·|Θ）和在源数据集S上优化的锚;标记的源S和未标记的目标T数据集输出：优化锚钉，用于T生成Fs函数第3.1节拟合GMM参数 带EM的sΨ∗ = Ψ当未达到终止标准时，随机抽样小ε锚定尺寸扰动第3.2节用FTL（Ft ′）更新FTL|第3.3节图3：比较锚钉适合度（公式（5））和平均精度。该模型在Waymo上训练[20]，而健身和AP在KITTI上评估[8]。在这里，我们固定锚的宽度和高度，只改变长度。适应度的计算不需要在目标域中进行任何注释，并且与AP3D密切相关.我们分别用红色和绿色表示地面真实Waymo和KITTI锚。其中采样范围是源锚值的百分比。突变载体构建为′=end while其中，R0是具有最佳由于等式（6）对于t是不可微的，模型超参数，我们不使用标准梯度方法。相反，我们利用差分进化（DE）[19]，一种随机优化技术。在每次迭代中，给定一个种群向量，DE构造一个变异向量。在交叉阶段，通过将变异向量与候选解混合来构造试验候选如果试验候选的适应度超过当前候选解，则它成为下一个候选解。重复该过程，直到满足收敛标准。为了加速优化，我们首先分别对每个参数执行线性扫描。图3描述了这种搜索的一个示例。我们冻结其他锚点大小，并在改变单个参数的同时，评估每一步的适应性。我们使用具有最高总体适应度的参数作为以下联合优化阶段的初始候选解决方案。减小的搜索空间加快了最终的联合微调。从这个初始候选解开始，我们联合优化长度、宽度和高度。为此，我们通过均匀采样生成初始种群向量r1和r2是随机选取的两个指标，η是变异幅度常数。当损失收敛或达到最大迭代次数时，我们终止优化。4. 实验我 们 将 评 估 重 点 放 在 KITTI [8] ， Waymo [20] 和nuScenes [1]上，并包括Lyft [11]以进行进一步的概括评估。域间锚校准演示的能力，而域内校准验证我们的方法的正确性。数据的多样性，例如：稀疏到密集（ nuScenes Waymo ） 或 大 尺 寸 间 隙 （ KITTIWaymo），忠实地表示任意用例。源数据和目标数据是上面提到的数据集的训练和验证分割。我们总是按照目标数据集的评估协议执行评估4.1. 与最新技术水平的据我们所知，在无监督领域没有现有的工作可以比较。因此，我们认为，628→→目标KITTIWaymonuScene场景源方法AP3D@R11汽车/行人/骑自行车者L1AP车辆/行人/骑自行车者地图汽车/行人/自行车//////////////表1：统计归一化（SN）[23]，输出变换（OT）[23]和随机对象缩放（ROS）[31]与我们在流行的自动驾驶数据集KITTI [8]，Waymo [20]和nuScenes [1]上的方法的广泛比较我们使用整个KITTI和nuScenes数据集进行训练和评估，并利用Waymo v1的20%。2用于训练和完整的评估数据集。该模型使用OpenPCDet [6]中的配置在源数据上进行训练。我们总是使用目标数据集评估管道来评估最后一个检查点。对于KITTI，我们显示汽车/行人/骑自行车者在R11时阈值为0的中度AP 3D病例. 七比零。5和0。5所示。我们在Waymo上为车辆/行人/骑自行车者报告L1 AP我们用†标记弱监督方法，因为它们需要目标对象统计。我们比较了SAILOR1和广泛适用的弱监督方法，这些方法解决了对象大小偏差，即，统计归一化（SN）[23]，输出变换（OT）[23]和随机对象缩放（ROS）[31]。对于SN，我们遵循原始出版物，并将模型锚点设置为源和目标区域的平均值，并使用统计数据之间的差异缩放标记的源边界框和点。类似地，ROS利用了这些知识，但方式更粗糙。知道KITTI对象比Waymo的小，我们可以在适应过程中为ROS应用适当的缩放。我们根据源配置重新训练两个模型。OT不需要训练，而是使用源模型并直接添加dif，1https://github.com/malicd/sailor对预测的尊重。我们建议读者参考补充材料，其中我们列出了准确的锚钉配置，以确保重现性。在评估过程中，我们直接使用SAILOR优化的锚点。我们不进行任何再培训。 表1展示了我们的方法，给出了一个部分-A2源模型。 的情况下 在WaymoKITTI中，我们观察到Car类的AP 3D@R11提高了34，甚至大大超过了弱监督方法我们在图4中描述了这种行人和骑自行车的人基本上没有变化，除了轻微的改善，主要是由于有类似的锚。我们在nuScenesKITTI实验中报告了类似的行为，在那里我们观察到几乎28AP3D@R11的改善.我们还注意到，Cyclists类的精度略有提高，源代码78.59/54。决议58/64.533 .第三章。55/ 8.69/9 .第九条。93十四岁66/0的情况。00的情况。0SN†-二、80/2。05/1 .一、6520.33/ 0的情况。00的情况。0KITTIOT†-六、决议草案51/13.9416.81十四岁65/0的情况。00的情况。0ROS†-3 .第三章。32/275/二、29十八岁54/0的情况。00的情况。0目标客户†-11.69/10. 40/12个。15十五岁88/0的情况。00的情况。0我们七十七。79/55.49/63.528. 26/8。87/ 9 .第九条。十六岁12/0的情况。0的情况。0629→→↔→→任务方法AP 3D@R11源程序 49. 88/3717/25。62任务方法AP 3D @R 11SN <$24。11/63.51/52.83Waymo→ LyftKITTI →LyftSN †44. 96/33。98/17。00OT +51.58/37。96/15。3249. carton 39/34.06/25。0751.第五十一章. 决议57/37。02/16. 15我们的49。2001年12月31日20.第二十三章61/13.94/14. 24SN28.27/13。36/10。81OT +20。83/16百分之八十三40Waymo→ KITTInuScenes→ KITTIROS †43.00/62。39/51。0922.我的超次元帝国31/55。68/38号决议。9639.我的超次元帝国百分之八十二40/4861ROS [25] 86/1633/8。05第二十六章. 12/1724/17.24我们的26。48/17.27/14. 20表2：Lyft适应任务的结果。我们为汽车/行人/自行车类报告AP3D@R11两个数据集之间的显著高度差异（由于不同的标记策略）。在源模型表现出较差的性能并且尺寸域间隙较大的情况下，例如， KITTI Waymo和KITTI nuScenes，我们仍然实现了可观的相对收益。在Waymo 上校准KITTI锚，我们实现了超过200%的相对改进。这种巨大的增长明显优于弱监督的SN和ROS，它们甚至会略微降低性能。请注意，众所周知，KITTI Waymo的场景极具挑战性，因此经常被评估忽略，只有极少数例外，例如。[7]的文件。KITTI nuScenes的整体低性能源于较小的源数据集和nuScenes点云的稀疏性，检测器在其中挣扎。因此，只有很少的对象具有足够的潜在语义来应用我们的方法。共享相似锚点的数据集，e.G. WaymonuScenes在总体评估分数中没有表现出实质性变化。由于SAILOR没有引入额外的超参数，因此弱监督方法在这种情况下表现良好，因为它们可以利用目标域统计信息。然而，请注意，类似的改进也可以通过更激烈的增强来实现，如[9]所示。类似地，当我们的源数据和目标数据来自同一个数据集时，在表1中的对角线上，我们报告了结果的微小变化我们进行这个额外的实验主要是为了进行合理性检查。为了进一步证明我们方法的泛化能力，我们在Lyft[11]数据集上进行了额外的实验。我们的研究结果，我们总结在塔-表2，确认我们最初的实验。在源锚点和目标锚点相似的情况下，例如Waymo →Lyft，SN†三十三岁。第67/31号决议。67/14号决议。29ROS†五十六28/26。88/19。76SN w/SAILOR39岁44/ 0的情况。51/0。00630→→表3：SN和ROS与SAILOR组合时变得完全无监督，否则它们是弱监督的并且用t表示。结果是汽车/行人/骑自行车类的中等情况。我们报告性能略有提高。另外，当物体尺寸间隙较大时，例如，KITTILyft for class car，我们报告增加了大约6个AP点。与KITTI nuScenes类似，我们发现进一步的改进受到由小源数据集引起的无效源模型的限 制 。 然 而 ， 由 于 Lyft 点 云 （ 具 有 64 个 光 束 的LiDAR）的足够密度，我们没有观察到任何精度下降。此外，我们证明了将我们的方法与现有的弱监督方法相结合，以完全无监督的方式产生竞争结果。为此，我们将SN和ROS所需的目标统计数据表3中的结果表明，这非常适合于使ROS完全不受监督，而对于SN，它适用于车辆，但不适合行人和骑自行车的人。这个问题是由于SN，这是明确定制的，以了解目标统计数据，并需要额外的手动微调（由于本实验的无监督设置，我们省略了），以实现最佳结果。请注意，我们对估计实际目标域对象大小不感兴趣，而是对估计给定源模型的最佳目标域锚感兴趣。使用这些校准的锚来指导ROS，我们的无监督ROS变体在与弱监管的监管模式相比， Waymo → KITTI，甚至更好，例如nuScenes →KITTI。4.2. 消融研究我们进行烧蚀实验，以研究我们的系统组件之间的相互作用，以及研究我们的管道的关键点我们还指出了已知的注意事项，并展示了我们如何克服它们。联合优化我们在表4中展示了联合优化的好处，这表明线性搜索已经提供了不错的性能。但是，opti-631→→→→↔(a) （b）SN（c）ROS（d）Ours图4：仅源，统计归一化（SN）[23]，随机对象缩放（ROS）[31]和我们在Waymo KITTI案例中的方法的定性比较。我们用绿色表示地面实况框，用蓝色表示预测框。根据地面实况注释，对象点显示为橙色。最好在屏幕上观看。任务方法AP3D @R11来源23。94/59。99/52. 32Waymo →KITTInuScenes →KITTILS50. 决议57/58。27/51。49LS + DE58.02/61.59/53.04来源26。37/10。37/22. 90LS36. 85/10.61/25。35LS+ DE55.10/4。第64/26.37号决议表4：检测性能w.r.t.汽车/行人/骑自行车者类的优化LS是Linear Search的缩写，DE是Differential Evolution。单独地放大每个组件，而不考虑它们的缠结。我们进一步利用这一点，使用第3.3节中的联合优化来提高性能。在某 些情 况下 ，例如 ，行 人， DE 类的nuScenesKITTI会降低结果。我们的观察表明，发生这种情况有两个原因。当源域中的实例数太少而无法正确估计GMM参数时，例如，KITTI Waymo对于行人和骑自行车的人来说，由于出现局部极小值，我们的目标函数变得更难优化。类似的效果也可以通过不充分的潜在代表来观察由 于 点 云 稀 疏 性 引 起 的 源 模 型 的 运 动 ， 例 如 ，nuScenes→ KITTI for Pedestrian.优化目标的平滑性正如前面所暗示的，用于GMM拟合的样本数量在我们的方法中起着重要作用。我们的目标函数从方程（5）变得更平滑的实例，我们使用的数量。如果我们从代表性不足的样本中构建源特征数据库，则很难优化许多出现的局部极小值。这隐含地影响了目标数据集的性能，如图5所示。另一方面，SAILOR对GMM中的组件数量。我们发现，K≥4的任何合理选择都同样有效。图5：在Waymo KITTI上应用SAILOR，同时改变用于GMM拟合的实例数量。我们报告汽车中等情况下的平均精度。5. 结论我们提出了SAILOR，一个无监督的方法锚定校准的目标域。在没有先验知识的情况下，我们估计了源模型下的我们比较我们的方法与弱监督的方法，这是广泛用于非监督的3D域适应。此外，SAILOR可以用作独立的方法，或者可以使这些弱监督方法完全无监督。在这项工作中，我们明确地专注于优化锚点大小，因为数据集之间存在巨大的域差距，特别是KITTIWaymo。然而，请注意，任何模型超参数都可以使用我们的SAILOR模式进行优化，甚至是检查点选择过程，我们希望在未来的实验中进行研究。致谢我们衷心感谢奥地利联邦数字和经济事务部、国家研究、技术和发展基金会以及基督教多普勒研究协会的财政支持所介绍的实验（部分）是利用维也纳科学集群完成的632引用[1] 放大图片作者：Holger Caesar，Varun Bankiti，AlexH.Lang，Sourabh Vora，Venice Erin Liong，Qiang Xu，Anush Krishnan ， Yu Pan ， Gi- ancarlo Baldan ， andOscar Beijbom.nuScenes：一个用于自动驾驶的多模态数据集。在Proc. CVPR，2020中。[2] Benjamin Caine，Rebecca Roelofs，Vijay Vasudevan，Jiquan Ngiam ， Yunning Chai ， Zhifeng Chen ， andJonathan Shlens.用于可缩放3D对象检测的伪标记。arXiv CoRR，abs/2103.02093，2021。[3] 陈宇康，李彦伟，张翔宇，孙健，贾继亚用于3D目标检测的焦点稀疏卷积网络在Proc.CVPR，2022中。[4] Arthur P Dempster，Nan M Laird，and Donald B Rubin.不完全数据的最大似然估计.J. R. Stat. Soc. ，39（1）：1[5] Jiajun Deng ， Shaoshuai Shi ， Peiwei Li ， WengangZhou ， Yanyong Zhang ， and Houqiang Li. Voxel R-CNN：Towards High Performance Voxel Based 3D ObjectDetection.在Proc. AAAI，2021中。[6] OpenPCDet开发团队OpenPCDet：一个用于从点云进行3D对象检测的开源工具。https://github.com/open-mmlab/OpenPCDet，2020.[7] Christian Fruhalth-Reisinger ， Michael Opitz ， HorstPosseg ger，and Horst Bischof.FAST3D：用于3D对象检测器的流量感知在Proc. BMVC，2021中。[8] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？KITTI视觉基准套件。在Proc.CVPR，2012。[9] Martin Hahner，Dengxin Dai，Alexander Liniger和LucVan Gool。基于LiDAR的3D对象检测的量化数据增强arXiv CoRR，abs/2004.01643，2020。[10] Deepti Hegde ， Vishwanath Sindagi ， Velat Kilic ， ABrinton Cooper，Mark Foster和Vishal Patel。Uncertaintyaware Mean Teacher for Source-free Unsupervised DomainAdaptive3DObjectDetection.arXivCoRR，abs/2109.14651，2021。[11] R. Kesten，M.Usman，J.休斯顿，T.Pandya，K.娜达穆尼A. Ferreira ， M. 袁 湾 ， 澳 - 地 Low ， A. Jain ， P.Ondruska，S. Omari，S.沙阿，A.Kulkarni，A.卡扎科瓦角陶湖，澳-地Platin- sky，W.Jiang和V.谢特2020年5级感知数据集https://level-5.global/level5/data/，2019年。[12] Alex H Lang ， Sourabh Vora ， Holger Caesar ， LubingZhou，Jiong Yang，and Oscar Beijbom. PointPillars：点云目标检测的快速编码器。在Proc. CVPR，2019中。[13] Alexander Lehner 、 Stefano Gasperini 、 Alvaro Marcos-Ramiro 、 Michael Schmidt 、 Mohammad-Ali NikoueiMahani 、 Nassir Navab 、 Benjamin Busam 和 FedericoTombari。3D-VField：3D目标检测中 在proc CVPR，2022年。[14] Zhipeng Luo，Zhongang Cai，Changing Zhou，GongjieZhang，Haiyu Zhao，Shuai Yi，Shijian Lu，HongshengLi，Shanghang Zhang，and Ziwei Liu.无监督域633具有多级一致性的自适应3D检测 在ICCV，2021年。[15] 我 是 萨 尔 托 里 ， 圣 法 恩 Lathuilie' re ， NicuSebe ，ElisaRicci 和 Fabio Galasso 。 SF-UDA3D ： 用 于 基 于LiDAR的3D对象检测的无源无监督域自适应。在Proc.3DV，2020中。[16] Shaoshuai Shi，Chaoxu Guo，Li Jiang，Zhe Wang，Jianping Shi，Xiaogang Wang，and Hongsheng Li. PV-RCNN：用于3D对象检测的点-体素特征集抽象。在Proc. CVPR，2020中。[17] Shaoshuai Shi ， Xiaogang Wang ， and HongshengLi.PointR- CNN：从点云生成和检测3D目标建议。在Proc. CVPR，2019中。[18] Shaoshuai Shi ， Zhe Wang ， Jianping Shi ， XiaogangWang，and Hongsheng Li.从点到部分：基于零件感知和零件聚合网络的点云三维物体检测。TPAMI，43（8），2021.[19] Rainer Storn和Kenneth Price差分进化J. Glob最佳选择，11（4）：341[20] Pei Sun ， Henrik Kretzschmar ， Xerxes Dotiwalla ，Aurelien Chouard，Vijaysai Patnaik，Paul Tsui，JamesGuo，Yin Zhou，Yuning Chai，Benjamin Caine，VijayVasudevan ， Wei Han ， Jiquan Ngiam ， Hang Zhao ，Aleksei Timofeev，Scott Et- tinger，Maxim Krivokon，Amy Gao，Aditya Joshi，Yu Zhang，Jonathon Shlens，Zhifeng Chen，and Dragomir Anguelov.自动驾驶感知的可扩展性：Waymo开放数据集。在Proc. CVPR，2020中。[21] 达伦蔡，朱莉史蒂芬尼贝里奥，毛山，斯图尔特沃尔，和爱德华多内博特。Eye to Eye：用于无监督多目标域自适应的激光雷达不可知3D检测框架。arXivCoRR，abs/2111.09450，2021。[22] 放大图片作者：Sean Walsh，Jason Ku，Alex D. Pon，and Steven L.瓦斯兰德。利用时间数据自动标记静态车辆。在Proc. CVPR，2020中。[23] Yan Wang ， Xiangyu Chen ， Yurong You ， Li ErranLi ， Bharath Hariharan ， Mark Campbell ， Kilian QWeinberger，and Wei-Lun Chao.在德国培训，在美国测试：使3D对象检测器通用化。在Proc. CVPR，2020中。[24] Yi Wei ， Zibu Wei ， Yongming Rao ， Jiaxin Li ， JieZhou，and Jiwen Lu. LiDAR蒸馏：用于3D物体检测的光 束 诱 导 域 间 隙 的 桥 接 。 arXiv CoRR ，abs/2203.14956，2022。[25] Xinshuo Weng，Jianren Wang，David Held，and KrisKitani.3D多目标跟踪：基线和新的评估指标。InProc.IROS，2020.[26] Wenxuan Wu ， Zhi Yuan Wang ， Zhuwen Li ， WeiLiu，and Li Fuxin.PointPWC-Net：用于（自）监督场景流估计的点云代价体积。Proc. ECCV，2020。[27] Xiangeng Xu ， Yin Zhou ， Weiyue Wang ， Charles RQi ， and Dragomir Anguelov. SPG ： UnsupervisedDomain Adapta- tion for 3D Object Detection via SemanticPoint Generation.在Proc.ICCV，2021中。[28] 严妍，毛宇星，李波。第二：稀疏嵌入卷积检测.传感器，18（10），2018。634[29] 杨 斌 ， 白 敏 ， 梁 明 ， 曾 文 源 ， 拉 奎 尔 · 乌 塔 孙 。Auto4D：学习从连续点云标记4D对象。arXiv CoRR，abs/2101.06586，2021。[30] Jihan Yang ， Shaoshuai Shi ， Zhe Wang ， HongshengLi，and Xiaojuan Qi. ST3D++：用于3D对象检测的非监督 域 自 适 应 的 去 噪 自 训 练 。 arXiv CoRR ，abs/2108.06682，2021。[31] Jihan Yang ， Shaoshuai Shi ， Zhe Wang ， HongshengLi，and Xiaojuan Qi. ST3D：3D对象检测的无监督域自适应自训练。在Pro
我的内容管理
展开
