球面高斯点云表示及其在目标配准和检索中的应用

572SGPCR：球面高斯点云表示及其在目标配准和检索中的应用德莱顿·萨利胡·埃克哈德·施泰因巴赫慕尼黑工业大学计算、信息和技术学院计算机工程系媒体技术和慕尼黑机器人与机器智能研究所（MIRMI）主席{driton.salihu，eckehard.steinbach}@ tum.de图1：SGPCR生成点云的旋转等变表示，用于点云配准和检索。与DeepUME [31]和DeepGMR [51]相比，SGPCR在噪声ModelNet40 [49]数据上的对齐质量更高，源和目标点云之间没有共享点（左）。此外，与MCSS [21]相比，SGPCR提高了Scan2CAD [3]数据集（右）上扫描到CAD程序的配准质量。摘要从数据库中检索CAD模型并将其与扫描的真实世界点云对齐仍然是三维重建的重要课题由于采样的CAD模型和扫描的真实世界对象之间的零我们提出了SGPCR，一种新的方法来表示三维点云的球面高斯高效，稳定，旋转等变表示。我们还提出了一个旋转不变的卷积，通过可训练的优化过程来提高表示质量此外，我们证明了基于SGPCR的点云表示的优势，使用的基本挑战的形状检索和点云配准的点云与零点对点对应。在这些条件下，我们的方法提高了注册质量，减少倒角距离高达90%，旋转均方根误差高达86%，与现有技术相比。此外，建议SGCPR用于一次性形状检索和配准，并提高检索精度高达58%，超过可比的方法。1. 介绍3D室内环境的重建是各种3D内容应用的重要方面。对于这些环境的几何形状，3D点云通常用作底层表示。虽然由移动3D感测设备（例如，英特尔实感、Navvis VLX、微软Kinect、移动电话）近年来有所改进，缺少表面信息限制了其在虚拟现实和增强现实等许多应用中的可用性为了解决这个问题，3D重建已经成为一个流行的过程，将原始点云转换为表面表示。现有文献通过表面重建[12，23，35，16]或扫描到CAD配准方法[3，24，29，4]。由于扫描仪和/或人类操作员的遮挡和不可避免的不准确性，与扫描到CAD方法相比，表面重建方法可能导致更多的孔和特定对象重建的更低精度[29]。此外，通过使用来自数据库的现有CAD对象，可以容易地调整对象从场景在这项工作中，我们573图2：基于已检测到的3D室内环境的3D对象，基于SGPCR的对象检索旨在从数据库中检索均匀采样的CAD对象（蓝色），并将它们同时与零点对点对应的合成或真实世界（灰色）模型对齐（红色）。在CAD网格上使用估计的变换来创建扫描环境的表面表示。专注于基于CAD模型与原始3D传感器数据的配准来改进3D重建，如图1的定性结果所示。一般来说，任何扫描到CAD方法的流水线都可以分为三个步骤：i）3D对象检测/语义实例分割[20，37，22，36]，ii）形状检索[54，27，8，14]，和iii）点云配准[51，31，47，19，34]。作为3D对象检测/语义分割-已经广泛研究了分段[32，30，55，39，33]，这项工作采用了这一步骤的现有解决方案。在现实世界的扫描到CAD配准任务中，形状检索和点云配准步骤通常在具有零点对点对应、不同密度和变化缩放的3D点云上执行。这被定义为跨源注册和检索。它发生在使用不同的传感器或不同的遮挡扫描或创建对象模型的情况这些变化需要点云的稳定和不变的表示。这项工作介绍了一种新的点云表示，使用球面高斯（SG），跨源检索和注册，如图2所示。根据SG的性质，表示是旋转等变的，类似于[17] 因此是跨源点云配准的良好选择。此外，SG被表示在3D球体上，具有明确定义的波瓣轴、幅度和波瓣锐度。因此，可以通过找到叶之间的相关性最高的旋转来估计两个通过利用SG的固有特性，我们能够提高跨源点云配准和检索的质量。我们的贡献可以概括如下• 我们介绍了一种新的旋转等变表示的点云通过SG。• 我们利用SG的属性，提出了一种新的旋转不变卷积，它可以用于注册和检索任务。• 我们设计了一个点云配准流水线6和9自由度的高噪声点云与零点对点对应。• 我们表明，建议的点云表示允许一次性检索和注册。2. 相关工作Tsai [42]首先引入了高斯球径向基函数的概念，后来被称为球面高斯（SG）。最初，SG被开发用于模拟静态场景中渲染对象的照明。为此，SG给出了渲染方程的有效近似，以估计照明和镜面BRDF[52]。据我们所知，我们是第一个提出使用SG混合模型来表示扫描到CAD对齐应用程序的点云。VoteNet [37]引入了投票来检测和分类点云中的3D对象。通过PointNet [38]处理点云，估计对象的中心。网络假设对应于对象的每个点被分配给一个投票中心。我们使用VoteNet从ScanNet等3D室内环境中预测类和边界框[15]。生成的3D模型点云用于基于CAD模型的跨源检索和对齐。574关于我们X{|联系我们关于我们Y{|联系我们∈∈≥0≥02.1. 点云配准点云配准一直是一个长期的研究课题[7，11]。有了PointNet [38] ， 从 点 云 中 提 取 早 期 的 作 品 之 一 ，PointNetLK [1]利用这些改进来实现更准确的配准。RGM [19]提出使用基于图的方法，从而进一步使用结构信息来减少离群值的影响。如DCP [47]和Deep-UME [31]所示，Transformers [44]的引入进一步改进了点云配准相比之下，我们的方法是基于SG和SG卷积，这显着减少了推理时间和参数的数量。它还提高了跨源数据的对齐质量。此外，我们的方法利用SG的旋转等变特性和旋转不变的SG卷积来改进配准过程。DeepGMR [51]从点云中提取旋转不变特征，从中获得相应的高斯混合模型（GMM）。用KL-发散使这些Gyns最小化，以获得最终的变换。虽然我们的工作受到DeepGMR的GMM配准的启发此外，与DeepGMR相比，我们的方法不需要外部引入旋转不变特征[10]或通过PointNet进行特征采样。2.2. 形状检索3. 问题陈述我们考虑一个扫描的室内环境，从基于CAD的表示重建。给定室内环境的点云和CAD模型的点云，需要进行形状检索和点云配准。设= Xc，mXc，mRN1×3，c= 1，.，C、对m=1，…Mz是来自室内环境z的具有N1个点的不同类别C的Mz分割对象。 在这种情况下，分割并不一定意味着一些语义分割的形式它也可以是包含模型和背景环境的点的3D包围体的形式另外，Yc，kY c，k RN2×3，c=1，.，C ，k=1，… K是包含K个均匀采样的CAD模型的数据库，这些模型表示为具有N2个点的点云。点的数量被简化为N=N1=N2，以便与现有技术进行公平比较对于检索任务，我们假设KMzz，并且X中表示的所有类也在Y中表示。3.1. 点云配准点云配准描述了找到点云Yc，k到相同类别的对应点云Xc，m的刚性变换的方法。根据点云配准所需的自由度 ， 刚 性 变 换 的 公 式 略 有 不 同 。 具 有 6 个 自 由 度（6DoF）的刚性变换定义优化问题形状检索是计算机辅助设计的核心内容之一minR∈SO（3），t∈Rd（Xc，m，RYc，k+t）（1）3室内环境的重建大型CAD数据库的可用性[9，49]使得使用形状检索来重建室内环境成为可能，其中旋转RSO（3）和一个平移t R3 对于Yc，k被估计。对于9个自由度，该公式通过对角缩放矩阵进行扩展由Scan2CAD显示[3]。为了解决检索问题，CORSAIR [54]扩展了FCGF [18]以学习全局对象形状表示，S∈diag（R3 ）mind（Xc，m，RSYc，k+t）（2）局部逐点特征，从而允许从基于类别的CAD数据库中检索PCRP[27]是一种基于R-PointHop [26]的无监督点云配准方法的无监督方法，并将其扩展为形状检索任务。通过修改R-PointHop，通过将点特征聚合到全局VLAD表示[25]中，PCRP可以作为一个更通用的-R∈SO（3），t∈R3，S∈diag（R3）的方式其中d表示距离度量，其取决于特定的使用情况。如果Xc，m和Yc，k包含由相同的感测或采样技术创建的点到点对应关系，则d被定义为点yj，xj∈R3之间的平均距离，如在等式2中。3.第三章。N与CORSAIR相比，d（X，Y）=1-x（三）与现有的方法不同，本文的方法是一次配准和检索，从而降低了复杂度。此外，该一次性程序无需分离扫描到CAD方法中常用的检索和点云配准方法[4，54]。此外，训练时间和训练复杂性Nj j2j=1对于Xc，m和Yc，k没有点到点的对应关系，Barrow等人。[6]定义了倒角距离dCD=1100min x−y2+1100minx−y2。（四）22由于SG表示仅训练一次，办理登记手续。|X| x∈X y∈Y|Y| y∈Y x∈X2C575St∈SΣ∈∈ ∈∞∥∥∈ S| |∈∈v.其中，π=arccos1−2是定义数量的比率。v3.2. 形状检索为了从数据库中检索模型Yc，k，优化可以定义为argmindS（Yc，k，Xc，m）（5）k ={1，...，K}其表示一个扫描的源对象模型Xc，m之间的相似距离dS4.2.球面高斯卷积我们也有兴趣在延长的参数空间，提高质量的SG表示，而不改变旋转等变属性的SG。根据[42]的推导和[46]中介绍的简化，两个SG（Gs（ν;as，λs，ps）和Gt（ν;at，λt，pt））的旋转不变卷积定义为：以及来自数据库的目标模型Yc，k，类c∈C和模型idk∈K。4πasatsinh（dst）（G<$G）（ν）=（九）通过SGPCR的代表性使我们能够eλs+λtDSt根据任务使用倒角距离或均方误差。4. 球面高斯混合模型SGPCR核心表示是通过SG，这遵循Wang等人的定义。【46】：G（ν;a，λ，p）=aeλ（νTp−1）（6）其中波瓣轴pR3、波瓣锐度λ（0，+）、波瓣振幅aR3和球面方向参数ν3。球面径向基函数的方便描述允许方程的简单扩展。6用于体积数据[48]。如[42]和[46]所示，SG根据定义围绕叶轴p对称。因此，如果点云由SG表示并旋转，则表示为参数p的旋转。这导致通过SG对模型的旋转等变描述。这是简化点云配准过程的基本属性。4.1. 球面高斯混合一个球面高斯混合是由各种SG的总和。|ν|SGM（ν，a，λ，p）=G（ν;ai，λi，pi）（7）i=1当量7表示点云的参数化描述，由三个参数ai、λi和pi乘以数量，其中dst=λsps+λtpt，从而允许通过SG Mixtures进行有效的计算和表示。引入这两个属性，即旋转等变表示和旋转不变卷积，可以将基于SG的结构轻松集成到任何基于深度学习的系统中。5. SGPCR本节描述了我们通过SG混合来表示3D点云的方法（另见图3中的流水线）。5.1. 球面采样SG是高斯函数在 3D表面。高斯函数包含点与高斯中心 为了在球体上表示这一点，而不是使用笛卡尔距离，我们必须使用球体上采样点之间的角度ν3，我们的SG。由方程式6、这是由 v和p之间的点积因此，为了用Eq.需要6个球形采样正如[41]和[17]所提到的，在球面上不存在尽管如此，我们假设一个次最佳的采样在一个球体上，但通过使用最近邻聚类减少了误差。为了对球体进行采样，我们使用Vogel [45]提出的方法。Vogel在直角坐标中采样的点被转换为球坐标[2]，以表示采样的球体。按照[2]的符号，定义了一个黄金角δ，它是从黄金角δ导出的。SG的ber，其是球形样本的数量ν。此外，如[46]所定义的，方程中的SG混合物。7在旋转下具有封闭形式。这一重要财产比率1δ=2π（1−π）=π（3−π）（10）使我们能够简化旋转的估计。例如，如果我们假设点云的两个SG表示，一个任意旋转RpSO（3），另一个不旋转，我们的问题归结为在球面上找到旋转RvSO（3），对于该旋转RTRp导致单位矩阵I。当量图8示出了通过找到RTRp=I，可以获得非旋转SG表示。G（Rν，R p，：）=aeλ（νTRTRpp−1）=aeλ（νTp−1）（8）我N一个Fibonacci数列的连续项的个数。通过该角度a采样点νiνi=（cos（i·δ）·sinθ，sin（i·δ）·sinθ，cosθ）（11）可以构造。该方法创建了螺旋结构，根据[2]，与相关方法相比，该螺旋结构生成更均匀分布的样品。v pv576∈ ∈∈∞∈X2Rtp= 0|ν|∥∥pT− Rp|ν|pS.（十四）..i=0时i=0时图3：用于训练所提出的基于SGPCR的配准方法的一般管道。 源和目标用于生成a）中所示的球形高斯混合（SG混合）的初始参数。在b）中，通过将先前获得的a和p与可训练的λ组合，生成SG在SG混合物通过c）之后，第5.3节中描述的SG卷积在d）中，通过互协方差来比较目标和源的表示。通过使用SVD，基于SGPCR的配准方法通过求解等式[43]获得旋转值，平移值。14和通过边界框比较的缩放，如第5.4节所述。等地教授英语e）所得到的变换和距离度量用于通过梯度下降算法更新b）和c）中的可学习参数。在测试时，训练的参数被重用。5.2. 球面高斯表示在定义球形样本ν之后，本小节现在定义点云的pR3、λR和aR3对于λ，选择可训练参数并初始化为-5.4.球面高斯排列首先，我们要找到球体上源和目标SG混合的瓣具有最高相关性的旋转。为此，我们计算了十字架-Gy，i与Gy，i之间的协方差矩阵W∈R3×3tween[0，+]. 为了获得波瓣轴p，通过以下方法获得采样球体与点云的最近点：W=10000y，1T . . .Gy，|ν|联系我们y，1S . . .GSy，|ν|不ΣT（十三）最近邻搜索算法在找到该波瓣轴p之后，k最近邻搜索对局部邻域的k最近点求平均，并返回局部特征a。图3在部分（b）中显示了这一点。5.3.球面高斯卷积此外，在这项工作中使用了卷积层通过向优化算法提供更多参数来改进配准和检索任务。根据Umeyamaet al. [43]，我们可以从W计算旋转矩阵Rp。由于SVD是可微的，因此可以将其集成到流水线中。对于平移向量tpR3是pS和pT进行比较，因此1Σ|ν|1Σ|ν|在这项工作中，SGConv在Eq. 12，我们的SG卷积，被定义在从点云获得的SG表示GX和我们的可训练SG核GR之间。对于配准，我们在估计旋转矩阵之前只计算一次卷积。为了缩放对象，首先，通过估计的旋转和平移来变换源点云和目标点云。然后计算目标Ot∈R8×3的有向包围盒，并与有向包围源Os∈R8×3的边界框。 我们使用Eq。15至4 πa asinh（d）得到尺度估计的第一部分sb∈R3。Gy=（G（v）=XR XR（12）8我XRs=1μm。Ot.S（十五）当量12，其中dXR=λXpX+λRpR，表明，两个SG的卷积是旋转不变的，B8i=1|Oi|计算工作量。因此，我们使用Eq。12来计算源SGGS或目标SGGT的表示与我们的SG核GR之间的卷积。图3(c)显示了管道的这一部分。sp=sb（16）由于真实世界的扫描对象的边界框通过扫描时的遮挡不一定覆盖模型的整个尺寸，因此可学习的参数不SXeλX+λRD577≤ ∧∧RGpG¨p¨引入了R∈R3这导致最终的标度估计sp∈R3，如等式2所示。十六岁5.5.球面高斯损耗由于配准方法是有监督的，因此估计的Rp直接用于所示的损失函数LR中 由方程式17和比较地面真理Rg。此外，还添加了[50]的平均各向同性误差（MIE）。虽然通过MIE没有显著减少旋转误差，但它减少了收敛时间。从ScanNet，我们使用它来评估我们的方法，按照[3]和[54]的评估方法。指 标 . 对 于 配 准 ， 我 们 使 用 根 旋 转 均 方 误 差RRMSE、平移均方根误差RMSE（t）、倒角距离dc和推理时间R。此外，我们在一个小型研究中评估了参数#Params的数量。对 于 检 索 任 务 ， 我 们 评 估 Precision@10 [27] ，Percision@M=0.1n [54]和Top-1检索模型的倒角距离。Precision@10显示correct对象位于检索到的前10个模型中，而L =RTR−I翻译损失+MIE（R，R）（17）使用平均值计算Percision@M=0.1n，表明正确的对象在前0.1n中，其中n是测试数据集的大小。最后，对于扫描到CAD的方法，我们使用流行的地面实况和预测之间的平方误差。对于缩放损失LS，L1损失之间的预-指定的缩放比例，并计算地面真实比例。最后，倒角距离被用作距离损失Ld，以获得关于点云之间的距离的进一步信息。最后，9DoF配准管道的损失可以总结为L=αLd+βLT+γLR+δLS（18）其中α、β、γ和δ用作可选的加权因子以允许权衡优化。梯度下降算法使用损失L来更新SG核GR、SG表示的初始λ和缩放变量λ。GR的参数被初始化为随机的，并且λ和λ都被设置为0。5、初始化阶段。6. 评价数据集。我们在两个合成数据集ModelNet40[49]和ShapeNet[9]以及一个真实世界的Scan2CAD[3]数据集上评估了基于SGPCR的CAD扫描对齐。在合成数据上，配准和检索的评价将集中在包含零交叉噪声的点云数据上，如[31]中所定义。零交叉噪声方法模拟交叉源环境，这是扫描到CAD方法中最常见的情况，因为CAD对象无法轻松地以与RGB-D室内扫描（如ScanNet）相同的密度分布因此，这允许与最新的合成数据进行更现实的比较。对于合成数据上的检索任务，我们可以遵循[27]在ModelNet40或ShapeNet上[54]，从每个对象的表面采样2048个点对于合成数据的配准任务，我们评估了我们在ModelNet40上的工作，如下[31]，因此均匀采样物体表面以生成1024个点。由于Scan2CAD是最早使用ShapeNet数据替换真实世界扫描对象的作品之一，Scan2CAD 基 准 测 试 [3] 。 在 此 ， 评 价 满 足1[Rerr<20cm serr<20%]的所有模型的平均值。此外，我们遵循[54]并使用Rerr和单侧倒角距离dSC进行评估。训练为了优化，我们使用β 1 = 0的ADAM [28]。9，β2=0。999，学习率为10- 3。该表示被训练了300个epoch，并包含一个步骤调度器，每60次迭代将学习率降低10- 1在测试时，已训练的参数被重用并变得不可训练。6.1. ModelNet40为 了 评 估 ModelNet40 的 配 准 任 务 ， 我 们 遵 循DeepUME [31]的方法，并将基于SGPCR的配准与其他最先进的零交叉噪声方法进行在DeepUME之后，我们从点云Xc，m中移除1024个点，然后从对应的Yc，k中移除Xc，m的剩余点。在表1中，我们显示了不同数量的样本对最终比对的影响。即使样本量（或SG）较低，RRMSE也保持稳定。样本的数量也与参数的数量相关。作为参考，DeepUME [31]使用基于Transformers的主干，使用至少310720个参数。表2扩展了这项研究，并显示了稳定效果。k-最近邻算法中最近邻的数目（#k）对幅度参数α的影响。在这里，我们进一步注意到，增加#k太多会产生相反的效果，并降低对齐质量。表3显示了与其他最先进方法的比较。此外，我们使用不同的球形采样策略显示SGPCR结果：i）引入Vo-gel采样，ii）等距矩形距离采样（ED），以及（三）随机抽样。我们还引入了一个基于PointNet（PN-Base）的基线，它用PointNet主干取代了SG表示和我们使用球形采样获得的a作为PointNet的输入。与PN-Base的比较表明，与PointNet一致的点云SG表示Ta-23×32578编号SGDCRRMSERMSE（t）R（ms）#参数模型DCRRMSERMSE（t）R（ms）320.001410.500.00770.0016515PointNetLK [1]0.02880.8581.023-640.00119.470.00530.00161027DCP [47]0.05993.2210.014-1280.00108.960.00420.00162051RGM [19]0.254100.970.388-2560.00108.600.00360.00174099DeepGMR [51]0.02667.2820.0100.00255120.00108.570.00340.00178195DeepUME [31]0.01170.8180.0090.037510240.00108.480.00340.002216387PN-Base0.025846.230.00680.0521R + SGPCR0.008834.100.01290.0017表 1 ： 不 同 样 品 密 度 （ #SG ） 的 研 究 。 零 相 交ModelNet40数据的比对表明，即使使用少量的参数，SGPCR也能在比对中获得稳定的结果。显示了批量大小为1且点数为1024时C表 2 ： 最 近 邻 数 （ #k ） 的 研 究 。 这 项 研 究 表 明 ，#SG=512的#k的选择，虽然不是主要的，但仍然对最终解决方案有重要影响。表3表明，我们基于SGPCR的方法在RRMSE、RMSE（t）和dC方面优于可比较的方法。对于R，SGPCR获得了与可比方法相似的结果图4显示了与DeepGMR的定性比较[51]DeepUME。由于具有现有点对点对应关系的无噪声点云对于预期用例来说是非常不可信的，因此在我们的评估中没有考虑它们。最后，基于SGPCR的检索在PCRP [27]中的表4显示了这些改进ED + SGPCR0.00108.750.00350.0017Vogel + SGPCR0.00108.570.00340.0017表3：具有零交叉噪声的ModelNet 40上的配准结果，在没有采样噪声的数据上训练，因此遵循与[31]相同的训练/测试方法。我们基于SGPCR的配准方法导致RMSE（R）和RMSE（t）值显著降低。这表明基于SGPCR的点云表示更好地推广零相交模型。在这里以及对于所有进一步的结果，我们使用512#SG并且#k=8。（a）DeepGMR [51]（b）DeepUME [31] （c）SGPCR图4：ModelNet40上非交叉数据之间的定性比较。这定性地显示了表2的结果。与现有技术相比，我们的配准导致更稳定的对齐。由我们的预对准和任意姿势的方法给出虽然一次性检索和配准产生了丰硕的成果，预对准对象的评估不模拟现实世界的问题。对于任意姿态，改进是可见的，但是Top-1度量再次表明仍然存在很大的增长可能性。6.2. ShapeNet在 对CORSAIR [54]进 行评 估之 后， 我们 展示 了ShapeNet数据集上检索任务的结果。表5显示了与Percision@M=0.1n 度 量 [54] 上 的 可 比 方 法 相 比 ，SGPCR对ShapeNet检索由于SGPCR不仅重新检索对象，而且还对齐检索到的对象，因此Top-1dC结果显示出比竞争对手更低的值。模型预对齐对象任意姿势SGPCR100.0 0.0076 86.41 0.020表4：ModelNet40上的检索评价。在ModelNet40上基于SGPCR的检索，[27]远远超过竞争对手。#kd−4RRMSERMSE（t）R（ms）110.198.610.00340.00173210.148.580.00340.00170810.048.570.00340.001773210.049.010.003510.0025012810.5211.080.003620.0060051216.6937.020.005530.02035P@10顶部-1dCP@10顶部-1dC[53]第五十三话58.230.12919.710.211FFPH [40]53.230.16452.120.160PointNet [38]60.660.12153.400.145海盗[54]61.280.10661.240.107[27]第二十七话63.230.10163.070.111579模型椅桌型号CdSCRerr45mmP@M Top-1dCP@MTop-1dCCORSAIR [54]0.0753 86.4表5：ShapeNet上的检索评价。根据[54]的结果和方法，显示了通过基于SGPCR的检索的改进模型椅沙发桌基线[21] 42. 02 27. 7018. 52Scan2CAD [3] 44.26 30.66 30.11E2E [4] 73.04 76.92 48.15MCSS [21] 74.32 78.70 24.28SGPCR77.39SGPCR0.0150表7：在[54]的培训和评价后，在Scan2CAD数据集上进行检索和配准表6：对Scan2CAD基准的评价。在Scan2CAD基准上评估对象对齐[3]。与[21]类似，我们不会将自己与SceneCad [5]进行比较，因为它使用对象和布局之间的关系，我们无法访问。6.3. Scan2CAD此外，在Scan2CAD [3]数据集上评价SGPCR为了比较，我们采用MCSS [21]的结果，其中也包含基线。对于3D对象检测，我们使用VoteNet [37]的结果，然后使用基于SGPCR的检索和配准，其在结构上与[21]的基线表6显示，在Scan2CAD基准上进行评估时，通过使用SGPCR可以观察到可观的改进。MCSS [21]在建议部分使用优化算法来改进扫描到CAD的过程。虽然MCSS改进了扫描到CAD的方法，但高推理时间（约15分钟）使其不具备实时能力。此外，考虑到E2E [4]使用了一种可感知的方法，该方法也可用于扩展SGPCR并进一步改进Scan2CAD基准测试的结果。表6的结果图5显示了定性评价。最后，表7显示了SGPCR与CORSAIR [54]相比的一次性检索和配准程序对于给定的结果，即使SG-PCR 不 考 虑 点 云 对 称 性， 它 在 dSC 和Rerr<45μ s 上 优 于CORSAIR。7. 结论我们提出了SGPCR，一种新的旋转等变方法表示点云，使用球面（a）MCSS [21]（b）SGPCR（c）GT图5：Scan2CAD数据集的定性比较。MCSS [21]能够获得更多的CAD对象，即使这些对象不在地面实况数据集中。仍然通过表6和给定的定性结果，SGPCR显示出总体改善。高斯人使用所提出的旋转等变表示和可训练的旋转不变卷积，我们可以创建一个更稳定的点云表示。我们的实验表明，这种形式的表示改进了点云之间的对齐和检索与零点对点对应，特别是在上下文的扫描到CAD应用程序。虽然我们的评估显著改善了合成数据的对齐，但由于实现这些结果所需的多阶段方法，扫描到CAD任务的改进仍然受到影响。由于SGPCR已被证明可以用更少的参数显着提高对齐质量，我们希望它能在跨源点云配准应用中取代PointNet或Transformers确认作者感谢德国联邦教育和研究部对“Sou v er aün”方案的财政支持。数字. 维尔内茨特“. 联合项目6 G-life，项目识别号：16 KISK 002FCGF [13]31.830.13236.190.135Corsair [54]椅子0.068188.9海盗[54]51.470.11557.770.112SGPCR0.005490.89SGPCR76.200.01475.150.016CORSAIR [54]0.090652.9Corsair [54]表0.071457.0580引用[1] 青木康弘，亨特·戈福斯，兰加普拉萨德·阿伦·斯里瓦特山，西蒙·露西. Pointnetlk：使用pointnet的鲁棒高效点云配准。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第7156-7165页[2] M. K.亚瑟圆盘和球面上的点拾取和分布。2015年。[3] Armen Avetisyan ， Manuel Dahnert ， Angela Dai ，Manolis Savva ， Angel X. Chang 和 Matthias Nießner 。Scan 2cad ：学 习rgb-d 扫描 中的cad 模型 对齐。2019IEEE/CVF计算机视觉和模式识别会议（CVPR），第2609-2618页[4] Armen Avetisyan，Angela Dai，and Matthias Nießner.三维 扫 描中 端 到 端 cad 模 型 检索 和 9dof对 齐 。2019 年IEEE/CVF计算机视觉国际会议（ICCV），第2551-2560页[5] ArmenAvetisyan 、 TatianaKhanova 、 ChristopherBongsoo Choy 、 Denver Dash 、 Angela Dai 和 MatthiasNießner。Scenecad：预测rgb-d扫描中的对象对齐和布局。ArXiv，abs/2003.12622，2020。[6] Harry G.作者：Jay M.作者声明：Robert C. Bolles，andHelen C.狼参数对应和倒角匹配：两种新的图像匹配技术。在1977年的IJ-CAI[7] Paul J. Besl和Neil D.麦凯三维形状配准方法。其他会议，1992年。[8] 蒂姆·拜尔和安吉拉·戴。弱监督端到端cad检索扫描对象。ArXiv，abs/2203.12873，2022。[9] 天使XChang，Thomas Funkhouser，Leonidas Guibas，Pat Hanrahan ， Qixing Huang ， Zimo Li ， SilvioSavarese ， Mano-lis Savva ， Shuran Song ， Hao Su ，Jianxiong Xiao，Li Yi，and Fisher Yu.ShapeNet：一个信息 丰 富 的 3D 模 型 库 。 技 术 报 告 arXiv ： 1512.03012[cs.GR]，斯坦福大学-普林斯顿大学-芝加哥丰田技术研究所，2015年。[10] Chao Chen，Guanbin Li，Ruijia Xu，Tianshan Chen，Mei Wang，and Liang Lin. Clusternet：具有严格旋转不变表示的深度层次集群网络，用于点云分析。2019IEEE/CVF计算机视觉和模式识别会议（CVPR），第4989- 4997页[11] YangChen和GerardG. 梅迪奥尼通过多个距离图像的配准的对象建模诉讼1991年IEEE机器人与自动化国际会议，第3卷第2724-2729页，1991年。[12] Sungjoon Choi，Qian-Yi Zhou，and Vladlen Koltun.室内场景的RO-BUT重建2015年IEEE计算机视觉和模式识别会议（CVPR），第5556-5565页[13] Christopher Bongsoo Choy ， Jaesik Park 和 VladlenKoltun。完全卷积几何特征。2019 IEEE/CVF国际计算机视觉会议（ICCV），第8957-8965页[14] Manuel Dahnert ， Angela Dai ， Leonidas J. Guibas 和Matthias Nießner。3d扫描与cad ob的联合嵌入对象。2019 IEEE/CVF计算机视觉国际会议（ICCV），第8748-8757页[15] 戴 安 琪 ， 天 使 X. 放 大 图 片 创 作 者 ： ThomasA.Funkhouser和Matthias Nießner。Scannet：室内场景的丰富注释3D重建。2017年IEEE计算机视觉和模式识别会议，第2432-2443页[16] AngelaDai ， MatthiasNie ßner ， MichaelZoll höfer ，ShahramIzadi，and Christian Theobalt.Bundlefusion：使用动态表面重新积分的实时全局一致3D重建。ArXiv，abs/1604.01093，2017年。[17] Carlos Esteves 、 Christine Allen-Blanchette 、 AmeeshMaka- dia和Kostas Daniilidis。用球面cnn学习so（3）等变在ECCV，2018。[18] Feng Qiaojun和Nikolay A.阿塔纳索夫用于类别级对象对齐的完全卷积几何特征2020年IEEE/RSJ智能机器人和系统国际会议（IROS），第8492-8498页[19] Kexue Fu，Shaolei Liu ，Xiaoyuan Luo ，and ManningWang.基于深度图匹配的鲁棒点云配准框架。2021IEEE/CVF计算机视觉和模式识别会议（CVPR），第8889-8898页，2021年。[20] Yulan Guo，Hanyun Wang，Qingyong Hu，Hao Liu，LiLiu，and Bennamoun. 3D点云的深度学习：一份调查报告。IEEE Transactions on Pattern Analysis and MachineIntelligence，43：4338[21] Shreyas 汉帕里， Sinisa 斯特科维奇， 萨扬 黛布·萨卡C. 斯里尼瓦萨·库马尔，弗里德里希·弗劳恩多夫，文森特·莱普提.蒙特卡洛场景搜索三维场景理解。2021IEEE/CVF计算机视觉和模式识别会议（CVPR），第13799-13808页[22] Ji Hou ， Angela Dai ， and Matthias Nießner.3D-SIS ：RGB-D扫描的3D2019 IEEE/CVF计算机视觉和模式识别会议（CVPR），第4416-4425页[23] 放 大 图 片 作 者 ： Shahram Izadi ， David Kim ， OtmarHilliges，David Molyneaux，Richard A.放大图片作者：Newcombe ， Pushmeet Kohli ， Jamie Shotton ， SteveHodges，Dustin Freeman，Andrew J.Davison和AndrewW.菲茨吉本运动融合：使用移动深度照相机的实时3D重建和交互。2011年第24届ACM用户界面软件和技术年会论文集[24] Hamid Izadinia，Qi Shan，and Steven M.塞茨Im2cad。2017年IEEE计算机视觉和模式识别会议，第2422-2431页[25] 她的名字是MatthijsDouzeCordeliaSchmid和Patrick Pérez。将局部描述符聚集成紧凑的图像表示。2010年IEEE计算机协会计算机视觉和模式识别会议，第3304- 3311页[26] Pranav Kadam，Min Zhang，Shan Liu和C.-C. 郭杰R-顶点：一种绿色、精确、无监督的点云配准方法。IEEE图像处理学报，31：2710[27] Pranav Kadam，Qingyang Zhou，Shan Liu，and Cs Kuo.无 监 督 点 云 对 象 检 索 和 姿 态 估 计 。 ArXiv ，abs/2202.07843，2022。581[28] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。CoRR，abs/1412.6980，2015。[29] 郭伟成、安蕾莉亚·安杰洛娃、林宗怡和戴安琪。Mask2cad：通过学习分割和检索进行3d形状预测。在ECCV，2020年。[30] 亚 历 克 斯 ·H Lang ， Sourabh Vora ， Holger Caesar ，Lubing Zhou，Jiong Yang，and Oscar Beijbom.点柱：用于从点云中检测物体的快速编码器。2019 IEEE/CVF计算机视觉和模式识别会议（CVPR），