没有合适的资源?快使用搜索试试~ 我知道了~
多视图描述子学习与匹配的点云配准
点云配准中多视图描述子的学习与匹配周磊1†[0000−0003−4988−5084],朱思宇1‡[0000−0003−0293−0044],罗子欣1†[0000−0001−6946−2826],沈天伟1†[0000−0002−3290−2258],张润泽1 <$[0000 - 0001 - 9698 - 0178]、甄明敏1[0000 - 0002 - 8180 - 1023]、田芳2[0000 -0002 - 5871 - 3455]、龙泉1[0000 - 0001 - 8148 - 1771]1香港科技大学{lzhouai,szhu,zluoag,tshenaa,rzhangaj,mzhen,quan}@ cse.ust.hk2深圳市筑科创新科技(Altizure)fangtian@altizure.com抽象。点云配准的关键是在3D空间中的点之间建立一组准确的对应关系。对应性问题通常一方面通过区分3D局部描述符的设计来解决,另一方面通过鲁棒匹配策略的开发来解决在这项工作中,我们首先提出了一个多视图局部描述符,这是从多个视图的图像学习,用于描述的3D关键点。然后,我们开发了一个强大的匹配方法,旨在拒绝离群匹配的基础上有效的推理,通过信念传播定义的图形模型。我们已经证明了我们的方法在公共扫描和多视图立体数据集上配准的提升。优越的性能已被验证了对各种描述符和匹配方法的密集的比较。关键词:点云配准·3D描述子·鲁棒匹配1介绍点云的配准将来自不同来源的3D数据集成到一个公共坐标系中,作为许多高级应用程序(如3D建模[1,2],SLAM [3]和机器人感知[4])的重要组成部分。关键 配准任务的另一个重要方面是确定每个云内空间定位的3D点之间的对应关系。 为了解决对应性问题,一方面,已经开发了一堆3D局部描述符[5-12]以促进3D关键点的描述。另一方面,匹配策略[13[2]周磊和罗紫欣是暑期实习生,沈天伟和张润泽是珠峰创新科技公司的实习生。‡朱思宇就职于阿里巴巴人工智能。自10月以来的实验室2017年。※张润泽为通讯作者。L. Zhou,S. Zhu,Z. Luo等人2三维几何描述符的探索一直是点云配准研究的热点它涉及手工制作的几何描述符[5这两种方法主要依赖于3D局部几何。同时,随着基于CNN的2D补丁描述符的显著进步[17 -21],更加重视利用2D投影来描述底层3D结构[22-25]。特别是对于通常与相机图像共配准的点云数据[26-29],多个图像视图的融合(其已经报告了各种任务的成功[30- 33])预计将进一步提高3D局部描述符的辨别能力。有了这个动机,我们提出了一个多视图描述符,名为MVDesc,用于基于多视图融合技术和补丁描述符学习的协同作用的3D关键点的描述。MVDesc不是替代品,而是对现有几何描述符的良好补充[5-12]。给定局部描述符,匹配问题是点云配准中的另一个重要问题。大多数配准算法[15,34目前,匹配策略,例如。最近邻搜索、相互最佳[15]和比率测试[13]基本上仅根据局部描述符的相似性来在不考虑全局几何一致性的情况下,这些方法易于在局部相似的3D结构之间进行还努力通过线处理和全局配准的优化来联合解决离群值抑制[15]。但是在识别离群点时,仍然忽略了三维点匹配的空间组织为了解决这个问题,我们开发了一个强大的匹配方法,明确考虑在3D空间中的点匹配的空间一致性我们试图过滤离群匹配的基础上描述其空间属性的图形模型,并通过信念传播提供了一个有效的解决方案。这项工作的主要贡献可以概括为两个方面。1)我们是第一个利用多个图像视图的融合来描述点云配准时的2)提出了一种基于图模型的、用信念传播,显著增强了3D点匹配的鲁棒性。2相关作品3D局部描述符。3D局部结构的表示依赖于传统的几何描述符,例如Spin Images [5]、PFH [6]、FPFH [7]、SHOT [8]、USC [9]等。主要基于局部几何属性的直方图产生最近的研究试图从局部几何形状的不同表示中学习描述符,如3D补丁的体积表示[10],点集[12]和深度图[16]。CGF [11]仍然利用传统的球形直方图来捕获局部几何形状,但学会将高维直方图映射到低维空间以实现紧凑性。不是仅使用几何属性,一些现有的作品涉及从通常与图像共配准的RGB图像中提取描述符。多视图描述子与鲁棒匹配3扫描数据集[26-28]和3D重建数据集中的点云[29,39]。像[22-25]这样的配准框架使用SIFT描述符[13]作为基于其在单视图RGB图像中的投影的3D关键点的表示。此外,其他最先进的2D描述符,如DeepDesc [17],L2-Net [18]等。[19多视点融合。多视图融合技术用于将来自多个视图的信息集成到单个表示中。文献已经广泛证明,与单个视图相比,该技术有效地提高了实例级检测[30],识别[31,32]和分类[33]的性能。Su等人。 [30]首先提出了一个概率表示用于对象位于密集观看球体的中心的场景的3D对象类模型。一种更通用的多视点融合策略是视图池[31-匹配.用于配准的匹配的目标是在给定关键点描述符的3D点集上找到对应关系。几乎所有的配准算法[15,34最近邻搜索、相互最佳过滤[15]和比率测试[13]是基于一般匹配任务的局部相似性搜索潜在匹配的有效方式然而,如上所述,这些策略在不考虑几何一致性的情况下容易发生失配。为了吸收几何信息,[41]和[42]使用博弈论方案发现几何一致性中的匹配 Ma等人[43]建议通过在局部邻域中强制一致性来拒绝离群值。Zhou等人。 [15]使用RANSAC风格的元组测试来消除不一致尺度的此外,在配准域中应用线过程模型[44]以隐式地考虑离群值的存在[15]。3多视图本地描述符(MVDesc)在本节中,我们提出学习用于3D关键点的多视图描述符(MVDesc),其将多视图融合技术[30具体来说,我们首先提出了一个新的视图融合架构,将跨视图的特征图集成到一个单一的表示。其次,我们通过将融合架构置于多特征网络之上来构建MVDesc网络[45]。每个特征网络用于从每个视图的局部块提取特征图。3.1多视图融合目前,视图池化是用于合并来自不同视图的特征图的主要融合技术[31然而,如文献[32,46,47]所报道的,池化操作在特征聚合方面有些风险,这是由于其受ResNet [48]的启发,我们提出了一种称为Fuseption-ResNet的架构,它使用视图L. Zhou,S. Zhu,Z. Luo等人4……Conv6康卡特康卡特……多个视图中的要素地图…………©融合查看池化Conv7Conv5-1Conv5-2Conv5-3层内核通道跨步激活Conv5-13×3321ReLUConv5-21×3321ReLUConv5-33×1321ReLUConv61×1-1ReLUConv73×3-2-(a) 融合-ResNet(b)融合(c)参数图1:所提出的融合-ResNet(FRN)的概述。(a)融合多视图特征图的FRN架构。由视图池化分支作为快捷连接支持,(b)融合分支负责学习残差映射。(c)列出了卷积层的参数池化作为快捷连接,并添加了一个名为Fuseption的兄弟分支,负责学习底层的残差映射。融合如图1(b)所示,Fuseption是一个Inception风格的[49,50]架构,覆盖在多视图特征图之上。首先,遵循inception模块的结构[49,50],采用具有不同内核大小的三个轻量级交叉空间滤波器,3×3,1×3和3×1,以提取不同类型的特征。其次,在连接的特征图上使用的1×1卷积Conv6负责合并通道间的相关统计和降维,如[ 49,51]所建议的。融合-ResNet(FRN)。灵感来自于跳过连接的有效性在ResNet [48]中,除了Fuseption,我们还将视图池作为一种快捷方式如图1(a)所示。与负责跨视图提取最强响应的视图池分支相反[31],融合分支负责学习底层残差映射。两个接合的分支在准确性和收敛速度方面相互加强。一方面,与仅使用视图池相比,残差分支Fuseption不会保证更差的准确性。这是因为如果视图池化是最佳的,则残差可以在训练期间容易地被拉到零。另一方面,快捷分支视图池极大地加速了学习MVDesc的收敛直观地,由于视图池化分支已经提取了跨视图的基本最强响应,因此融合分支更容易仅学习残差映射。3.2学习MVDesc网络通过将所提出的FRN置于多个并行特征网络之上来构建用于学习MVDesc的网络。我们使用MatchNet [45]的特征网络作为基础,其中去除了瓶颈层和度量网络多个视图的特征网络共享对应卷积层的相同参数Conv6的通道号设置为多视图描述子与鲁棒匹配5测试错误时间0.70.60.50.40.30.20.112 3浏览次数4 532.521.510.5使用视图池0 2 4 68历元数(一)1.61.41.210.80.60.40.20(b)第(1)款(c)第(1)款图2:(a)测试我们的MVDesc网络的错误,有或没有视图池分支。使用视图池作为快捷连接有助于更快的收敛学习。(b)测试MVDesc网络的每次迭代的误差和转发时间相对于融合视图的数量。选择三个视图作为准确性和效率之间的良好权衡。(c)由所收集的SfM数据库产生的用于训练与由特征网络输出的特征图相同。ReLU激活[52]遵循每个卷积层,除了最后一个Conv7。在Conv7之后增加了一层L2归一化,其通道数可以灵活设置以调整描述符的维数。完整网络的参数详见补充材料。损失这里采用双塔连体建筑[17,53]进行训练。[54]使用双边际对比损失的公式,即:、(1)x x(||d a− d b||2− τ1,0)+(1 − y)max(τ2− ||d a− d b||2、0)、(1)其中对于正对y= 1,否则y = 0。da和db是由两个塔输出的两组多视图分块xa和xb的L2归一化MVDesc描述符。我们设置边缘τ1 = 0。3,τ2 =0。六是实验。视图编号。与[31数据准备当前可用的补丁数据集通常缺乏足够的多视图补丁用于训练。例如,最大的训练集之一Brown [55,56]仅拥有少于25k的3D点,至少有6个视图。因此,我们基于自收集的运动恢复结构(SfM)数据库准备了类似于[20]的训练数据该数据库由31个由UAV捕获的城市和农村地区的户外场景组成,并通过标准的3D重建管道进行了良好的重建[1,2,57 每个场景平均包含约900个图像和250k个轨道,其中至少有6个投影。根据SIFT尺度和方向[20],从每个轨迹的投影中裁剪出大小为64×64的多视图块,如图2(c)所示。正训练对由来自同一轨迹的两个独立的三视图块集合形成,而负训练对来自不同轨迹。从所有31个场景中均匀采样总数为1000万对的正和负比例相等的对。我们将补丁转换为灰度,将强度减去128,然后除以160 [45]。测试误差测试误差每次迭代的测试时间L. Zhou,S. Zhu,Z. Luo等人6p1p2p3C1C2q1q2cc43p四季4c2c1C3C4(a)(b)(c)(d)图3:(a)c1 4是四对点匹配。(b)定义该图以模拟c1 4之间的相邻关系。实线/虚线链接相容/不相容的相邻者。(c)4,721对推定点匹配。(d)由我们的RMBP训练 我们 使用SGD从头 开始 训练 网络, 动量 为0.9, 权重衰 减为0.0005,批量大小为256。使用指数衰减,学习率在每个时期之后下降30%,基数为0.0001。训练通常在10个时期内完成。4使用置信传播的鲁棒匹配(RMBP)在本节中,我们将致力于提高3D点匹配。首先,定义一个图形模型来描述点匹配的空间组织。其次,每个匹配对验证的推理,从图形模型通过置信度传播。值得注意的是,所提出的方法是对现有匹配算法的补充[134.1匹配模型可以容易地观察到,内围点对应性通常保持空间接近性。我们在图3(a)中说明了它,其中c1=(p1,q1),c2=(p2,q2)和c4=(p4,q4)是三对内点对应。对于任何两对内点匹配,它们在每个点云中的点要么在空间上彼此靠近,如和,要么在空间上彼此远离,如和。相反,异常值对应倾向于显示空间障碍。 这种观察暗示了相邻点对应之间的概率依赖性,其可以通过概率图来建模。形式上,我们首先定义点对应的邻域如下。两对点对应ci=(pi,qi)和cj=(pj,qj)被认为是邻居,如果pi和pj或者qi和qj是相互的k最近邻居,即、max(rank(pi, pj),rank(pj, pi)) 1,⑷或min(rank(qi, qj),rank(qj, qi))> 1,(5)C1和C2被称为不相容的邻居,因为破坏空间邻近性的两个匹配对不可能同时是内点。条件2和3中的阈值参数k被设置为相对小的值,而条件4和5中的参数l被设置为比k大相当大的余量。这些设置旨在确保识别兼容或不兼容邻居的足够严格的条件,以实现鲁棒性。基于上述点匹配的空间属性,构建底层图形模型以对相邻匹配对之间的成对交互进行图模型中的节点首先被定义为一组二元变量X={xi},每个二元变量与一对点对应。xi∈ {0, 1}分别指示作为离群点或内点的潜在状态。然后,基于上面定义的相容和不相容相邻关系形成节点之间的无向边。为了拒绝离群值,这里的目标是通过对定义的模型执行推断来计算每个点对应的内点的边缘4.2信念传播(Belief已知计算循环网络的节点上的边际的任务是NP-难的[63]。作为一种有纪律的推理算法,循环置信传播(LBP)在任意网络上提供了近似但令人信服的推理[64]。在我们的具有二进制变量和成对交互的图形网络的情况下,所有节点变量的概率分布首先被初始化为[0]。5,0。[5]没有预先施加的T然后,标准LBP算法在迭代t处的迭代消息更新步骤可以写为mt+1 =1F mY M t.(六)ijZij伊基k∈i\j在这里,Zi表示节点xi的邻居集合,Z是用于归一化的传入消息从节点X1传递到X1的消息mij是两个双向分配的向量,其中,该双向分配体现了由X1推断的X1 的 概 率 分 配 的 合 理性从节点xi的观测传递的恒定消息mi也是如此,它指示给定其观测测量(如描述符相似性)的xi的似然分布消息的第一和第二分量分别是离群值和内点的概率消息的产品是组件式的。2×2矩阵Fij是节点xi和xj的相容矩阵。基于上面分析的相邻关系L. Zhou,S. Zhu,Z. Luo等人8假设相容性矩阵有利于两个节点都是内点的可能性,如果它们是相容的邻居,则相反,如果它们是不相容的邻居。为了明确规定偏倚,相容性矩阵在两种不同情况下分别采用两种形式:ΣΣF+=111λ或F−=Σ Σλλ。(七)λ1参数λ取大于1的偏置值。为了保证LBP的一致性,Simon的条件[ 65]是满足的,并且λ的值是由下式约束的:Max|伊|·log λ<2,(8)xi∈X以这种方式,根据边界条件自适应地设置λ补充资料中详细说明了对更正的证明。在收敛之后,通过下式导出节点xi的边缘分布:1bi =Z mi Yk∈imki,(9)其统一了来自个体观察的含义和来自结构化局部邻域的信念。 在推断之后,点匹配具有低边缘(例如,<0. 5)作为异常值被丢弃。如图3(d)所示,它极大地有助于匹配精度,其中从4,721个有噪声的推定匹配对中提炼出109个真实匹配对。复杂性分析。已知LBP的复杂度与图中的边数呈线性关系[66]。条件2和条件3限制了算法的收敛度为2k,使得RMBP的上界复杂度5实验在本节中,我们首先分别评估第5.1节和第5.2节中提出的MVDesc和RMBP。然后在第5.3节中的几何配准任务上验证这两种方法。所有的实验,包括神经网络的训练和测试,在一台配备8核Intel i7-4770 K、32 GB内存和NVIDIA GTX980显卡的机器上完成。在下面的实验中,当我们说假定匹配时,我们的意思是找到两个点集之间在欧几里得空间中描述符彼此最接近的点的对应关系。匹配基于OpenBLAS实现[67]。传统的几何描述符[65.1MVDesc的评价这里的目标是将所提出的MVDesc的描述能力与最先进的补丁描述符[13,17,18]和几何描述符[6多视图描述子与鲁棒匹配9表1:HPatches基准测试的三个任务中描述符的mAP [69]。我们的MVDesc在所有三项任务SIFT [13] DeepDesc [17] [18]第十八话查看池[31]MVDesc补丁验证0.6460.7160.7920.8830.921图像匹配0.1110.1720.3090.3120.325补丁检索0.2690.3570.4140.4560.5305.1.1与补丁描述符的Setup.我们选择HPatches [69],最大的本地补丁基准之一,进行评估。它由59个案例和96,315个6视图面片集组成。首先,我们通过将6视图分成两半来将每个补丁集划分为两个子集。然后,将3视图块作为输入以生成描述符。我们在[69]中通过重新组织3视图补丁设置了三个基准任务,并使用平均精度(mAP)作为测量。对于补丁验证任务,我们收集了所有96,315个3视图补丁的正对和100,000个随机负对。对于图像匹配任务,我们将6,000个不相关的干扰项混合到每一半中后,在每种情况下的两个半组中应用推定匹配。对于补丁检索任务,我们使用完整的96,315个6视图补丁集,每个补丁集对应于作为查询的3视图补丁集和数据库中的其他3视图集。此外,我们将来自独立图像集的100,000个3视图补丁集混合到数据库中以分散注意力。我们与基线SIFT [13]和最先进的DeepDesc [17]和L2-Net [18]进行比较,为此我们从3视图补丁中随机选择单个视图为了验证我们的FRN相对于多视图融合中广泛使用的视图池[31-所有描述符的维数为128。结果表1中的统计数据显示,我们的MVDesc在所有三个任务中实现了最高的mAP。首先,它证明了我们的FRN在多视图融合方面优于视图池化[31-其次,MVDesc优于DeepDesc[17]和L2-Net[18]的改进表明了利用更多图像视图而不是单个图像视图的好处此外,我们在图4(a)中示出了图像匹配任务的mAP与我们的MVDesc的维度之间的权衡。随着维数的增加,mAP逐渐上升,但逐渐饱和。5.1.2与几何描述符的比较Setup.在这里,我们对RGB-D数据集TUM [28]的匹配任务进行评估。在[11]之后,我们从TUM的10个场景中收集了多达3,000对重叠点云碎片每个片段从50帧的独立RGB-D序列恢复我们通过SIFT3D [71]从片段中检测关键点,然后生成几何描述符,包括PFH [6],FPFH [7],SHOT [8],USC [9],3DMatch [10]和CGF [11]。我们的MVDesc是从三个随机选择的相机视图中的关键点的投影补丁中导出的为了更容易比较,MVDesc的两个维度32和128(MVDesc-32和MVDesc-128)被示出。10升。Zhou,S. Zhu,Z. Luo等人0.360.320.280.240.20.1632 64 128 256512尺寸(一)0.80.60.40.200 0.1 0.2 0.30.4距离(m)(b)第(1)款MVDesc-32CGFUSC射击3DMatchPFHFPFH图4:(a)在HPatches基准测试[69]上,我们的MVDesc的mAP与维度的权衡;(b)匹配精度的变化。TUM数据集上点距离的变化阈值[28]。128维和32维MVDesc在任何阈值表2:当点的阈值等于0时,TUM数据集[28]上的匹配的精度和召回率。1个月。还比较了编码为1,000个描述符的平均访问量。我们的MVDesc在精确度、召回率和效率CGF [11] FFPH [7][6]射击[8]3D匹配[10]南加州大学[9]MVDescDim.3233125352512198032128精度0.4470.1940.2440.3220.2780.3420.664 0.695召回0.2150.2290.2650.0930.1140.0260.523 0.580时间(s)7.601.4914.400.292.600.730.220.23MVDesc-128)。将推定匹配应用于所有片段对以获得对应性。在[11]之后,我们通过地面真实距离低于给定阈值的对应部分来衡量描述符的性能结果点的精度与w.r.t.匹配。点距离的阈值在图4(b)中示出。MVDesc-128和MVDesc-32在任何阈值下的精度均排名第一和第二,远远超过最先进的产品我们在表2中报告了将阈值设置为0.1米时的精确度和召回率由于计算局部直方图的成本,生成几何描述符通常比MVDesc慢,尽管计算已通过多线程并行加速。5.2RMBP的评价Setup.为了评估孤立点拒绝的性能,我们将RMBP与RANSAC和两个最先进的作品-稀疏匹配游戏(SMG)进行了[42]和局部保持匹配(LPM)[43]。所有的参数的方法已被调整,以给出最佳的结果。我们匹配来自TUM [27],ScanNet的[65][38]第38话我们保持恒定数量的内点对应,并不断添加离群点对应以分散注意力。评估使用以下指标:离群值拒绝的平均精度和召回率以及地图精度多视图描述子与鲁棒匹配1164RANSACSMGLPMRMBP10.950.90.850.810.80.60.40.2010080604020010.90.80.70.60.5内围比10.80.60.40.20内围比内围比内围比图5:离群值拒绝(OP,OR)和内点选择(IP,IR)的平均精确度和召回率,以及配准后的中点距离,w.r.t. inlier ratio。RMBP在所有指标和所有内围值比率下表现良好,而RANSAC,SMG [42]和LPM [43]在内围值比率下降到低于1,1和1时未能给出有效配准。8 81分别在这种情况下,我们可以选择一个更好的解决方案。通常,我们写OP=#truerejecti〇ns,OR=#truerejecti〇ns,#拒绝#离群值IP=#keeptinlie rs,IR=#keeptinlie rs。我们始终保持对传输形式的关注#保持匹配#内点从保持的匹配使用RANSAC和收集后的中值点距离登记结果相对于内围值比率的测量结果如图10所示。5.首先,RMBP是在所有指标和所有内点比率下实现高性能的唯一方法第二,RANSAC、SMG和LPM未能给出有效注册当内点比率分别下降到1、1和1以下时他们获得高88 641当内围比小于16时,OP和OR,但IP或IR较低,因为他们倾向于拒绝几乎所有的匹配。5.3几何配准在本节中,我们通过几何配准任务验证了所提出的MVDesc和RMBP的实际用途我们对从两个不同来源获得的点云数据进行操作:由RGB-D传感器扫描的点云和由多视图立体(MVS)算法重建的点云[72]。5.3.1扫描数据Setup.我们基于数据集Scan-Net [73]使用如[10,11]中的循环闭合任务,其中我们检查是否可以有效地检测和配准室内场景的两个重叠子图与[10,11]类似,我们从ScanNet的6个不同室内场景[73]建立了50个连续RGB-D帧的独立片段对于每个场景,我们收集了超过500个片段对标记的重叠从地面真理注册。结 合 各 种 描 述 符 [6-11] , 采 用 常 用 的 配 准 算 法 , 即 假 定 匹 配 加RANSAC。所提出的RMBP用作RANSAC之前的可选步骤。我们使用与[10,11]相同的度量,即片段对配准的查准率和查全率[10] A。1/5121/2561/1281/641/321/161/81/41/21/5121/2561/1281/641/321/161/81/41/21/5121/2561/1281/641/321/161/81/41/21/5121/2561/1281/641/321/161/81/41/2OP1/5121/2561/1281/641/321/161/81/41/2或IRIP中点距离(cm)1升。Zhou,S. Zhu,Z. Luo等人图6:来自ScanNet数据集的循环闭合的挑战性案例[73]。顶行中的图像指示片段对共享的非常有限的重叠。我们的MVDesc- 32+RMBP成功地注册了这些情况,而无论是否采用RMBP,性能最佳的地理度量描述符CGF-32 [11]都失败了表3:ScanNet数据集配准的3D描述符的定量比较[73]。上标 * 表示应用建议的RMBP。RMBP通常提高了几乎所有描述符的配准精度和召回率我们的MVDesc很好地超越了国家的最先进的作品召回具有可比的精度和运行时间的登记CGF [11] FFPH [7][6]射击[8]3D匹配[10]南加州大学[9]MVDescDim.3233125352512198032128精度0.9140.8250.8660.8750.8900.7900.865 0.910精密度 *0.9270.8560.8640.9280.9340.7950.892 0.906召回0.3500.1190.1470.1780.1850.1240.421 0.490召回 *0.4190.2720.3380.1980.1450.1570.482 0.513时间(s)0.50.50.71.82.48.40.50.7如果估计的欧几里德变换在配准的片段之间产生大于30%的重叠并且变换误差小于0,则配准被视为真阳性。2m.如果在RANSAC之后存在多于20对点对应,则我们将配准视为正配准。结果表3中报告了每对配准的精密度、召回率和平均时间。我们的MVDesc-32和MVDesc-128在召回率方面都超过了同行,同时具有相当的精度和效率。我们的多功能RMBP很好地提高了8个描述符中6个的精度,并提高了8个描述符中7个的召回率重叠缺陷片段的样品配准结果在图6中可视化。室内重建。MVDesc的实际使用还通过ScanNet数据集的室内重建进行了评估[73]。我们首先按照[74,75]通过RGB-D测距法建立可靠的局部片段,然后基于[15]全局注册片段。RMBP被应用于离群值过滤。[15]中使用的FPFH [7]被SIFT [13],CGF-32 [11]或MVDesc-32取代以建立对应关系。 我们还测试CGF-32和MVDesc-32的合作,结合他们的对应关系。 我们的MVDesc-32有助于视觉上引人注目的重建,如图7(a)所示。和MVDesc+RMBPCGF+RMBP多视图描述子与鲁棒匹配13SIFT CGFMVDesc(a)(b)第(1)款CGF+MVDesc图7:(a)使用我们的MVDesc-32从ScanNet [73]完整重建公寓。(b)使用SIFT[13]、CGF-32 [11]和MVDesc-32的重建。MVDesc-32和CGF-32的协作产生最佳重建,如(b)我们发现,MVDesc-32用作CGF-32的可靠补充,如图7(b)所示,特别是对于具有丰富纹理的场景。5.3.2多视图立体(MVS)数据的配准Setup.除了扫描数据外,我们还在MVS基准EPFL的四个场景上运行配准[39]。首先,我们将每个场景的摄像机在空间中分成两个集群,突出摄像机视图之间的差异,如图8所示。然后,利用每个集群的地面实况相机姿态通过MVS算法独立地重建密集点云[72]。接下来,我们通过SIFT 3D [71]检测关键点,并为每个点云生成描述符[6MVDesc-32所需的三视图补丁通过将关键点随机投影到3个可见图像视图中获得,并通过光线竞赛进行遮挡然后,通过假定匹配和RMBP滤波获得每个场景的两个最后,我们使用估计的对应关系基于FGR [15]注册每个场景的两个点云结果我们的MVDesc-32和RMBP有助于实现所有四个场景的有效配准,而包括CGF [11],3DMatch [10],FPFH [7],PFH [6],SHOT [8]和USC [9]在内的几何描述符都没有,如图所示8.研究发现,这四个场景的几何对称图案是导致故障的主要原因。我们在图9中显示了CGF-32特征[11]之间的对应关系假定的匹配已经导致位于对称位置处的关键点之间的大量模糊对应。从本质上讲,我们的RMBP无法解决这种情况下的歧义,因为对称结构中的对应仍然坚持几何一致性。最终,不明确的匹配导致水平翻转的配准结果,如图18. 至少在EPFL基准[39]中,所提出的MVDesc描述符显示出优于几何描述符的描述能力。12211升。Zhou,S. Zhu,Z. Luo等人城堡-P30入口-P10赫兹-耶稣-P25喷泉-P11图 8 : EPFL 基 准 [39] 的 模 型 配 准 。 给 定 相 同 的 关 键 点 , 我 们 的 MVDesc-32+RMBP实现了正确的配准,而CGF-32 [11]+RMBP由于几何结构城堡-P30入口-P10赫兹-耶稣-P25喷泉-P11图9:RMBP滤波前后CGF特征[11]的虚假对应关系。[39]的两个点云(黄色和红色)已通过地面真值变换叠加在一起以进行可视化。虽然我们的RMBP消除了大部分无组织的错误匹配,但它无法拒绝那些由对称几何6结论在本文中,我们解决的对应问题的点云注册。首先,已经提出了一种名为MVDesc的多视图描述符用于3D关键点的编码,其通过将图像视图的融合[31其次,已经开发了一种这两种方法已被验证为有利于形成更好的质量的点对应如密集的比较评价和配准实验所示[6谢谢。本课题得到了T22-603/15 N、香港ITC PSKL 12 EG 02和广州开发区国际科技合作专项(No. 2017GH24)。RMBP后RMBP前CGF+RMBPMVDesc +RMBP多视图描述子与鲁棒匹配15引用1. Zhu,S.,张,R.Zhou,L.,中国科学院,Shen,T.,Fang,T.,Tan,P.,Quan,L.:基于分布式运动平均的超大规模全局sfm。在:CVPR中。(2018年)2. 张,R. Zhu,S.,Shen,T.,Zhou,L.,中国科学院,Luo,Z.,Fang,T.,Quan,L.:分布式超大规模光束法平差。PAMI(2018)3. Dissanayake,M.G.,Newman,P.克拉克,S.,Durrant-Whyte,H.F.,Csorba,M.:同时定位和地图构建(slam)问题的解决方案IEEETransactio nso n Robotics andA utomatio n17(3)(2001)2294. Fraundorfer,F.,Scaramuzza,D.:视觉里程计:第二部分:匹配,鲁棒 性 , 优 化 和 应 用 。 IEEE Robotics Automation Magazine 19 ( 2 )(2012)785. 约翰逊,A.E.,Hebert,M.:在杂乱的3d场景中使用自旋图像进行有效的物体识别。PAMI 21(5)(1999)6. Rusu,R.B.,Blodow,N.,Marton,Z.C.,Beetz,M.:使用持久特征直方图对齐点云视图在:IROS. (2008年)7. Rusu,R.B.,Blodow,N.,Beetz,M.:快速点特征直方图三维配准。In:ICRA. (二零零九年)8. Tombari,F.,Salti,S.,Di Stefano,L.:用于局部表面描述的直方图的独特签名。In:ECCV. (二零一零年)9. Tombari,F.,Salti,S.,Di Stefano,L.:三维数据描述的唯一形状上下文在:ACM研讨会上的3D对象检索的会议记录。(二零一零年)10. Zeng,A.,Song,S.,Nießner,M. Fisher,M.,肖,J.,Funkhouser,T.:3dmatch:从rgb-d重建中学习局部几何描述符在:CVPR中。(2017年)11. Khoury,M.,Zhou,Q.Y.,Koltun,V.:学习紧凑的几何特征。In:ICCV.(2017年)12. 邓,H.,Birdal,T.,Ilic,S.:Ppfnet:全局上下文感知局部特征,用于鲁棒的3d点匹配。ArXiv预印本(2018)13. Lowe,D.G.:从尺度不变的关键点中提取独特的图像特征IJCV 60(2)(2004)9114. Gold,S.卢C.P. Rangarajan,A.,Pappu,S.,Mjolsness,E.:用于2D和3D点匹配的新算法:姿态估计和对应。在:神经信息处理系统的进展。(1995年)15. Zhou,Q.Y.,帕克,J.,Koltun,V.:快速全局配准。In:ECCV.(2016年)16. Georgakis,G.,Karanam,S.,吴志,Ernst,J.,Kosecka,J.:用于姿态不变3d匹配的关键点检测器和描述符的端到端学习ArXiv预印本(2018)17. Simo-Serra , E. , Trulls , E. , 费 拉 兹 湖 科 基 诺 斯 岛 Fua , P. , Moreno-Noguer,F.:深度卷积特征点描述符的判别学习。In:ICCV.(2015年)18. Tian,B.F.Y.,Wu,F.:L2-net:在欧氏空间中对判别性补丁描述符进行深度学习。在:CVPR中。(2017年)19. Han,X. Leung,T.,Jia,Y.,Sukthankar河Berg,A.C.:Matchnet:Unifying feature and metric learning for patch-based matching.在:CVPR中。(2015年)20. Yi,K.M.,Trulls,E.,莱佩蒂Fua,P.:Lift:学习的不变特征变换。In:ECCV. (2016年)21. Balntas,V.,Riba,E.,Ponsa,D.,Mikolajczyk,K.:使用三元组和浅层卷积神经网络学习局部特征在:BMVC. (2016年)22. 吴,C.,Clipp,B.,Li,X.,Frahm,J.M.,Pollefeys,M.:3d模型匹配与视点不变补丁(vip).在:CVPR中。(2008年)1升。Zhou,S. Zhu,Z. Luo等人23. Chu,J.,Nie,C.m.:基于sift特征的多视点云配准与拼接In:ICCRD.(2011年)24. Dai,A., 我是M Zollhofer,M., Izadi,S., C. :Bundlefusion:使用运行中表面重新整合来进行实时全局一致的3d重建。至36(3)(2017)2425. Endres,F.,Hess,J.,Sturm,J.,Cremers,D. Burgard,W.:用rgb-dcamera进行3-d映射。IEEETransactionRoboti cs30(1)(2014)17726. Chang,A.,Dai,A.,Funkhouser,T.,Halber,M.,Niessner,M.,Savva,M.,Song,S.,Zeng,A.,张毅:Matterport3D:从室内环境中的RGB-D数据学习。In:3DV. (2017年)27. Handa,A.,Whelan,T. McDonald,J.,Davison,A.:RGB-D视觉里程计、3D重建和SLAM的基准。In:ICRA. (2014年)28. Sturm,J.,Engelhard,N.Endres,F.,Bu
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- Aspose资源包:转PDF无水印学习工具
- Go语言控制台输入输出操作教程
- 红外遥控报警器原理及应用详解下载
- 控制卷筒纸侧面位置的先进装置技术解析
- 易语言加解密例程源码详解与实践
- SpringMVC客户管理系统:Hibernate与Bootstrap集成实践
- 深入理解JavaScript Set与WeakSet的使用
- 深入解析接收存储及发送装置的广播技术方法
- zyString模块1.0源码公开-易语言编程利器
- Android记分板UI设计:SimpleScoreboard的简洁与高效
- 量子网格列设置存储组件:开源解决方案
- 全面技术源码合集:CcVita Php Check v1.1
- 中军创易语言抢购软件:付款功能解析
- Python手动实现图像滤波教程
- MATLAB源代码实现基于DFT的量子传输分析
- 开源程序Hukoch.exe:简化食谱管理与导入功能
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功