没有合适的资源?快使用搜索试试~ 我知道了~
6667×基于高效对应聚类的多实例点云配准Weixuan Tang和Danping Zou*上海交通大学导航定位服务上海市重点实验室{weixuantang,dpzou} @ sjtu.edu.cn摘要我们解决的问题,估计多个实例的源点云内的目标点云的姿态。现有的解决方案需要对大量的假设进行采样以检测可能的实例并拒绝异常值,当实例和异常值的数量增加时,其鲁棒性和效率显著降低我们建议直接组成不同的距离不变矩阵的基础上的集群的噪声对应。通过聚类自动识别实例和离群值。我们的方法是强大的和快速的。我们在合成和真实世界的数据集上评估了我们的方法。结果表明,我们的方法可以正确注册多达20个实例,F1得分为90。在存在70%离群值的情况下,该方法的性能明显更好,比现有方法快至 少 10 倍 。 ( 源 代 码 : https://github.com/SJTU-ViSYS/multi-instant-reg)1. 介绍三维点云配准[12][48][45]主要集中在估计源点云和目标点云之间的一个单一变换。然而,我们有时可能希望估计点云之间的多个变换。例如,我们有一个物体的3D扫描,可能想要在目标点云中找到桌子上相同物体的姿势,如图1所示。这个问题,这里称为多实例点云配准,在文献中研究较少。扩展现有的点云配准方法来解决这个问题是不平凡的。主要的挑战是识别属于噪声对应集合内的不同实例的对应点的不同聚类。 一种解决方案是采用3D对象检测器或对目标点云应用实例分割。在那之后,每个人的姿势*通讯作者。本研究得到了国家自然科学基金(62073214)的资助。可以通过传统点云配准方法来估计实例然而,这种方法需要针对特定对象或类别训练检测器或分割网络[39][25],这不适用于未知对象或任意3D扫描。另一种解决方案是通过多模型拟合[32] [33] [34]或[35] [29][11]。现有的多模型拟合方法依赖于对有效假设进行抽样,当模型数较多或异常值比例较大时,需要进行大量的抽样步骤,使得算法的效率和鲁棒性大幅度下降。图1.多实例点云配准:给定对象的源点云,多实例配准需要估计目标点云内每个对象的姿态。本文针对多实例三维配准问题提出了一种鲁棒、高效的解决方案。其核心思想是根据距离不变性矩阵直接将对应点划分为不同的簇。具体而言,在使用D3Feat [7]、PREDA-TOR [26]或SIFT [31]等描述符通过特征匹配获得点对应之后,通过检查每对对应之间的距离一致性来我们发现,该矩阵的行或列向量具有强大的表示能力,可用于识别来自特定实例的对应集。因此,我们应用一个简单而有效的聚类算法来划分这些correspondences到集团。通过几个递归步骤进一步细化聚类,包括合并相似的聚类并将聚类ID重新分配给每个对应关系。最后,通过一个简单的排序策略自动识别每个实例的离群点和内点。6668我们的方法是非常有效的,因为不需要耗时的假设采样。我们已经在合成和真实世界的数据集上进行了结果表明,我们的方法比现有方法至少快十倍,同时在准确性和鲁棒性方面表现得更好。概括而言,我们的贡献包括:• 我们提出了一个有效的和强大的解决方案,多实例点云配准问题,实现了优越的性能,在准确性,鲁棒性和速度。• 我们建议使用三个指标(平均命中召回,平均命中精度,平均命中F1),以充分评估多实例点云配准的性能• 我们的解决方案可以潜在地用于3D物体的零拍摄检测,因为我们的真实世界的测试证明,strate。2. 相关工作点云配准可分为三个阶段:点匹配、离群点剔除和位姿估计。大多数工作集中在前两个阶段,因为获得正确的点对应是成功配准的关键。点匹配通常依赖于特征,无论是手工制作的特征[41] [22]还是基于学习的特征[51] [21] [24] [18] [7]。虽然最近的结果表明,后者优于手工制作的一些基准,这些功能仍然远远不能产生完美的匹配,仍然需要一个强大的离群值拒绝机制。RANSAC [23]及其变体([8] [13] [19])遵循假设和验证过程以拒绝离群值。当存在大量异常值时,这种方法需要大量的采样步骤,变得非常耗时,但仍然可能无法获得正确的模型。GORE [15]和PMC [37]试图通过几何一致性检查来减少离群值。其他方法,如FGR [52]和TEASER [48],采用鲁棒估计器直接从噪声对 应 中 求 解 变 换 。 通 过 仔 细 解 决 每 个 子 问 题 ,TEASER [48]在鲁棒性和效率方面取得了令人印象深刻的性能。也有基于学习的离群值拒绝方法。DGR[17]和3DRegNet [36]将离群值拒绝视为二元分类,并预测每个对应关系的内点概率。PointDSC [6]进一步将空间一致性嵌入到特征学习中,以更好地训练内点分类 器。 最 近, 工 作 流( 例 如 PointNetLK [1],FMR[27],DCP [45],PRNet [46],RPMNet [50])试图应用端到端学习来解决注册问题。他们还表现出令人印象深刻的性能,特别是在低重叠的情况下[26]。现有的点云配准方法大多集中在一对一的配准问题,估计两个点云之间的一个单一的转换然而,将源点云与其在目标点云中的多个实例对准的该任务不同于多路配准[16],其目标是通过成对配准[52] [17]从多个片段生成全局一致性重建。多实例配准不仅要求从噪声对应中剔除离群值,而且还要求识别单个实例的内点集,这使得它比经典配准问题更具挑战性。三维目标检测和实例分割与多实例三维配准密切相关。给定单个点云,3D对象检测[39]是为了获得每个感兴趣对象的边界框,而3D实例分割[44][25]为每个点生成实例标签虽然它们产生的结果[4] [5]类似于多实例注册,但它们需要将特定对象或类别的先验训练到网络中。相比之下,多实例配准通过直接将源实例与目标实例中的多个实例对准来处理两个点云,而不使用关于输入3D扫描内容的任何先验。多模型拟合多实例配准可以通过多模型拟合来实现,其目的是从多个模型产生的数据点估计模型参数。现有的多模型拟合方法可以分为基于聚类的方法和基于RANSAC的方法。基于聚类的方法(例如,[32] [33] [34])通过采样点初始化一个巨大的假设集,然后计算每个点关于这些假设的偏好向量。这些数据点根据其偏好向量进行聚类。最后,从不同的集群计算模型参数基于RANSAC的方法(例如[28] [9] [10] [35][29] [11])顺序运行修订的RANSAC以获得多个模型参数 。 它 们 在 每 次 迭 代 中 改 变 每 个 点 的 采 样 权 重CONSAC [29]是一种基于学习的方法,它学习对每个采样点进行加权。基于聚类和基于RANSAC的方法都依赖于有效假设的抽样当模型数目或异常值比率增加时,需要对大量假设进行采样,这使得这些算法效率很低。三维空间一致性是三维配准中离群点剔除的一个重要性质,它是通过刚性变换定义的。谱匹配[30]使用每对对应之间的长度一致性构建图,并提取最大值。6669↔↔∪ ∪∪CRk,tkC图2.多实例点云配准方法的流水线从输入对应构造距离不变性矩阵,该距离不变性矩阵用于将对应聚类到不同的聚类(聚类)中并被细化(聚类细化)。最后,从每个对应聚类中估计与每个实例相关的刚性变换(Transformations)为了处理大量的对应关系,采用了两个加法过程(下采样和上采样)。从图中剔除离群值。现有的方法,如TEASER [48],GORE [15]和PMC [37]也将空间一致性纳入其算法中。最近,罗宾[43]概括了空间概念,服从上级命令PointDSC [6]集成了空间将一致性引入端到端学习管道,以更好地回归内点概率。受这些工作的启发,我们也在我们的解决方案中采用空间consideration。与现有的在空间一致性图中应用谱聚类[30]或近似解[43]的方法不同,空间一致性图是缓慢的并且难以处理多个实例,我们采用一种有效的算法来找到对应关系中的多个实例。具体地说,我们将距离不变矩阵的行向量或列向量作为对应关系的我们的方法避免了假设采样,这是现有的多模型拟合方法的关键弱点它也不依赖于任何特定的特征来获得点对应,因此如果采用更好的特征(3D或图像特征),则性能可以进一步改善。3. 问题陈述在多实例点配准问题中,源点云X提供3D模型的实例,并且目标点云Y包含该模型的K个实例,其中这些实例是可以仅对3D模型的一部分进行采样的点的集合。如果我们将第k个实例写为Yk,则目标点云Y可以分解为Y=Y0Y1。. . YK。. . YK.在这里,我们使用Y0来表示不属于任何实例的点云部分多实例3D配准的目标是找到将源实例X对准到每个目标实例Yk的刚性变换(Rk,tk)。如果我们设法获得源实例和每个目标实例X之间的对应关系,Yk,目标点云中第k个实例的姿态,(Rk,tk),可以从通过最小化对准误差的总和来确定对应关系X Yk的集合(1)[2]:minyki−(Rkxi+tk)<$2.(一)我考虑我们已经获得了一组对应关系之间的源和目标点云。多实例配准任务的关键是将这些对应关系分类到与不同实例相关的单独集合中,即,C= C0C1···CK.(二)这里,0用于表示离群值的集合。正如我们所看到的,多实例注册不仅需要拒绝离群对应,而且还需要解决来自不同实例的对应的模糊性。这项任务并不容易,因为所有的实例看起来都一样,而且通常存在许多异常值对应。4. 方法所提出的方法的概述如图所示二、我们的方法以点对应作为输入.然后通过检验对应关系之间的距离一致性构造一个不变一致性矩阵。接下来,通过将列或行向量视为这些对应的“特征”,这些对应被快速聚类到不同的组中。通过凝聚聚类有效地完成聚类,通过交替合并类似的transformations和重新分配几个迭代的集群标签可选地,我们应用下采样和上采样过程来处理当对应的数量很大时的情况详细信息见下一节。4.1. 不变矩阵相容向量&距离不变性已经在3D配准中探索了很多年[48] [43][30],它描述了两点之间的距离保持不变6670↔↔ǁ− ǁǁ−ǁ′d−C→→C ∈ C∈ C →→∈ C··ijijij ijIjCC−←经过严格的改造后保持不变。也就是说,如果ci:xiyi和cj:xjyj是两个真正的对应关系,它们应该有Gij=|dij−d′ij|<δ(3)其中dij=xixj,d′ij=yiyj,δ是考虑噪声的阈值。因此,dij和d′ij之间的差异可以用作测试是否存在离群值或两个对应是否来自不同的度量刚性变换我们不使用(3)中定义的绝对差异,而是按照[14]分配一个分数,通过定义通信。属于同一刚性变换的对应具有相似的特征。因此,基于这些相容性向量,我们可以将来自不同实例的对应性聚类到与内点相关的不同组中。4.2. 快速对应聚类我们以自下而上的方式对对应进行聚类,这比示例方法采用的谱聚类要快得多[37] [43]。一开始,每个对应都被视为一个单独的组。然后,我们重复合并两个距离最小的组,直到G=s2,s= min(dijIJ迪季、国际新闻报)∈(0,1).(四)两 个 组 之 间 的 最 小 距 离 大 于 给 定 值(min_dist_thresh)。定义组之间距离的方式产生不同风格的算法。距离不变性矩阵G(其中我们令Gii=1)可以通过计算所有对应对之间的分数来获得。距离不变性矩阵是对称的,其中每一列或行是描述给定对应与其他对应之间的兼容性的向量[49]。我们将列向量G i=(G i1,. - 是的- 是的,Gij,.- 是的- 是的)T作为对应关系ci的相容性向量。 我们观察到,如果两个对应关系属于同一个实例,他们的兼容性向量有相似的模式。考虑tw o对应关系ci,cjS. 对于任意y对应cks,由于距离不变性,我们有Gik1,Gjk1对于其他对应c k/s,我们可能有G ik0,G jk0的情况。 换句话说,Gi,Gj具有相似的0 - 1模式。相反,如果两个对应属于不同的实例,则它们的兼容性向量非常不同。为了更好地理解这一观察结果,我们在图3中举例说明了一个简单的例子。图3.距离不变性矩阵中的列向量(相容性向量)包含了与物质相关的丰富信息. 这里Gi、Gj表示第i个和第j个对应的相容向量,它们都在实例1中。我们观察到Gi与Gj相似。 由于第k个对应关系在不同的实例3内,因此,G i与G k显著不同。这里0表示离群值的集合。详情请参阅第4.1节。对应关系的兼容性向量可以被视为该对应关系的特征表示或“特征”。我们遵循[32]来定义距离。 设pi,pj是两个群i和j的表示向量,群距离定义为:d(p,p)= 1<$pi,pj <$.(五)pi如果两个组合并,则新组的表示向量更新为pimin(pi,pj),其中min()表示对两个向量的每个维度取最小值。在聚类开始时,一个组(只包含一个对应)的表示向量4.3. 递归聚类细化在凝聚聚类之后,我们通过重复以下步骤来进一步细化结果,直到没有变化发生。步骤1.从对应数大于阈值α的聚类估计刚性变换。步骤2.合并相似的转换。这一步将在下一节中解释。步骤3.为每个对应项重新分配群集标签。每个对应关系被分配给变换,在那里它的对准误差是最小的如果在所有变换上的最小对准误差大于内点阈值,则对应性被标记为离群值。在迭代过程中,对应关系变得越来越集中,因此我们可以在步骤1中调整α以增加离群值拒绝的强度。我们使用以下策略在每次迭代中更新αα←min(α0×θn−1,[N/100]),(6)其中n表示第n次迭代,N是对应的数量,[ ]是舍入运算。我们在实验中设置α0=3和θ=3。在我们的实验中,精化过程通常在三次迭代内收敛,因此它也是高效的。6671ǁ −ǁ∼∼∼4.4. 合并重复的转换有时,从不同的集群生成类似的转换,这意味着它们可能属于同一个实例。在这种情况下,我们需要将它们给定两个估计的变换(R1,t1)和(R2,t2 ) , 我 们 计 算 每个对应的对 齐 误 差 , 即 eki=yi(Rkxi+tk)2,(k=1,2)。接下来,如果e ki内点阈值,则设置p ki=1<,否则设置p ki=0。这样,我们得到了两个变换的两个二元集P1,P2. 合并这两个转换的标准是IOU=|P1和P2|/|P1和P2|≥80%。(七)如 果 这 个 标 准 得 到 满 足 , 我 们 放 弃 了 两 个transformations与更多的离群值(pki=0)之一然后根据所有变换中对齐误差最小的一个,重新分配聚类标签给每个对应。4.5. 从聚类中聚类后,我们需要从这些对应簇中提取刚性变换。由于我们不知道目标点云中实例的真实数量,因此需要自动选择那些内点聚类。我们首先选择其元素数量大于阈值(在我们的实验中为10)的内点聚类,并从这些聚类中估计变换。接下来,我们按照它们的内围值以降序对变换进行排序。一个变换的内点越多,它与真实实例相关联的机会就越高。最后,我们通过以下方式检查转换与第一个转换(具有最多内围值)之间的内围值数量的下降率:γk=#Ik/#I0,k=1,2,. -是的-是的(八)其中#Ik表示第k次变换的内点的数量。我们忽略k之后的所有变换,如果γ k<=γ阈值γ阈值可以改变,以在查全率和查准率之间进行权衡。4.6. 处理大量信件当输入对应关系的数量很大时,计算距离不变性矩阵和聚类对应关系都我们添加了下采样和上采样过程来解决这个问题。在构造距离不变性矩阵之前运行下采样过程,这是通过随机采样固定数量的对应关系(在我们的实施方式中为1024)以用于进一步处理来完成的上采样过程在对所选择的对应进行聚类之后运行如第4.3节(步骤3)所述,通过选择具有最小对齐误差的变换来完成分配5. 实验我们通过将我们的方法与三种最先进的多模型拟合方法进行比较,在合成和真实世界的数据集上进行实验:T-linkage(2014)[32],Progressive-X(2019)[10]和CONSAC(2020)[29] 第 10 段 。 其 他 多 模 型 拟 合 方 法 : RPA [33] 和RansaCov [34] 运 行 我 们 的 实 验 非 常 慢 ( 需 要 几 个月),因此我们不包括它们。我们还提供了最先进的一对一配准方法TEASER(2020)[48]的结果以供比较。我们仔细地调整了所有的方法,以在合理的时间和内存消耗内在评估数据集上实现最佳性能。为了公平比较,所有方法都采用相同的点对应集作为输入。我们在Pytorch中实现了我们的算法[38]。T-linkage和Progressive-X是纯CPU算法,而CON-SAC是在GPU上运行的基于学习的方法。我们 在相同的CPU(IntelCore i7- 8700 K ) 上运 行 我们 的 算 法, T-linkage 和Progressive-X,以 及相同 的GPU(GTX 1080Ti)与CONSAC。我们的方法有三个参数,其中设置为最小距离阈值=0。2,内点阈值=0。3和γ thresh=0。5、我们的实验所有点云都在0. 05m体素大小。我们的方法是不敏感的参数变化的烧蚀研究中所示的补充材料。由于一对一注册所使用的度量不能用于多实例设置,我们采用检索任务中的三个度量进行评估:MHR(Mean Hit Re-call),MHP(Mean Hit Precision),MHF 1(Mean Hit F1)。其定义见补充材料。5.1. 合成数据集我们从PointNet++ [40]的预采样Modelnet40数据集[47]生成合成数据集。我们将每个点云降采样为256个点,并随机生成K(在我们的测试中多达20个)变换以形成目标点云。目标点云还与其他对象和随机点混合,以更好地模拟真实世界的情况。合成对应在这个测试中,我们通过混合真实值和异常值直接生成输入对应。测试了不同的离群值比率,10% 50%、50% 70%和70% 90%。请注意,离群值在每个测试样本的给定范围内随机抽样。结果示于表1中。随着离群值比率的增加,几乎所有方法的性能都会下降,但我们的方法下降缓慢,并且仍然明显优于其他方法。我们的算法比现有的方法在CPU或GPU上快10倍。我们还策划6672∼∼∼∼↑ ↑ ↑↓↑↓(a) 输入对应(异常值比率:95。(b)我们的聚类结果(c)我们的(d)T-Linkage(2014)[32](e)Progressive-X(2019)[10](f)CONSAC(2020)[29](g)TEASER(2020)[48]图4. 合成数据集的结果。(a)通过匹配捕食者[26]特征输入对应关系。内值和离群值分别以绿色和红色显示。(b)我们的聚类结果通过不同的颜色可视化(仅显示内点)。在(c-g)中,我们在红色框中可视化估计的姿态,在绿色框中可视化地面实况姿态。我们的方法(c)注册所有实例。T-linkage(d)和CONSAC(f)无法注册任何实例。Progressive-X(e)注册2个实例,但产生错误注册。TEASER(g)注册一个实例。我们的方法的MHF 1(平均命中F1)曲线在图5(a)中的20个实例中具有不同的离群值比率。虽然当异常值比率很大时,算法的性能会迅速下降,但仍能达到90。46%MHF 1,异常值比率为70%。图5(b)显示了具有不同实例数的MHF 1曲线,固定离群值比率为50%。我们的方法的MHF 1约为92。73%,即使存在30个公制MHR(%)MHP(%)MHF 1(%) 时间异常值比率:10%百分之五十T型连杆3.05 14.80 4.65 57.27Progressive-X 27.91 80.28 41.04 87.252007年12月31日我们的96.08 99.73 97.03 0.62/0.30离群值比率:50%百分之七十T型连杆1.33 7.00 2.05 56.90Progressive-X 20.60 75.10 31.70 85.542009 - 2009两年期预算我们的93.99 99.49 95.51 0.55/0.28离群值比率:70%百分之九十T型连杆0.81 4.42 1.25 56.89Progressive-X 12.88 62.60 20.73 84.52000 - 2001两年期预算我们的60.39 94.42 69.36 0.50/0.24离群值比率:90%百分之九十九T型连杆0.28 1.30 0.42 56.69Progressive-X 7.13 39.19 11.67 84.432005年12月31日我们的14.70 65.20 22.75 0.47/0.21表1.具有不同异常值比率的合成对应的结果。表示越大越好,而表示相反。给出了该方法在CPU/GPU上的运行时间(a)(b)第(1)款图5. (a)平均命中F1与离群值比率。(b)平均命中F1与重复次数(固定离群值比率50%)。通过特征匹配的对应关系在该测试中,我们应用特征匹配来通过PREDATOR [26]和D3Feat [7]获得点对应关系两个特征模型都是在合成数据上训练的。结果示于表2中。请注意,这两个特征产生的对应关系具有大于90%的高离群值比率。在这种情况下,我们的方法仍然表现得很好,比现有的方法在鲁棒性和效率方面更好。使用D3Feat的结果比使用PREDATOR的结果差得多原因是,这不仅是因为存在更多的离群值,而且还因为我们检查结果时丢失了内点。我们在图4中可视化了一些结果。5.2. 基准数据集Scan2CAD [3]是一个基准数据集,它将ShapeNet [42]CAD模型与ScanNet [20]点云中的对象实例对齐。一些扫描具有若干对齐的CAD模型,其具有注释姿态。我们选择包含多个CAD模型的扫描作为目标点云6673∼(a) 输入对应(b)我们的聚类结果(c)我们的(d)T-linkage(2014)[32](e)Progressive-X(2019)[10](f)CONSAC(2020)[29](g)TEASER(2020)[48]图6. Scan2CAD结果。(a)通过匹配捕食者[26]特征输入对应关系。内值和离群值分别以绿色和红色显示。(b)我们的聚类结果通过不同的颜色可视化(仅显示内点)。在(c-g)中,我们在红色框中可视化估计的姿态,在绿色框中可视化地面实况姿态。我们的方法(c)正确地对齐了8个实例。T-Linkage(d)和CONSAC(f)无法注册任何实例。Progressive-X(e)注册3个实例。TEASER(g)注册一个实例。(a)输入对应(b)我们的聚类结果(c)我们的(d)T-linkage(2014)[32](e)Progressive-X(2019)[10](f)CONSAC(2020)[29](g)TEASER(2020)[48]图7. Scan2CAD结果。我们的方法(c)在16把椅子中注册了13个实例。Progressive-X(e)注册2个实例,但其中一个具有较大的姿势误差。CONSAC(f)和TEASER(g)对齐一个实例。T-Linkage(d)无法注册任何实例。并从CAD模型中采样源点云进行测试。我们生成173个样本用于配准测试,其中大多数样本包含2个5例。注意在每个点云中,Scan2CAD只标注了部分实例。这意味着我们不能正确地评估性能,如精度和召回使用部分注释的姿势。为了解决这个问题,我们只在目标点云中的注释对象的地面实况边界框内匹配点,以生成对应关系。类似地,我们使用PREDATOR [26]和D3Feat [7]进行点匹配,其中两者都使用来自Scan2CAD 数 据 集 。 结 果 示 于 表 3 中 。 当 使 用PREDATOR时,我们的方法比现有的方法表现得更好请注意,当使用D3Feat时,所有方法的性能都很差。在我们仔细检查结果后,我们发现原因不仅是高离群值比率(约97. 25%),而且使用D3Feat时缺乏足够的内点,即使特征匹配被限制在目标点云中的地面实况边界框内。图6和图7显示了一些结果。我们还通过将边界框放大1来评估我们的方法的性能。5×,2. 0×,4。0×。当框大小调整为4×时,目标6674↑ ↑ ↑↓公制MHR(%)↑ MHP(%)↑ MHF 1(%)↑时间(s)↓Preda职权范围(估计离群值比率:94。32%)T型连杆0.190.540.2743.46Progressive-X15.9031.0118.9886.39CONSAC0.10.070.087.65我们53.3961.4451.801.28/0.48T型连杆D3Fea0.07t(估计输出0.29肝细胞比率:99。0.130%)56.37(a)KitKat(b)沃森Progressive-X4.2915.285.9487.22CONSAC0.130.040.059.53我们16.9827.0517.910.68/0.30表2.使用特征匹配生成对应关系的合成数据结果。图4显示了一些结果。公制MHR(%)MHP(%)MHF 1(%) 时间捕食者(估计离群值比率:76。44%)T型2.463.792.711655.0Progressive-X 11.58 6.86 7.87 26.322.66 0.35我们31.63 29.23 27.04 1.46/0.51D3Feat(估计离群值比率:97。25%)T型连杆0.040.220.062178.43Progressive-X0.670.300.428.48CONSAC00021.88我们0.290.040.072.13/0.89表3. Scan2CAD基准数据集上的结果。点云几乎是原始扫描。基于PREDATOR特征的结果如表4所示。当包含更多的背景点时,特征匹配变得更具挑战性,产生高度噪声的对应关系,这使得我们的方法的MHF 1(Mean Hit F1)显著降低。(c)士力架(d)脆图8. RGB-D扫描的真实世界测试。从单个对象的深度扫描中提取源点云目标点云由从相机视点捕获的深度扫描构造。6. 限制我们的方法的性能依赖于点对应的质量。不幸的是,我们发现,使用最先进的3D功能,如D3 Feat和PREDA-TOR产生不令人满意的对应关系,虽然他们在一些基准测试中表现出良好的性能。为了提高对应质量,我们必须在实验中为每个数据集训练这些特征。即使这样做,离群值比率仍然非常高,有时在某些情况下(特别是使用D3Feat时)会丢失内值,这会显著降低正如实验所显示的那样。因此,3D特征是包装盒尺寸MHR(%)↑MHP(%)↑MHF 1(%)↑时间(秒)↓1.5(94. 50%)40.58 12.6116.640.632(95. 97%)12.351.374(98. 7.25 6.284.923.86表4.在Scan2CAD数据集上使用不同大小的边界框进行特征匹配的结果估计的离群值比率列在方框大小后的括号中。GPU时间列在最后一列。5.3.真实世界的测试我们使用RGB-D相机(Intel D455)来捕获点云序列(桌子上的一堆对象),并应用我们的算法将特定对象的3D扫描与目标RGB-D扫描中的多个实例对齐由于颜色信息是可用的,我们使用SIFT特征来生成3D点对应。然后,我们应用我们的算法来提取每个对象的姿态。图8显示了一些结果。虽然表是杂乱的不同的对象,我们的方法可以正确地对齐源3D扫描多达十个实例几乎实时(约0。每帧2s)。更多的结果可以在补充材料中找到。这是一个需要大大改进的瓶颈。另一个限制是,距离不变性是一个弱规则,不能很好地适用于噪声点云,有时不足以拒绝接近内点的离群点,这也可能降低我们的方法的性能一种可能的解决方案是寻求更好的不变性7. 结论本文提出了多实例三维配准的新任务。 我们发现列向量距离不变性矩阵编码关于对应关系所涉及的实例在此基础上,我们利用凝聚算法将对应关系有效地聚类到不同的组中,并通过多次迭代来细化结果。在合成数据集、基准数据集和真实数据集上的实验结果表明,该方法在鲁棒性、准确性和效率方面明显优于现有方法。虽然我们的解决方案还远未达到完美的讨论,我们希望我们的工作可以启发未来的研究这个话题。6675引用[1] 青木康弘,亨特·戈福斯,兰加普拉萨德·阿伦·斯里瓦特山,西蒙·露西. Pointnetlk:使用pointnet的鲁棒高效点云配准。在CVPR中,第7163- 7172页,2019年。2[2] K.S. Arun,T.S. Huang和S. D.布洛斯坦两个三维点集的最小二乘拟合。IEEE TPAMI,PAMI-9(5):6983[3] Armen Avetisyan , Manuel Dahnert , Angela Dai ,Manolis Savva , Angel X Chang 和 Matthias Niessner 。Scan 2cad:学习rgb-d扫描中的cad模型对齐。在CVPR中,第2614-2623页,2019年。6[4] Armen Avetisyan ,Angela Dai,and Matthias Niessner.三维扫描中端到端cad模型检索和9dof对齐在ICCV,第2551-2560页,2019年。2[5] ArmenAvetisyan , TatianaKhanova , ChristopherChoy , Den- ver Dash , Angela Dai , and MatthiasNiessner.Scenecad:预测rgb-d扫描中的对象对齐和布局。见《欧洲法院刑事诉讼法典》,第596-612页。Springer,2020年。2[6] Xuyang Bai,Zixin Luo,Lei Zhou,Hongkai Chen,LeiLi , Zeyu Hu , Hongbo Fu , and Chiew-Lan Tai.Pointdsc:使用深度空间一致性的Ro-bust点云配准。CVPR,2021年。二、三、八[7] 白旭 阳、 罗紫 欣、 周磊 、符洪 波、 龙泉 、戴 洁兰D3feat:3d局部特征的密集检测和描述的联合学习CVPR,2020年。一、二、六、七[8] 丹尼尔·巴拉斯和吉瑞·麦塔斯图形切割ransac 。在CVPR,2018年。2[9] 丹尼尔·巴拉斯和吉瑞·麦塔斯基于能量最小化和模式搜索的多类模型拟合。在Vittorio Ferrari、Martial Hebert、Cristian Sminchisescu和Yair Weiss的编辑中,ECCV,第229-245页Springer International Publishing. 2[10] 丹尼尔·巴拉斯和吉瑞·麦塔斯Progressive-x:高效、随时、多模型拟合算法。在ICCV,第3780- 3788页,2019年。二五六七[11] 丹尼尔·巴拉斯,丹尼斯·罗祖姆尼,伊万·艾哈特,莱文特·哈杰尔,和吉瑞·马塔斯.Progressive-x+:在consensus空间中进行聚类。 arXiv预印本arXiv:2103.13875,2021。 一、二[12] P.J. Besl和Neil D.麦凯一种三维形状配准方法。IEEETPAMI,14(2):239-256,1992年。1[13] EricBrachmann 和 CarstenRother 。 Neural-guidedransac:学习在哪里采样模型假设。在ICCV,2019年。2[14] 安德斯·格连特·布赫、杨扬、诺伯特·克鲁格和亨里克·戈登·彼得森。搜索内点:局部和全局投票的三维对应。在CVPR,第2075-2082页,2014年。4[15] Alvaro Parra Bustos和Tat-Jun Chin。保证离群点去除点云配准与对应。IEEE TPAMI,40(12):2868-2882,2017。二、三[16] Sungjoon Choi,Qian-Yi Zhou,and Vladlen Koltun.室内场景的鲁棒重建在CVPR中,第55562[17] Christopher Choy,Wei Dong,and Vladlen Koltun.深度全局配准。CVPR,第2511-2520页,2020年。2[18] Christopher Choy,Jaesik Park和Vladlen Koltun。完全卷积几何特征。在ICCV,第8958- 8966页,2019年。2[19] Ondrej Chum,Jiri Matas,和Josef Kittler.局部优化的ransac。载于2003年大会专题讨论会。2[20] Angela Dai 、Angel X Chang、Manolis Savva 、MaciejHal- ber 、 Thomas Funkhouser 和 Matthias Nießner 。Scannet:室内场景的丰富注释3D重建。在CVPR中,第5828-5839页,2017年。6[21] Haowen Deng,Tolga Birdal,and Slobodan Ilic. Ppfnet:全局上下文感知局部特征,用于鲁棒的3d点匹配。CVPR,第195-205页,2018年。2[22] Bertram Drost Markus Ulrich Nassir Navab 和 SlobodanIlic。全局建模,局部匹配:高效、鲁棒的3D物体识别。见CVPR,第998-1005页。IEEE,2010年。2[23] Martin A Fischler和Robert C Bolles。随机样本一致性:模 型 拟 合 与 图 像 分 析 和 自 动 制 图 应 用 范 例 。Communications of the ACM,24(6):381-395,1981.2[24] 周彩发,詹戈伊契奇.Wegner和Andreas Wieser。完美匹配:平滑密度的三维点云匹配。CVPR,2019年-2019年6月:5540-5549。2[25] 雷寒、天正、蓝旭、陆方。Occuseg:占用感知3D实例分割。在CVPR中,第2940-2949页一、二[26] Shengyu Huang , Zan Gojcic , Mikhail Usvyatsov ,Andreas Wieser,and Konrad Schindler. Predator:3D点云低重叠的配准。在CVPR中,第4267-4276页,2021年。一、二、六、七[27] 黄晓水、梅国丰、张建。特征度量配准:一种快速的半监督方法,用于无对应的鲁棒点云配准。在CVPR,2020年6月。2[28] Hossam Isack和Yuri Boykov基于能量的几何多模型拟合。IJCV,97(2):123-147,2012. 2[29] Florian Kluger,Eric Brachmann,Hanno Ackermann,Carsten Rother , Michael Ying Yang , and BodoRosenhahn. Consac:通过条件样本一致性进行稳健的多模型拟合。在CVPR,2020年。一、二、五、六、七[30] 马里斯·里奥迪努和马夏尔·赫伯特使用成对约束的对应问题的谱技术。2005. 二、三[31] 大卫·G·洛从尺度不变关键点中提取独特的图像特征。IJCV,60(2):91-110,2004. 1[32] Luca Magri和Andrea Fusiello。T-连接:用于多模型拟合的j-连接的连续松弛。CVPR,第3954-3961页,2014年。一、二、四、五、六、七[33] Luca Magri和Andrea Fusiello。具有偏好分析和低秩近似的鲁棒多模型拟合BMVC,第20.1-20.12页,2015年。一、二、五[34] Luca Magri和Andrea Fusiello。作为集合覆盖问题的多模型拟合在CVPR中,第3318-3326页,2016年。一、二、五[35] Luca Magri和Andrea Fusiello。多类级联t-连接拟合多个异质模型。在CVPR中,第7460-7468页,2019年。一、二6676[36] G Dias Pais , Srikumar Ramalingam
下载后可阅读完整内容,剩余1页未读,立即下载
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)