多模态彩色点云与图像对齐方法及其应用

6656多模态彩色点云与图像对齐Noam Rotstein Amit Bracha Ron KimmelTechnion -以色列理工{snoamr，amit.bracha，ron}@ cs.technion.ac.il摘要使用监督学习从图像重建几何结构受到有限的可用精确数据量的影响。这种数据的一种类型是准确的真实世界RGB-D图像。获取这种地面实况数据的主要挑战是RGB图像与由深度扫描仪测量的点云之间的准确对准。为了克服这个困难，我们考虑了一种差分优化方法，通过迭代几何和颜色匹配将彩色在所提出的框架中，优化最小化点云的颜色和图像像素的对应颜色之间的光度差异。与其他试图减小这种光度误差的方法不同，我们分析了像平面上梯度的计算，并提出了一种不同的直接方案。我们假设由几何扫描仪相机和彩色相机传感器产生的颜色是不同的，并且因此由不同的色彩采集属性表征在这些多模态条件下，我们找到相机图像和点云颜色之间的转换。我们交替优化对齐点云的位置和匹配不同的颜色空间。所提出的方法产生的路线都证明了与定量评价的合成数据和真实场景与定性结果。1. 介绍近年来，三维形状重建的研究取得了巨大的进展。该领域的大部分研究集中在从IR或RGB图像的形状重建。已经提出了多种方法，其中包括从立体和单目深度估计的形状。最近，社区的焦点转向了监督式深度学习方法[9，12，13，19，31，44，48，59，60]。深度学习严重依赖由于这样的数据集很难获得，大多数作品使用合成数据集来训练验证他们的模型然而，这些数据集是有限的，因为它们不捕捉真实世界的属性，如失真和噪声。此外，深度学习方法的使用可能需要每个相机模型的特定训练数据，因为形状重建算法对模型属性和伪影敏感。获取精确地面实况深度的一种解决方案是使用精确但通常缓慢的深度测量设备，例如3D激光扫描仪。使用这样的设备来获取所需相机模型的精确深度值需要相对于相机的设备姿态进行配准。将设备放置在相对于相机的固定和校准位置通常不适合此任务。这种设置存在技术困难，需要持续维护[20]。精确的激光扫描仪通常需要很长的扫描时间来扫描给定的场景。因此，为了创建大规模数据集，对于每个深度扫描应当获取多个图像。这意味着必须在每个图像坐标系和扫描仪坐标系之间找到3D由这些设备中的一些设备提供的几何信息和颜色纹理然而，这种配准面临着多模态的挑战更具体地说，通过比较使用不同设备拍摄的两张图像不同的设备具有不同的颜色特性，通常称为色域。当两个设备捕获同一场景时，每个设备的捕获颜色空间是不同的。这就是我们的工作试图解决的问题。如何在多模态条件下将彩色点云与彩色图像精确对齐。多模态对齐任务，这是至关重要的生产准确和可靠的几何数据，尚未直接探讨。虽然可以很容易地找到粗略的对齐，但需要精确的对齐来构建适当的几何数据集。因此，在本文中，我们专注于完善这样的对齐。直接的视觉测程方法可以被修改以用于我们的任务。这些方法主要用于SLAM、光流和颜色映射。这些方法试图最小化6657点图像平面相机y1p+ Γ1点图像颜色颜色&点图像颜色颜色…（a）（b）（c）（d）（e）图1.为简单起见，拟议框架在单一模式下的单一点上运作。(a)将点投影到图像平面上。(b)检查点颜色与投影位置处的图像颜色之间的光度学差异。与投影不同，图像平面上的颜色不是直接可微的。在图像平面上创建差分曲面。(c)使用微分计算平移参数的梯度，并在梯度方向上执行一步（d）迭代地移动该(e)当点颜色和投影点位置处的图像颜色之间的光度误差最小时停止。在点云中有许多点的情况下，更新也适用于旋转参数。基于所估计的场景几何形状的对应像素之间的光度误差。然而，与我们的任务不同，这些方法对齐由同一设备获取的图像与以前的方法相比，使用直接数值亚像素方案来近似图像平面中的梯度。我们证明，通常使用的方法来计算这样的梯度是等价于评估一个模糊的图像的梯度。为了克服多峰性，我们还提出了一个二阶多项式颜色转换之间的点云颜色和图像颜色。这种方法很少用于颜色变换。所提出的方法产生国家的最先进的多模态彩色点云图像对齐的结果。2. 相关努力对准和配准已经在许多不同的方向和设置中进行了深入的研究。 之一最基本的任务是两个点云之间的3D到3D对准最常见的解决方案是迭代最近点算法（ICP）[4，10]。该算法的许多改进和变化已被提出[5，27，47，52]。其他研究提出使用额外的RGB颜色信息[26，38，50]或色调值[46]对齐彩色3D点云。2D到2D图像配准的任务也已被广泛探索并用于许多应用中。最流行的方法是在两个图像中找到对应点，然后确定它们之间的变换[11]。寻找对应点的两种主要方法是基于强度的方法和基于特征的方法。耗氧物质基于强度的对齐方法比较图像和图像块中的强度模式[21，49]。基于特征的方法提取每个图像中的特征[1，3，42，54]，然后进行匹配。然后从对应的匹配中导出图像坐标之间的映射。虽然3D到3D和2D到2D任务已经被彻底探索，但我们要解决一个不同的挑战。我们感兴趣的是将3D几何形状的颜色拟合到2D图像。这样的过程[28]使用边缘成本和自由空间成本将3D点云与开销图像对齐。基于视觉的定位（VBL）是一个试图相对于已知3D模型近似相机姿态的领域[51]。最常用的方法是使用图像特征描述器。在查询图像上提取特征，并将其与3D坐标耦合的特征进行比较。然后，使用Perspective-n-Point（PSPOT）算法[40，43]进行注册。与我们专注于精确配准的任务相反，大多数VBL论文和基准测试都专注于图像特征与大规模几何模型特征之间的高效快速匹配[18，41，55]。有一些方法可以与所提出的方法相关联，用于姿势优化。Zhou和Koltun提出将多个图像与无色点云对齐[61]。与我们提出的方法相反，它们需要一些图像，优化大量参数以找到点的颜色，并在单一模态设置下操作。Pulli等人通过最小化两个图像平面上的颜色和范围来对齐两个彩色点云[53]，也是在单一模态假设下 。 这 些 方 法 可 以 被 归 类 为 直 接 视 觉 里 程 计（DVO）。它们通过最小化光度重投影误差，直接在图像强度上优化几何结构，/211$y//211p+$Γ/0点图像颜色颜色6658j=1j=1≈→∈∈|−|∈∈联系我们补间图像。这些技术用于相机本地化[15，33，57]、使用RGB-D相机的同时定位和映射（SLAM）[2，32]、使用立体相机的SLAM [17]以及使用单目相机的SLAM [16]。用于SLAM的一些算法估计地理模型以执行配准。因此，尽管这些算法试图配准2D图像，但它们的过程可能与我们的任务有关SLAM和所解决的问题之间的一个关键区别此外，我们使用不同的直接数值梯度近似方案，导致对齐的显着改善。其他SLAM方法试图结合其3D坐标在图像中的特征之间进行匹配[6]。与这些在对齐图像时优化几何模型的方法不同，我们受益于可以对我们有利的精确几何模型。一些DVO方法尝试在执行对准时执行仿射照明校正[17]或优化伽马校正[15]。然而，这些方法首先是...mial回归模型满足我们目标的必要要求。几个实验研究了多项式阶数对颜色转换成功的影响[24，58]。从这些实验中可以得出结论，使用的阶数越高，结果越好。实际上，二阶模型被证明以低计算成本提供3. 刚性对齐和颜色匹配在本节中，我们将展示如何直接将彩色点云与给定场景的透视图像对齐。我们假设一个针孔相机模型与已知的内在参数。我们的模型利用了这样一个事实，即自然图像中的邻近像素往往具有相似的颜色，并且颜色变化缓慢而渐进。我们在优化方案中通过移动点云来利用该属性，使得其颜色与投影点位置上的图像的颜色相匹配。为了简单起见，我们首先考虑点云的颜色和图像的颜色由同一设备捕获并且共享相同的将RGB值转换为灰度。我们的目标是在色域我们表示点云{x j}n∈Rn×3多模式环境并比较来自不同设备的颜色值。这种比较需要颜色操作。这样的操作已经被广泛探索，但尚未被用于姿态估计。该问题可以被看作是色域映射问题，其中的任务是找到从输入到输出设备的彩色图像的变换。这样的解决方案的示例是空间相关的色域映射[37，45]。Sochen等人显示了不同的颜色感知模型，解释为颜色空间的几何学，如何导致不同的增强处理方案[56]。这一领域的大部分工作都集中在颜色之间的感知关系上，而不是它们的精确值。就我们而言，这些解决方案是不合适的，因为我们的问题需要对它们的价值进行定量比较。图像颜色处理的经典方法是直方图均衡化。Caselles等人尝试克服直方图修改有时不能通过在图像的连接分量上局部执行它来产生良好对比度的事实[8]。这些方法成功地提高了图像对比度，但并不是为了分析比较颜色值而设计的。具体来说，它们不考虑不同图像中对应像素之间的颜色关系。许多论文试图在将RGB信号转换为标准CIE三色值时进行色彩匹配。典型的方法包括插值三维查找表[25]，神经网络[30]和多项式回归模型[29]。可微性缺乏我们的任务所必需的可微性。在我们提出的方法中，每次迭代都要计算要匹配的相应颜色，因此每次训练神经网络不是一个可行的解决方案。相反，波利诺-在XYZ空间中，其颜色cjnRn×3，在RGB空间中。 投影到图像平面上的点的2D坐标由pj表示R2.图像I：R2R3在pj处的颜色由I（pj ）给定。使用前面的符号，当一个点对齐时，cjI（pj）。请注意，与图像平面不同，点云到平面上的透视投影是一个简单的可重复操作。为了得到一个完全可微的过程，我们定义了一个可微曲面。在第3.2节中讨论和分析了该表面。在所提出的过程中，差异取决于3D点坐标。 对于一个点的情况，我们计算3D平移ΓR3，其中R 3中的点的坐标是xj+Γ。因此，差异可由 Γ 微 分 。 我 们 使 用 迭 代 优 化 过 程 来 找 到 使I（pj+γ）最小化的平移Γ其中，γR2是xj+ r在平面上的投影位置（见图1）。给定一个包含n个点的点云，我们重复此操作操作，并将点云作为一个整体移动，以最小化点的总色差。为了平移点，我们应用3D欧几里得变换，即平移和旋转。最后一个变换，记为Tθ，有六个参数（θR6），在优化过程中迭代更新。在前面描述的简单情况下，我们假设点云和图像具有相同的色域。这种假设通常不成立，并且用感测相同场景的两个不同相机捕获的为了获得有意义和准确的对齐，我们需要补偿我们使用的两种不同类型的传感器之间的这种颜色差异。各种DVO方法将颜色转换为6659×∈∈u⌈ ⌉ − ⌊ ⌋X⌊ ⌋XX.X灰度和工作与一个单一的颜色通道。相反，我们建议使用三维RGB空间。我们尝试在没有事先进行颜色处理或颜色校准的情况下补偿颜色差异在每一次迭代中，我们在点云的颜色和图像的颜色之间建立了对应关系。也就是说，我们有3个n值要匹配。一个有效的解决办法是使用这个正确的-找到线性变换D线性R3×4的概率3D色彩空间这种转换适合两组颜色之间然而，在实践中，颜色的线性映射无法捕获颜色离散的复杂性[24] （ 见 图 3 ） 。 为 此 ， 我 们 提 出 了 线 性 变 换DR3×10，它使从一组RGB颜色到另一组RGB颜色的二阶多项式之间 虽然选择高阶多项式提供更高的精度，但二阶和高阶之间的边际误差很小[58]。因此，使用二阶提供了所需的精度，同时保持计算效率。3.1. 子像素颜色数字RGB图像可视为离散函数J（a，b）∈ [0，1]3a，b ∈ Z.（一）因此，子像素u，v∈R颜色值需要插值。对于B也是如此。然后，通过离散梯度图像的双线性插值I B（u，v）=BL（J a）（u，v），（5）对于V也是如此。因此，差异可以解释如下：在策略A中，构造图像的连续表示，然后进行微分，而在策略B中，计算离散梯度图像，然后进行插值。让我们使用线性插值的一维示例来分析这两种策略。设h（a）为离散函数，a∈Z.函数在x∈R处的次整数连续插值是，f（x）=（1−δ）·h（xj）+δ·h（xj+1）。（6）其中f是连续函数估计，x j=x，xj+1=x和δ=x x。在策略A中，如等式（3）所示，直接通过x并因此通过δ进行微分，fA（x）=h（xj+1）−h（xj）hj.（七）让我们看看战略B。首先，根据等式（4）计算离散函数的梯度，h（a+1）−h（a−1）lation.我们选择经典的双线性插值（BL），I（u，v） =BL（J）（u，v）.（二）ha（a）=.（八）23.2. 子像素颜色梯度除了图像平面中的梯度计算外，我们的流水线还包括简单的差分步骤。给定离散图像J，我们需要估计像素点之间的梯度。类似于像素梯度的不同定义[34]，也可以使用子像素梯度的不同定义。在这一节中，我们将研究这种计算的两种不同定义。策略A，这是我们的方法中使用的，策略B，这是DVO实现中常用的计算方法类似于等式（5），使用线性插值来计算子像素梯度：fB（x）= （1−δ）·ha（xj）+δ·ha（xj+1）=（9）=（1−δ）·hj−1+hj+δ·hj+1。2在补充材料中提供了最后一次转换和2D图像域扩展的证明。等式（7，9）可用于通过以下卷积将两种策略联系起来，fB（x）= f Aw（x）.（十）[2，16，17，32，33，61]。1. 策略A-子像素颜色值I（u，v）可以被视为u，v的微分函数。为了获得梯度，该函数直接由u微分，I A（u，v）=Iu（u，v）=BL（J）u（u，v），（3）其中w是矩形窗函数，w（x）=0. 5，−1≤x≤10，否则。（十一）6660u同样，V。2. 策略B-首先，计算J的中心有限差分近似图像J（a，b）= J（a+ 1，b）−J（a−1，b），（4）我们的结论是，用于梯度计算的流行策略B实际上是由策略A计算的梯度的平滑版本。这相当于将策略A中提出的梯度应用于模糊图像。这反过来又意味着高频信息和梯度的损失，受到远处像素值的影响这个简单，但cru-a2cial，区分策略A和常用的6661≪≫JJMax∈0 10 20 30图2.优化迭代期间图像与从点云渲染的图像之间的色差的可视化。蓝色对应小值，黄色对应大值。可以看到初始非对准阶段中的显著差异以及随着优化的进行差异的减小。策略B对比对的准确性具有显著影响。第4.3节中的消融研究从经验和定量两方面证明了这一重要观察结果。我们的数值近似优选策略可以从不同的角度来看。策略A和策略B的比较涉及中心有限差分近似与前向或后向近似之间的差异。例如，见[34]。选择中心差分近似的原因在于从截断泰勒展开式导出的数值误差评估。近似是相关的假设，其中，是连续图像函数的采样间隔。然而，如果图像中的信息涉及高频，则这种假设可能会产生误导。在这种情况下，在推导导数的数值近似时的近似误差为术语RGB作为附加维度。其原因是，实验结果表明，没有显着的优势时，这一维度增加。点云对齐在每次迭代中得到改进。因此，点云的颜色值与图像的颜色值之间的对应性也得到改善。为了利用这一点，我们为每个迭代i重复找到颜色变换。然后，应用变换来计算从图像I Di= DiK（I p）。（十三）3.3.1色彩转换优化为了避免离群值影响颜色变换，使用仿射照明校正方案[17]。内点被定义为保持的点，它们近似的函数的变化顺序我们认为高频率对于精确对齐至关重要I Di−

下载后可阅读完整内容，剩余1页未读，立即下载