RGB-D重建的纹理和几何联合优化

5950RGB-D重建的纹理和几何联合优化傅艳萍1闫庆安2廖杰1肖春霞1，3，41武汉大学计算机学院2美国硅谷研究中心，JD.com3武汉大学多媒体软件国家工程研究中心4中国武汉大学人工智能研究所{ypfu，liaojie，cxxxiao}@ whu.edu.cn，qingan. jd.com摘要由于不可避免的噪声和量化误差，通过RGB-D传感器重建的三维模型往往会出现几何误差和相机漂移，从而导致纹理映射结果模糊和不自然。大多数3D重建方法分别关注几何细化或纹理改善，这在主观上混淆了（一）（b）第（1）款几何形状和纹理。在本文中，我们提出了一种新的方法，可以联合优化相机的姿态，纹理和几何重建模型，和关键帧之间的颜色Instead of computing Shape-From-Shading (SFS) expensively, our method directly opti-mizes the reconstructed mesh according to color and geo-metric consistency and high-boost normal cues, which caneffectively overcome the texture-copy problem generated bySFS and achieve more detailed shape reconstruction. 由于联合优化涉及多个相关项，因此，我们进一步引入迭代框架来交互最优状态。实验结果表明，该方法不仅能恢复精细的几何图形，而且能恢复出高保真的纹理。1. 介绍随着RGB-D传感器的出现，人们可以更方便地重建我们日常生活中的场景和物体。而且，经过近年来3D重建界的蓬勃发展，使用RGB-D传感器的3D重建技术实现了质的飞跃。我们可以重建更详细的3D模型[3，8，18，19，21，31，32，36，38]和tex-真实[2，15，20，22，28，30，40]室内场景。然而，由于三维重建结果的几何精度和纹理质量不能满足要求，重建后的模型远不能直接应用于实际应用图1.对RGB-D扫描几何图形进行联合纹理和几何优化。(a)没有任何优化。(b)与建议的联合优化。VR/AR、游戏、CAD制造和3D打印等应用。通过RGB-D传感器的高质量3D重建模型应达到两个基本要求，正确的几何形状和高保真度纹理。 它们主要受到三个因素的影响：（1）数据采集设备引入的测量误差，如噪声、镜头畸变和量化误差，（2）摄像机姿态估计过程中的累积误差，以及（3）由于截断符号距离场（TSDF）[7]的移动加权平均过度平滑而导致的尖锐几何特征的几何误差，这是常用的方法作为深度数据集成的隐式表示。由于几何误差和摄像机漂移的影响，纹理映射的三维重建结果不可避免地会出现模糊和重影现象。为了实现基于RGB-D传感器的高质量三维重建，已经提出了各种方法 Wu等人 [3 3]和Zollh Oüferetal. [41]在由彩色图像提供的阴影信息的指导下，细化重构的几何形状，彩色图像具有比相应的深度图像更高的分辨率，因此能够提供更多的视觉提示。然而，基于IFS的几何细化容易遭 受纹理复制问题[25]。Fu et al.[11]，Bi et al. [二]《中国日报》5951Zhou和Koltun [40]保持几何形状不变，但修改了3D模型的纹理，以补偿重建计算产生的几何误差。与之前提到的仅关注几何细化或纹理优化的作品不同，Intrinsic3D [20]基于SFS和来自子体积的空间变化球谐函数（SVSH）虽然这种方法在某些场景中是有效的，但它非常耗时，并且还存在纹理复制的问题在本文中，我们还联合优化相机姿态，几何细节和纹理。然而，与[20]不同的是，我们直接在重建的网格模型上构建所提出的方法因此，我们提出了一种新的几何增强方法，并利用增强后的形状法线作为先验指导来驱动顶点位置的调整;同时，纹理和几何一致性作为补充约束，保证运动的合理性。因此，更新的几何网格将有利于纹理和相机姿势的校正，并且不会触发纹理复制伪影。所提出的方法的几何和纹理优化结果如图1所示。我们证明了所提出的方法在各种数据集上的有效性。实验结果表明，该方法不仅能有效地增强重建模型的几何细节，而且能细化重建模型的纹理。2. 相关工作几何优化。许多方法[14，16，24，26，33，37]关注深度图像细化以提高3D重建的质量虽然这些方法在深度图像细化方面效果良好还有一些方法直接对几何模型进行优化，以改善重建效果. Xie等人 [34]提出了角度轮廓作为一种新的测量来推断隐藏的微观结构从现有的表面和增强的几何细节。Deng等人 [9]提出了一种基于细分表示的变分方法，适用于光照条件未知的曲面重建Romanoni等人。 [27]通过单视图变分能量最小化结合光一致性细化了语义注释网格。Choe等人。 [4]使用从IR相机而不是RGB相机捕获的着色线索来细化3D网格的几何形状。Dzit- siuk等 [10]在在线重建过程中使用平面先验滤除噪声顶点，得到了干净完整的重建模型。虽然上述方法可以细化重建结果的几何形状，但它们不能考虑纹理或不执行任何纹理优化。纹理优化。Waechter等人。 [39]使用马尔可夫随机场为每个三角形面选择最佳图像作为纹理。然后他们提出了一种全局颜色调整策略来减轻纹理之间的可见接缝。Zhou和Koltun [40]使用颜色一致性方法来优化相机姿势，并使用局部图像扭曲方法来补偿几何误差，这可以获得清晰的纹理结果。Fu等人 [11]提出了一种全局到局部的非刚性优化方法，用于校正相机姿态并通过纹理坐标扭曲补偿几何误差。该方法能有效地消除纹理间的缝隙，获得满意的纹理效果. Bi等人 [2]使用基于块的图像合成策略来生成用于纹理映射的目标彩色图像，以避免由几何误差和相机漂移引起的纹理错位。Kim等人。 [17]和Alldieck等人。 [1]专注于动态对象和人类的纹理映射。 3DLite [15]应用简单的平面抽象来表示重建的模型。然后，他们使用基于平面的约束来优化相机姿态和抽象平面上的纹理虽然这些方法可以生成视觉上合理的纹理，但它们没有对几何形状进行优化。联合优化。Wang等人 [30]使用平面图元对模型进行分区，以生成轻量级和低多边形网格，然后使用光度一致性和平面约束联合优化平面参数、相机姿势、纹理和几何形状但该方法依赖于平面先验，不适用于复杂的非平面场景。Intrinsic3D [20]提出了一种新的方法，可以同时优化几何形状、纹理、相机姿势和场景照明，该方法基于使用子体积的SFS和SVSH它们可以获得具有一致纹理的高质量3D重建。但该方法依赖于SFS，需要对场景进行光照分解，容易产生纹理复制问题。3. 方法该方法的目标是通过一台普通的RGB-D相机获得具有精细几何细节和高保真纹理的三维重建模型。为此，我们提出了一个联合优化框架。图2显示了所提出的方法的概述。在本节中，我们将详细介绍所提出的方法的每一步令M0表示初始重构网格模型，{vi}为M0的顶点集.我们使用D来表示深度图像，C表示彩色图像，并且I表示对应的强度图像。MC表示具有纹理颜色的重建模型M T是相机姿态，其可以将顶点v从将本地摄像机坐标系转换为世界坐标系5952010图2.所提出方法的概述所提出的方法的输入是RGB-D序列或流。我们利用深度图像来重建初始的三维模型，并根据图像质量从彩色图像中提取关键帧随后，相机姿势，几何形状，纹理和关键帧之间的颜色一致性以迭代的方式联合优化输出是具有详细几何形状和高保真纹理的3D系统我们将T定义为：T=Rt， （1）其中R是旋转矩阵，t是平移向量。让表示透视投影，包括去-均匀化，其投影顶点v= [x，y，z]T从模型M到图像平面的像素u（u，v）3.1. 网格重建和关键帧选择所提出的方法的输入是由消费者RGB-D相机获取的RGB-D我们使用Microsoft Kinect来捕获RGB-D图像序列。序列中的每个RGB-D帧包括一般RGB图像和对准的深度图像。然后，我们使用KinectFusion[23]从深度图像序列生成场景的3D网格模型M0，并记录每个帧i的评估相机姿态Ti。我们根据方法[40]进一步细分重建模型KinectFusion也可以用其他最先进的方法代替，如BundleFusion [8]和[5]的方法，可以获得更准确的初始重建模型和相机姿态。为了消除冗余彩色图像，保证重建模型的覆盖率，我们提取关键帧作为输入纹理图像。以递归方式执行提取过程，其中如果新关键帧的对应相机姿态满足以下公式，则选择新关键帧：Ci={Ci∈ ΦKF:∠(Rk,Ri)>30◦||Dist(tk,ti)> 0. 2}，（2）其中ΦKF表示关键帧集合，k是当前帧i之前的最后一个关键帧的索引。表示两个旋转矩阵Rk和Ri之间的角度，并且Dist（tk，ti）表示两个平移向量tk和ti之间的欧拉距离。 领域Kinect的视图大约是水平57度，垂直43度，实际深度范围是0。五点零三分。5m [13]，因此我们将阈值设置为30μ m和0。2米，分别。手持深度相机很容易引入运动模糊和抖动。为了避免关键帧Φ KF中模糊图像对纹理和几何优化的影响，我们用其旁边最清晰的帧替换初始关键帧。我们使用[6]的图像模糊度量来获得关键帧周围窗口内每个帧的得分。然后，我们使用在关键帧内获得最高分数的帧来替换关键帧。窗口我们将窗口大小设置为[-5，15]。3.2. 关节几何和纹理优化预处理后得到初始三维网格模型M0、关键帧序列{Ck∈ΦKF}和相应的摄像机位姿{Tk}。由于几何误差和摄像机漂移的影响，很难获得一致的纹理通过获取的关键帧对重建模型进行分析为了恢复高逼真度的几何和纹理，我们联合细化重建的3D模型和纹理，以恢复高频几何细节和高质量的纹理。 我们分三步实施联合优化策略：（1）通过最小化模型上的顶点与其在每个可见关键帧上的投影之间的颜色不一致来优化每个关键帧的相机姿态。(2)校正关键帧间光照变化引起的颜色不一致。(3)优化顶点在模型上的位置，使其不仅物理正确，而且与其在可见关键帧上的投影颜色一致3.2.1相机姿态和纹理优化首先计算M0的初始纹理，得到纹理模型MC.为了得到网格模型M的纹理，我们将M上的每个顶点v投影到所有可见的关键帧上关键帧选择关键帧纹理映射③几何优化KinectFusion①纹理优化②色彩一致性校正网格输出联合优化预处理输入深度RGB59530JE=。C（）−I（（）），（4）ΣΣΣ以得到该顶点在关键帧上的所有颜色值，然后通过加权平均来计算顶点v的颜色我们使用κij=cos（θ）2/d2作为第j个关键帧对应的每个顶点vi的权重，其中θ是顶点vi的法线与其在第j个关键帧处的视角方向之间的角度，d是顶点vi到关键帧j的相机中心的距离。由于摄像机的漂移和几何误差，通过投影很容易得到不准确的纹理颜色，从而造成模糊(a) 颜色一致性之前的关键帧和重影伪影，如图1所示。(b) 无颜色的纹理结果一致性优化(c) 纹理结果与颜色一致性优化图1（a）.在联合优化的每次迭代期间，我们首先优化每个关键帧的相机姿态T。我们采用[40]的类似思想来优化每个关键帧的相机姿态，以确保模型MC的纹理与通过将其投影到所有可见关键帧上而获得的纹理尽可能一致。不同的是，我们不仅考虑颜色的一致性，但几何一致性，这是更强大的纹理少的场景。目标Etex定义为：Etex=λcEc+λgEg，（3）其中Ec是光度一致性项，并且Eg是几何一致性项。我们实验性地设置λc= 1和λg= 100来平衡项之间的度量差异，并将更多的权重放在几何一致性上，以减轻无纹理的相机漂移。Ec的定义与[40]的方法相同，其确保MC上的顶点与其在每个关键帧上的对应投影纹理之间的光度误差最小。#KF# vertV T−1 V2cjiijI j(d) 颜色一致性后的关键帧图3.有和没有颜色一致性校正的关键帧和纹理结果之间的定性比较3.2.2关键帧颜色一致性RGB-D传感器采集的彩色图像容易受到自动白平衡、自动曝光、光照变化等因素的影响。这些因素会导致从不同视角拍摄的彩色图像之间的颜色不一致为了减少颜色不一致对联合优化的负面影响，我们在每次迭代中优化相机姿态优化后的不同关键帧之间的颜色一致性受[15]的启发，其中使用了NRDC [12]的方法来解决图像之间的颜色不一致性，我们还采用了一种三条样条曲线Bj（C（vi））=（B{r，g，b}（C（vi）作为颜色传递函数，以将模型MC上的顶点vi的颜色传递到其在第j个关键帧上的投影的颜色。 以模型MC的纹理颜色为参考，对所有关键帧的颜色进行校正，以实现所有关键帧之间的颜色一致性。我们使用以下-下式找出最佳样条曲线B作为每个关键帧的颜色传递函数：#KF#vert#KF#vert ′其中C（vj）是顶点vj的强度值在特克斯-E颜色=||2+ λb||2+λb（Bi（xj）−1）2，（6）真模型MC，i是关键帧的索引，j是i j i jMC上顶点的索引，#KF表示key-frames，#vert表示顶点数。Eg确保MC上的每个顶点的深度应尽可能与每个可见关键帧的深度图像上的对应深度一致#KF# vertE=<$（T−1v）−D（<$（T−1v））2，（5）其中Qij是对应于顶点vj的投影的第i个关键帧上的像素的颜色值。根据文[15]的建议，我们正则化了导数.′传递函数Bi（xj）的函数 我们还设置λb= 0。1，且xj为0至250，间隔为25。在接收到用于每个关键帧根据Eq. 6、我们使用相应的颜色传递函数来调整每个关键帧GijI jiij图B实现关键帧之间的颜色一致性，如其中，f（v）是获取向量v的第三个元素的函数。在相机姿态优化之后，我们计算模型M上的每个顶点Vi的纹理颜色以生成如上所述的新的颜色纹理模型MC。图3所示3.2.3几何优化在这一步中，我们重新计算模型MC上每个顶点的颜色值。如果每个顶点的颜色不一致5954Σ我ΣΣΣωΣ˜˜Σ∂Σ。-，（10）根据其从关键帧透视投影得到的颜色值，我们认为这是由于几何重建误差造成的。因此，我们需要进一步细化模型MC上顶点的位置，以校正重建的几何误差。为了优化重建模型MC与关键帧上投影纹理之间的颜色一致性，我们为模型上的每个顶点计算偏移向量以校正几何误差。我们将能量函数定义为：Egeo=Etex+λHEH+λLEL+λRER，（7）其中，Etex是定义为Eq.3、EH是高升压增强其中Vh是通过高升压增强的精确位置。我们设λhb= 0。2在所有的实验中。为了恢复高频几何细节，重建模型上每个顶点的优化位置应尽可能多地恢复高频细节。我们将高升压项EH定义为：#vertEH=||vi− vh||二、（十一）我EL使用拉普拉斯算子[29]来保留局部几何特征并在几何优化期间抑制不规则顶点移动。#vert项，EL是拉普拉斯数据项，ER是正则项。larization术语λH、λL和λR是项之间的平衡系数EL=||vi我1−伊季ωijj∈iVJ||第 二条 ，第十二条E-H用于增强重构模型MC的高频几何细节。首先，我们通过从原始模型M0中减去M0的平滑版本来分离模型M0的高频细节。然后，我们使用高提升策略放大模型的高频[35]。最后，我们将高增强法线作为法线一致性约束来细化几何以光度一致性和几何一致性为指导，对重建模型进行了优化。 的其中，Ωi是顶点xvi的1-环邻域中顶点的索引集，j属于Ωi，ωij是顶点xvi和vj 之 间 的 权 重。在我们的实现中，我们设置ωij=1。ER保证每个顶点v不会偏离太远在优化过程期间离开，并且被定义为：#vertER=||vi− vi||第二条，第十三条我high-boost增强调整顶点的位置，以适合与顶点相邻的三角形的high-boost法线。顶点v处的基于法线的误差定义为其中vi状态。是顶点vi的调整位置从最后一个ITER-三角形R的平滑法线ns（R）与三角形R的高提升法线nh（R）之间的平方差的面积加权和：En=A（Ri）（ns（Ri）−nh（Ri））2，（8）i∈n（v）其中R1（v）是v周围的1-环邻域三角形的索引集，Ri表示顶点v的第i个相邻三角形.A（R）是三角形R的面积。ns（R）和nh（R）是三角形R的平滑法线和提升法线，它们可以根据工作[35]计算我们可以将Eq。8来增强顶点v的位置以拟合重构模型的高频细节方程的偏导数。8关于v的关系式如下：3.3. 小化我们以迭代的方式优化参数（T，B，V），其中我们应用外部迭代来执行联合优化。在每次外部迭代中，我们依次执行首先，我们固定B和V，并最小化E（T）=Etex以优化每个关键帧的相机姿态T其次，我们优化E（B）=Ecolor，以根据优化的相机姿态T和MC重新计算每个关键帧的颜色传递函数B。最后，我们固定T和B以最小化E（V）=Egeo，以细化重构模型MC上的每个顶点V。为了在收敛性和性能之间取得平衡，我们发现，将外部迭代次数设为5，n= 2Σ。A（Ri）-A（Si）、（9）步进到50、10和20可以实现良好性能。 的收敛速度和外部迭代∂v∂v∂v我其中Si是通过将三角形Ri投影到由提升法线nh（R）定义的平面上而生成的三角形。然后我们可以将顶点v的位置更新为：如图4所示。4. 结果在本节中，我们首先在公共RGB上评估我们的方法与最先进的方法[2，11，20，40]vh=v−λA（Ri）哈伯河i∈n（v）D数据集和我们使用Kinect获得的数据集。然后，我们进行消融研究，以验证5955（a）（b）图4.几何优化前后Ec随数据集外部迭代次数的变化（a）墓碑和（b）砖块。我们的方法中每个组件的有效性最后，我们讨论了我们的方法的局限性。所有的实验都是在一台配备Inteli7 3.6GHz CPU 和 8GB RAM 以 及 GeForce GTX 10606GB的计算机上进行的。我们使用作者公开发布的代码[20]，[40]和[11]，[2]是我们自己的一个实践版本。我们经验地设定λH=1×104，λL= 1000，λR= 1000.4.1. 对公共数据集的评估我们首先在Intrisic3D提供的数据集上比较了我们的方法与其最相关的方法Intrisic3D [20]之间的纹理和几何优化结果从图5中的比较结果的特写来看，值得注意的是，我们的方法在特克斯和凯科斯群岛两个方面都取得了更惊人的结果。(a) 融合(b) Intrinsic3D(c) 我们结构优化和几何优化。由于Intrin-sic 3D [20]是基于SFS的，它在一些微小的几何细节上工作得更好，例如，数据集中的眼睛和眉毛。然而，由于基于IFS的方法的固有缺陷，Intrinsic3D很容易遭受纹理复制，如数据集门和砖块所示。此外，我们的方法引入了一个高提升项来拟合高频几何细节的法线，这可以比Intrin-sic 3D更好地恢复中等尺度的几何细节，如图5所示。我们还将我们的方法与Zhou等人的最先进方法进行了比较。[40]，Fu等人。 [11]和Bi等人。 [2]关于纹理优化，以及Intrinsic3D [20]关于[40]提供的数据集喷泉上的纹理和几何优化，如图7所示。值得注意的是，我们的方法生成的纹理优化结果与[2，40，11]相当，后者是专门为纹理优化而设计的。虽然它们在纹理上表现良好，但几何形状仍然保持不变。相反，我们的方法不仅优化了纹理映射结果，还优化了几何形状，并产生了清晰而详细的结果，与Intrinsic3D [20]一致，它也进行了联合优化方案。4.2. 对收集的数据集的评价为了证明所提出的方法对任何消费者RGB-D相机都有效，我们使用Microsoft图5.与Intrinsic3D [20]在由Intrinsic3D提供的数据集[20]。(a)重建的模型和纹理结果。（b）Intrinsic3D提供的纹理和几何优化结果[20]。(c)最后给出了该方法的纹理和几何优化结果.Kinect v1捕获RGB-D图像序列作为输入。图8显示了我们的方法和Intrinsic3D [20]在我们新收集的数据集上的定性几何比较从特写图像中，我们可以看到，我们的方法可以恢复更多的高频细节的几何形状由于Kinectv1捕获的彩色和深度图像的分辨率有限，因此直接捕获非常高频的几何和纹理细节具有挑战性。然而，我们的方法是能够考虑到不仅几何和颜色的一致性，但也正常增强高频几何。因此，我们的方法可以恢复更多的高频几何细节。此外，由于基于IFS的方法在处理纹理和几何细节方面的模糊性，Intrinsic3D很容易引入纹理复制伪影，如图9所示。为了恢复高质量的几何细节，Intrinsic3D [20]需要多次分割TSDF，这既耗时又耗内存然而，我们的方法直接优化重建模型的网格，这需要较少的内存和时间来达到几何和纹理优化的目标。所提出的方法砖栅极墓葬5956图6.纹理优化比较结果。（a）KinectFusion的纹理结果[23]。（b）Fu et al. [11 ]第10段。(c) Zhou等人 [40]的纹理结果。(d)纹理结果由所提出的方法。（b）（c）(d)（e）（f）（g）（h）（一）表1.所提出的方法在不同数据集上的运行时间（分钟）图7.与公共数据集喷泉上最先进方法的定性比较由[40]提供。(a)和（g）是KinectFusion [23]的纹理和几何结构结果。(e)和(h) 是Intrin-sic 3D的纹理和几何优化结果[20]。(f)和（i）是通过所提出的方法的纹理和几何优化结果。(b)（c）和（d）分别是[11]、[40]和[2]的纹理结果。(a) 融合（b）Intrinsic3D（c）我们的图8. KinectFu-sion [23]，Intrinsic 3D [20]和我们的方法在我们使用Kinect捕获的数据集键盘和步行器在表1中报告。相比之下，Intrinsic3D [20]必须花费数天时间在相同的计算环境中处理这些数据集。图6显示了我们的方法与[40]和[11]的方法之间的纹理比较。由于自动曝光和照明变化，从不同视角捕获的彩色图像容易遭受颜色不一致。From Figure 6, it iscan be seen that the color inconsistency between colorframes have a significant impact on the tex- ture result of[40] and [11].由于方法[40]不使用任何颜色一致性处理，当关键帧之间存在严重的颜色不一致时，最终结果显示出明显的亮度不一致，如图6（c）中的黄色框虽然方法[11]使用全局到局部非刚性校正来缝合纹理，但纹理之间的接缝无法完全消除，如图6（b）所示。相比之下，该方法采用了有效的颜色一致性处理，因此生成的纹理颜色趋于一致。此外，[40]的方法使用局部扭曲方法来补偿重建的几何误差以校正纹理未对准。因此，在纹理结果中会有一些明显的失真，如图6（c）的红框所示。而该方法直接进行关键帧间的颜色一致性处理，并对图像的几何特征进行了细化，从而获得了更好的纹理和几何细节。4.3. 消融研究在本节中，我们将研究我们的方法的每个组件的有效性。为了评估颜色一致性优化的有效性，我们比较了使用和不使用颜色一致性优化的方法的纹理映射结果，如图3所示。可以观察到，颜色一致性优化可以跨关键帧校正颜色一致性，并且有效地抑制光照变化对纹理映射结果的影响，如图3（c）所示。图4显示了我们的方法的Ec的收敛速度(a)融合（b）Fuetal.(c)Zhou等(d)我们（一）椅子加强数据集#face#vert#KF时间砖1,248,351666,9273175.26栅极1,270,574648,87439117.60墓葬475,024243,4431131.32键盘537,900270,7671241.29沃克1,616,112817,1451852.055957（一）(b) （b）第（1）款图10显示了我们的方法与不同系数之间的网格模型比较。为了控制变量，我们每次只改变一个或两个系数，其他的保持默认。为了证明拉普拉斯算子和正则化项的有效性，我们增加λL和λR从1000到1×105。 从图10（a）中，我们可以看到，噪声将显着减少，而细节是平滑的。为了证明颜色一致性项和高增强增强的联合有效性，我们将λC从1增加到100，λH从1×104增加到1×106。 它 从图10（b）中可以看出，尾部在顶点漂移时增强。为了证明颜色一致性项的有效性，我们将λC从1增加到100。从图10（c）可以看出，微小的几何细节得到增强，而高频细节没有恢复。为了证明高增强的有效性，我们将λH从1×104增加到1×106. 从图10（d）中可以观察到，频率细节得到增强，但微小的几何细节图9.纹理复制瑕疵比较结果。（a）纹理复制伪影对Intrinsic3D的纹理和几何优化的影响[20]。(b)我们的方法不受纹理复制的影响。丢失，并且一些顶点在没有颜色一致性和深度一致性约束的情况下漂移。局限性。虽然我们的方法可以有效地增强重建模型的几何和纹理，它不能摆脱的情况下，重建的几何是显着丢失。例如，由于深度图像中有限的分辨率和噪声，一些微小的物体可能无法在初始会话中重建。在这种情况下，即使我们的优化框架的增强，丢失的几何形状仍然无法恢复。（一）(c)（b）第（1）款(d)5. 结论本文提出了一种基于RGB-D摄像机的三维重建的纹理细化和几何增强的联合优化方法，该方法同时优化了摄像机的姿态、重建模型的几何和纹理首先，我们使用光度一致性和几何一致性作为线索，以优化相机的姿态和纹理的重建模型。然后，我们使用纹理优化的结果来纠正关键帧之间的颜色最后，我们通过光度学和几何学的一致性来改进重建模型的几何形状。图10.几何优化结果与不同的重量。 (a) λL = 1 × 105，λR = 1 × 105。 （b）第（1）款λc= 10 0，λH= 1 × 106。（c）λc= 100。（d）λH= 1 ×106。分别在外部迭代中没有几何优化和具有Ec的值（等式4）直接反映质地的好坏从图4中可以看出，我们的几何优化方法使Ec收敛速度更快，收敛到一个更好的值比没有几何优化的方法。tency，以及正常的高频几何线索。经过这样的联合优化，我们不仅可以实现高保真的纹理，而且还可以实现高质量的几何形状。致 谢 。 本 课 题 得 到 了 国 家 重 点 研 究 发 展 计 划（ 2017YFB1002600 ） 、 国 家 自 然 科 学 基 金 （ No.61672390，61972298 ） 、 湖 北 省 重 点 技 术 创 新 项 目（ 2018AAA062 ） 、 武 汉 市 科 技 计 划 项 目（ 2018AAA062 ） 、 湖 北 省 科 技 计 划 项 目（2018AAA062）。2017010201010109）。本文作者肖春霞.加强书桌5958引用[1] Thiemo Alldieck ， Marcus Magnor ， Weipeng Xu ，Christian Theobalt，and Gerard Pons-Moll.从单目视频的详细的人类化身。在3DV，2018年。[2] Sai Bi、Nima Khademi Kalantari和Ravi Ramamoorthi。基 于 图 像 的 纹 理 映 射 的 基 于 块 的 优 化 。 ACMTransactions on Graphics，36（4）：106[3] Yanpei Cao，Leif Kobbelt，and Shimin Hu.使用消费者RGB-D 相 机 进 行 实 时 高 精 度 三 维 重 建 。 ACMTransactions on Graphics，37（5）：171，2018。[4] 崔京民，朴载植，戴玉荣，任素权。使用IR阴影图像从深度传感器中细化几何形状。International Journal ofComputer Vision，122（1）：1[5] Sungjoon Choi，Qianyi Zhou，and Vladlen Koltun.室内场景的鲁棒重建。CVPR，2015。[6] Frederique Crete ， Thierry Dolmiere ， Patricia Ladret ，and Marina Nicolas.模糊效果：感知和估计与一个新的无参考感知模糊度量。SPIE，2007年。[7] Brian Curless和Marc Levoy。从距离图像建立复杂模型的体积法。在SIG-GRAPH，1996中。[8] AngelaDai ， MatthiasNießner ， MichaelZoll höfer ，ShahramIzadi，and Christian Theobalt. BundleFusion：实时全球一致的三维重建使用的飞行表面重新整合。ACM Transactions on Graphics，36（4）：76a，2017。[9] 邓腾，郑建民，蔡建飞，詹达仁。使用基于细分表示的基于阴影的表面恢复。计算机图形论坛，38（1）：417-428，2019。[10] Maks ymDzitsiuk ， Ju？ rgenSturm ， RobertMaier ，LingniMa，and Daniel Cremers.使用平面先验去噪、稳定和在ICRA，2017年。[11] 付延平，严庆安，杨龙，廖杰，肖春霞。基于RGB-D传感器的纹理映射三维重建。在CVPR，2018年。[12] Yoav HaCohen、Eli Shechtman、Dan B Goldman和DaniLischinski。非刚性稠密对应与图像增强的应用。ACMTransactions on Graph-ics，30（4）：70，2011.[13] 韩俊功，凌少，董旭，杰米·肖顿。使用微软Kinect传感器增强计算机视觉：重新审视。IEEE transactions oncybernetics，43（5）：1318-1334，2013。[14] Yudeog Han，Joon Young Lee，and In So Kweon.在未经校 准 的 自 然 光 照 下 ， 从 单 个 RGB-D 图 像 获 得 高InICCV，2013.[15] Jingwei Huang ， Angela Dai ， Leonidas J Guibas ， andMatthias Nießner. 3DLite：面向商品3D扫描，用于内容创建。ACM Transactions on Graphics，36（6）：203[16] Achuta Kadambi、Vage Taamazyan、Boxin Shi和RameshRaskar。极化3D：高品质的深度感应与极化线索。在ICCV，2015年。[17] Jungeon Kim ， Hyomin Kim ， Jaesik Park ， andSeungyong Lee.动态对象的全局纹理映射。计算机图形论坛，2019年。[18] Jie Liao，Yanping Fu，Qingan Yan，and Chunxia Xiao.金字塔中间多视图立体与当地的一致性。在计算机图形论坛，第38卷，第335-346页[19] Lingjie Liu ，Nenglun Chen，Duygu Ceylan ，ChristianTheobalt ， Wenping Wang ， and Niloy J Mitra. 弯 曲 融合：从RGBD序列重建薄结构。在SIGGRAPH Asia，第218页，2018年。[20] Robert Maier ， Kihwan Kim ， Daniel Cremers ， JanKautz，and Matthias Nießner.Intrinsic3D：高品质的3Drecruitment-c，通过联合外观和几何优化与空间变化的照明。InICCV，volume 3，2017.[21] R.迈尔河Sjerier和D.克莱姆斯用于实时大规模3D重建的高效在线表面校正。在BMVC，2017年。[22] RobertMaie r，J？gS？tu？ckle r，andDanielC？r？emers.超分辨率关键帧融合，用于高质量纹理的3D建模.在3DV，2015年。[23] 理查德A纽科姆，沙赫拉姆伊扎迪，奥特马尔希利格斯，大卫莫利诺，大卫金，安德鲁J戴维森，推满足科利，杰米肖顿，史蒂夫霍奇斯，和安德鲁W菲茨吉奇。KinectFusion：实时密集表面映射和跟踪。ISMAR，2011年。[24] Roy Or-El ， Rom Hershkovitz ， Aaron Wetzler ， GuyRosman，Alfred M Bruckstein和Ron Kimmel。镜面反射对象的实时深度细化。在CVPR，2016年。[25] Roy Or El ， Guy Rosman ， Aaron Wetzler ， RonKimmel，and Alfred M.布鲁克斯坦RGBD融合：实时高精度深度恢复。CVPR，2015。[26] Jaesik Park，Hyeongwoo Kim，Yu-Wing Tai，Michael SBrown，and Inso Kweon.用于3D-TOF相机的高质量深度图上采样。见ICCV，2011年。[27] Andrea Romanoni，Marco Ciccone，Francesco Visin，and Matteo Matteucci.多视图立体与单视图se-mantic网格细化。InICCV，2017.[28] 克里斯蒂安·索默和丹尼尔·克雷默。用于3D视觉的原始和非原始对象的联合在3DV，2018年。[29] OlgaSorkine、Daniel Cohen-Or、Yaron Lipman 、MarcAlexa、ChristianR ¨ ssl和H-PSeidel。 拉普拉斯表面编辑。《小额赠款方案》，2004年。[30] 王超和郭小虎。基于平面的室内场景RGB-D重建几何和纹理优化。在3DV，2018年。[31] Ol iv erWasenmülle r，MarcelM e ye r，andDidierStric k er. CoRBS：使用Kinect v2进行SLAM的全面RGB-D基准测试。InWACV，2016.[32] ThomasWhelan 、 RenatoFSalas-Moreno 、 BenGlocker 、 Andrew J Davison 和 Stefan Leutenegger 。ElasticFusion ： 实 时 密 集 SLAM 和 光 源 估 计 。 TheInternational Journal of Robotics Research，35（14）：595916975960[33] ChengleiWu ， MichaelZollh oüfer ， MatthiasNießner ，MarcStamminger，Shahram Izadi，and Christian Theobalt.用于消费者深度相机的实时基于阴影的细化。ACMTransactions on Graphics，33（6）：200，2014。[34] Wuyuan Xie ， Miaohui Wang ， Xianbiao Qi ， and LeiZhang.从单个法线贴图增强3D表面细节InICCV，2017.[35] Hirokazu Yagou，A Belyaevy和D Weiz。用于3-D形状增强 的 高 增 强 Journal of Three Dimensional Images ， 17（1）：170[36] 燕青安，龙阳，张凌，萧春夏。区分不可区分的：通过测地上下文探索结构歧义。在IEEE计算机视觉和模式识别会议论文集，第3836-3844页[37] Shi Yan，Chenglei Wu，Lizhen Wang，Feng Xu，LiangAn，Kaiwen Guo，and Yebin Liu