没有合适的资源?快使用搜索试试~ 我知道了~
基于RGB-D扫描的高质量纹理重建方法的研究
1基于RGB-D扫描的Jingwei Huang1,3,Justus Thies2,Angela Dai2,Abhijit Kundu3,Chiyu1斯坦福大学2慕尼黑工业大学3谷歌研究院4加州大学伯克利分校输入图像几何形状我们重建的纹理模型Zhou和Koltun我们图1.我们的目标是从RGB-D扫描重建高质量的纹理与传统方法优化参数颜色映射以减少错位误差(Zhou和Koltun [36])不同,我们学习了一种错位容忍的方法,产生更清晰的纹理。摘要真实感颜色纹理生成是RGB-D表面重建中的重要步骤,但由于重建几何形状的不准确性、未对准的相机姿势和与视图相关的成像伪影,在实践中仍然具有挑战性。在这项工作中,我们提出了一种新的方法,用于颜色纹理生成使用条件对抗损失从弱监督视图获得。具体来说,我们提出了一种方法,以产生逼真的纹理的近似表面,甚至从错位的图像,通过学习,ING一个目标函数,是强大的这些错误。我们的方法的关键思想是学习一个基于块的条件反射,引导纹理优化是容忍错位。我们的算法采用一个合成视图和一个真实图像,并在一个扩大的真实感定义下评估合成视图是否真实。我们通过提供成对的输入视图及其未对齐的版本作为“真实”示例来训练机器人-这样学习到的对抗性损失将容忍扫描中的错误。在定量或定性评估下对合成和真实数据的实验证明了我们的方法与现有技术相比的优势(见图1,右)。我们的代码是公开可用的1与视频演示2.1https://github.com/hjwdzh/AdversarialTexture2https://youtu.be/52xlRn0ESek1. 介绍消费级相机的广泛可用性刺激了对现实世界物体和场景的几何重建的广泛研究,最先进的3D重建方法现在提供了强大的相机跟踪和3D表面重建[22,19,33,9]。然而,产生真实世界环境的照片级真实感模型不仅需要几何重建,还需要高质量的颜色纹理。不幸的是,由于有噪声的输入数据、估计不佳的表面几何形状、未对准的相机姿势、未建模的光学失真和视图相关的照明效果,将多个真实世界图像聚合成高质量的、逼真的表面纹理仍然是一个具有挑战性的问题。为了克服这些问题,已经开发了各种方法来优化颜色纹理,使用模型来调整相机姿势[36,15],扭曲图像[4,15,36]和平衡颜色[15,36]。然而,这些现有方法不够有表现力和/或其优化算法不够稳健,无法处理在使用商用相机进行扫描时常见的复杂失真和未对准,为了解决这些问题,我们提出了一个灵活的纹理优化框架,该框架基于对常见扫描错误具有鲁棒性的学习度量(图1右侧)。15591560梯度的优化色图[Zhou等]3DLite[Huang等人]我们所有评价度量L2(现有)对抗(我们的)色图[Zhou等人]基于贴片[Bi等人]3DLite[Huang等人]相机参数图像颜色映射平衡纹理溶液渲染纹理改性图像输入图像图2.所有的方法都是以优化纹理解决方案为目标的。示例方法与相机参数[36,15],图像映射[36,4]或色彩平衡[15]共同优化纹理。相反,我们联合解决纹理与对抗性评价指标,以容忍错误。我们的方法背后的关键思想是在纹理优化的学习目标函数而不是使用传统的目标函数,如L1或L2,我们学习一个新的目标函数(对抗性损失),它对输入数据中存在的未对齐类型具有鲁棒性。这种新颖的方法消除了手工制作的参数模型来固定相机参数[36,15],图像映射[4,36]或色彩平衡[15](图2的底行),并将它们全部替换为学习的评估指标(图2中的绿色框)。因此,它适应输入数据。受对抗网络在图像合成中的成功启发[14],我们建议使用学习的条件反射来服务于我们的目标函数,并使用此反射来联合优化重建表面的颜色纹理。条件是来自源视图VA的捕获图像IA,并且查询是(i)通过优化的表面纹理,同时联合训练这个条件反射,我们的目标是产生一个纹理,这是无法区分从所有其他视图的captured图像在优化过程中,该算法学习对输入数据集中存在的未对准和失真的不变性因此,经过优化以欺骗机器人的纹理(图1中我们的)比以前的方法看起来更真实。我们的实验表明,这种对抗性优化框架与最先进的方法相比,无论是在合成数据上还是在真实数据上,都能显著提高性能。此外,由于它容忍严重的错位,我们能够在CAD模型上生成逼真的纹理,这些模型仅粗略地与3D扫描对齐,尽管表面几何形状存在较大的错位。这为生成具有逼真纹理的CAD模型提供了可能性,以用于内容创建。2. 相关工作RGB-D扫描有着悠久的历史,已经提出了许多彩色纹理生成方法。查看聚合。常见的纹理生成方法[19,36]对投影输入图像进行平均以生成纹理。为了减少模糊伪影,一些方法为每个区域选择单个或几个候选视图[11]。其他人制定了多标签选择能量最小化问题,以最大限度地减少接缝伪影[21,27,30,32,15]。例如,[15]旨在为每个区域选择最佳视图,以平衡具有所选不同视图的相邻区域之间边界的视觉锐度和颜色一致性,这被建模为多标签图切割问题[5]。我们的方法没有明确定义聚合方法,而是基于学习的对抗性度量隐式地聚合来自不同视图的颜色。参数色彩优化。已经提出了几种方法来改进输入图像到具有参数模型的纹理的映射,利用人类超视[12,23,24,34]以及自动优化[3,25]。Zhou等人 [36]提出优化参数模型,包括摄像机姿态和输入图像的非刚性网格变形,以最小化L2颜色一致性度量。虽然这些方法能够修复小的未对准,但它们的变形模型通常不足以表达以处理许多真实世界的失真,特别是由于很大程度上近似的表面几何形状而引起的失真与手工制作的变形模型相比,我们学习了一个失真容忍的对抗性损失。基于补丁的颜色优化。基于块的图像合成策略已被提出用于颜色纹理优化[4]。而不是非刚性图像扭曲,他们重新合成输入图像与最近的补丁[26],以处理错位。然而,一般的未对准不能通过平移块来精确地建模,并且L2损失对于颜色、照明或锐度差异不鲁棒。我们的方法优化了覆盖所有这些问题,而不需要显式的重新合成。神经纹理。最近,已经提出了神经渲染方法来合成表面上的特征图,该特征图可以由深度网络解释以产生新的例如,[29]将外观信息作为高维特征存储在与粗略几何代理相关联的神经纹理映射中,并在投影到新视图时解码为颜色。[28]将外观信息存储为体积中的高维特征,[2]使用与点一起存储的特征这些方法依赖于生成网络在渲染时的表示能力来获得新的视点,这限制了它们在标准图形流水线中的适用性。1561Camera Capture Auxiliary查看源代码视图照相机捕获V$VA:源相机姿态V$:辅助相机姿态IA:源图像I$:辅助图像的联合优化纹理VA鉴别器+对抗性房项目几何渲染到源视图I$未对齐的版本IA作为条件判别器+假渲染到源代码视图纹理图像扫描的几何图形纹理模型渲染IA作为条件判别器衰变L1损失图3.纹理生成。从输入的RGB-D扫描,我们优化其纹理图像和学习的纹理目标函数,其特征在于一个神经网络。该方法对输入彩色图像进行重投影,以保持对各种未对准的鲁棒性。我们随机选取一对输入图像,源图像和辅助图像,并根据重新投影的源图像,从源视图合成假的和真实的示例纹理图像和纹理映射是在交替过程中训练3. 方法我们的目标是优化的颜色纹理,可以用来渲染一个扫描的场景使用经典的计算机图形管道。在扫描过程中,我们获得彩色图像和估计相机姿态。这些意见,随着重建的几何形状,输入到我们的方法。为了优化纹理,我们必须指定一个目标函数;在这种情况下,我们必须考虑彩色图像和重建模型的未对准。因此,我们建议结合纹理来学习损失函数(见图3)。该函数被建模为一个对抗性的损失,使用一个神经网络来识别“真实”和“虚假”的图像,并旨在为我们的纹理优化提供一个mismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismis3.1. 容错度量我们的关键见解是提出学习一个条件判别器作为自适应输入数据的错误分布的误操作容忍度量图4(a)显示了一个2D示例,其中两个观测值(b)和(c)在水平方向上未对齐2个单位,并且L2损失导致模糊外观。最终,我们的目标是合成一个纹理,看起来像现实的观察。为了实现这一点,我们要求数学家把(b)和(c)都看作是以任一观察为条件的实数使用这样一个模糊,模糊的(d)会导致很大的损失,纹理将转而收敛到(b)或(c)。我们将这种直觉扩展到3D,从不同的角度观察几何形状然后,我们的目标是优化纹理,使局部补丁的纹理渲染到各种视图看起来逼真。因此,以任意视图为条件,我们通过从任何其他视图到该视图的重新投影来生成真实示例,如图3所示。这种再投影可以通过投影彩色图像来实现1562到表面上,然后渲染回另一个视图。与简单的2D示例不同,在给定相机和几何误差的情况下,很有可能没有纹理解决方案,使得每个局部补丁完美地匹配来自输入图像的一个视图然而,所提出的方法被期望将这些不一致性推到平滑纹理区域以隐藏可以容易地由纹理映射器识别的任何伪影,从而产生局部一致的真实感纹理解决方案。对于每次优化迭代,我们随机选择两个输入图像,IA(源图像)和IB(辅助图像),具有对应的相机姿态VA和VB。条件是从视点VA的IA,并且我们交替优化纹理和纹理。在纹理优化过程中,我们调整纹理像素颜色以最大化对抗性损失,使其在纹理评分下看起来更真实。在识别器优化过程中,我们最小化对抗损失,以便更好地分类真实和虚假的例子。我们将对抗损失与L1损失线性结合,L1损失随着优化的进行而指数衰减,这有助于优化器找到一个好的初始纹理解决方案。网络架构我们的框架是通过从PatchGAN架构提出的Isola等人。[18 ]第10段。我们之所以选择这个框架,是因为它的设计目的是生成与给定的输入图像集一样逼真的局部细节。 我们使用三个卷积层,结果-在70× 70的补丁大小,我们发现适合我们的分辨率为640× 480的输入图像我们应用PatchGan来评估局部70× 70图像块,而不是整个图像。选择补丁程序进行训练1563(a) 地面实况(b) 观察结果1(c) 观察结果2(d) L2下的最优为优化提供初步指导:LL1(T)=Ex,y,Mx||y− M x(T)||1 .一、(2)我们的目标纹理解决方案是:T= argminmax Lc(T,D)+ λ LL1(T).(三)+房T D+假的(b)第(1)款(b)或(c)鉴别器反向传播在训练过程中,我们初始化纹理图像0,λ=10。高λ允许L1损失提供初始纹理,并且对于每1000步,+(c)第(1)款(b)或(c)房鉴别器收敛到或(b)(c)将λ衰减0倍。8.我们在每个优化步骤中以交替的方式进行优化,使用Adam优化器对纹理和纹理进行学习,图4.未对准的2D示例。(a)示出了在(b)和(c)中未对准的情况下观察到的地面实况图案; L2损失导致模糊(d)。我们训练了一个只接受(b)和(c)作为彼此条件的真实示例的训练器,并使用它来优化纹理,它收敛到(b)或(c)。如果超过一半的贴片没有被遮挡。因此,用于训练的补丁具有足够的重叠。与原始的不同,我们删除了所有的批量规范化层,并为每个优化迭代提供一个视图示例,我们根据经验发现这可以提高性能。在输入视图的条件下,我们要求计算器评估由条件输入减去的合成示例的残差。最后,由于我们专注于评估前地区域(对应于输入几何形状的像素),因此我们去除了背景占感受野90%以上的区域的损失项。3.2. 纹理优化为 了 检 索 纹 理 , 我 们 联 合 优 化 纹 理 和mismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismismis受Pix2Pix [18]中使用的对抗损失的启发,我们将我们的观点条件对抗损失表示为:1564B分别为10- 3和10- 4。对于每个物体或场景,我们优化50000步来完成我们的纹理。3.3. 可微分渲染和投影为了能够优化3D模型的RGB纹理,我们利用可区分的渲染来生成合成的“假”视图。我们使用pyRender[17]预先计算视图到纹理的映射,然后可以使用可微分双线性采样实现渲染。为了创建未对准的“真实”图像(从VA看到的I B),我们计算重投影;注意,这里我们不需要保持梯度信息。对于源图像中的每个像素PA,我们需要确定辅助图像中的对应像素PB,使得可以应用双线性采样来将图像从VB扭曲到VA。具体来说,对于具有来自源深度图的深度值dA的PA假设源视图和辅助视图从相机到世界空间的变换如下所示:TA和TB,辅助视图中对应的3D和像素位置为pB=T−1TAp A和PB= KpB。如果PB在图像的范围内,并且PB的z维度与P B的z维度之间的差异,则Lc(T,D)= Ex为oh(logD(x,y))+(一)辅助深度图的dB是θz。<我们使用θz= 0。1米,场景θz=0。03用于对象级扫描。Ex,Mx(log( 1−D(x,Mx(T),其中T和D表示目标纹理图像和我们正在优化的纹理参数。x是条件,即来自捕获图像的输入序列的重新投影的彩色图像。Mx是给定与x相关联的相机姿势的固定纹理到图像映射。这里,一个真实的例子是图像y重新投影到x的视图。我们优化D的目标是正确识别真实的例子,未对齐的真实图像和假例子。从纹理中导出为Mx(T)。同时,我们优化纹理T,使得其难以被识别为当映射到x的视图时为假。由于单独的对抗性损失可能难以训练,因此我们还将L1损失添加到纹理优化中4. 实验评估指标对于评估,我们采用几个不同的指标来衡量生成的纹理的质量相比,地面真相。首先,我们提出了最近的补丁损失作为一个指标,如何接近补丁的纹理apepectization是地面真相。具体地说,对于每个像素u,我们在生成的纹理中提取以其为中心的7 × 7块,并在地面真实值中找到它与最近邻块之间的L2距离d(u)质地我们将最近的补丁损失定义为所有d(u)的平均值 。 Second, we adopt the perceptual metric [35] toevaluate perceptual quality.最后,我们建议测量生成的纹理和地面1565结果精确的补丁丢失最近的补丁丢失地面实况图5. 2D纹理生成。由我们的方法提供的纹理在视觉上更接近地面实况图像,同时避免了模糊伪影,例如由L1损失引入的伪影。精确的补丁损失有利于感知相似性对齐,而最近的补丁损失是一个更强大的度量。根据清晰度[31]和图像梯度的平均强度来评估真实性,以便评估生成的纹理对模糊伪影的鲁棒性,请注意,标准图像质量度量(如均方误差,PSNR [10]或SSIM [6])是不合适的,因为它们假设目标和地面真实值之间完美对齐[35]。合成2D示例我们首先使用合成的2D示例验证我们的方法的有效性。 我们的目标 在给定具有2D微平移误差的输入观测的情况下,针对2D图像进行优化。我们使用512× 512的图像分辨率和平移误差∈ [−16,16]2。在纹理优化过程中,我们随机选择一个观测值作为源和另一个观察作为辅助,并优化目标图像,使其在当前的背景下更加真实图5显示了使用我们的方法优化的结果图像,并与原始L1损失进行了比较。从视觉上看,我们优化的图像更清晰,在感知上更接近地面实况,而L1损失会导致聚合多个未对齐的观察结果产生模糊效果在这个简单的设置中,我们定量地评估每个像素的确切补丁精确整体精确块损失是所有像素的精确块损失的L2范数。我们还评估了最近的补丁丢失。L1损失的优化实现了10.7精确的补丁损失,而我们的是11.3.然而,我们实现了1.53最近的补丁损失,这是小于L1为7.33。这表明,我们的方法更喜欢现实的错位模糊。我们成功地推导出一个图像,其中每个局部补丁是几乎相同的地面实况图像中的补丁的未对齐版本合成3D示例为了定量评估在我们的3D纹理生成,我们创建一个合成数据集,表1.在我们的3D合成数据集上对不同水平的相机姿态和几何误差进行平均的不同方法的评估。从ShapeNet [7]中随机选择的16个不同类别的模型。这些形状通常包含尖锐边缘和自遮挡边界,复杂性反映了现实世界对象的复杂性由于我们的目标是解决任意纹理,我们丰富了这些形状的外观,使用16个随机颜色的图像从互联网上作为纹理图像。 为了创建对象的虚拟扫描,我们统一-通过细分一个二十面体,在一个单位半球上对>900个视图进行形式化采样,从中我们渲染纹理几何形状作为观察到的彩色图像。为了模拟未对准,我们将每个渲染图像与略微扰动的相机姿势相关联,并且为了模拟几何误差,我们将随机扰动应用于几何模型。我们使用一组从n= 1增加到n= 4的错误。5,并参考补充材料,了解有关产生照相机和几何结构扰动。在表1中,我们研究了这种合成3D设置中不同相机和几何误差的影响。 我们报告了我们的方法的评估指标以及几种最先进的纹理优化方法,包括基于L1损失和使用最清晰帧选择的纹理的方法[31]。我们的方法优于所有其他方法,因为它避免了L1和ColorMap [36]经常出现的模糊效果,并且避免了依赖于锐度选择(3DLite [15]和最清晰帧选择)的方法引入的接缝和过度锐度。VGG [20]通过混合深度特征来聚合视图,这不足以处理未对齐工件。图6中显示了两个示例场景,其中相机和几何形状的误差不断增加。我们还使用图8中的感知度量[35]研究了本实验中所有方法的行为。尽管所有方法的性能随着相机/几何误差的增加而下降,但我们的方法随着误差的增加而保持最佳的感知质量。图7示出了定性比较;我们的方法保持了清晰的结果,而ColorMap随着误差的增加而产生越来越多的模糊度。另类歧视?我们在图9中分析了容错条件判别器的设计选择。移除辅助视图(b),从而仅依赖于源视图来向用户提供我们L1相机/几何结构贴片感知梯度尖锐L16.01/6.650.256 /0.2610.10/0.0650.041 /0.037色图6.34/6.490.252 /0.2870.14/0.0610.036 /0.036最锋利6.06/6.060.385 /0.4070.06/0.0360.087 /0.0693DLite5.96/5.920.236 /0.2810.06/0.0580.027 /0.025VGG6.97/7.090.390 /0.3880.15/0.0940.061 /0.065我们5.81/5.290.193 /0.1810.03/0.0280.022 /0.0181566123456782345678不同水平下的知觉得分摄影机姿势错误几何错误度量错误构成误差葛E我们3DLite色图最锋利我们3DLite色图最锋利OursL13DLi teColorMVGapGSharpes tL13DLi teColorMVGapGGT车型GT纹理GT车型GT纹理3DLite ColorMap VGGL1最锋利我们的3DLite ColorMap VGGL1最锋利我们的不同错误摄像机错误几何误差LPeor ceptsualScore0的情况。05.5零点四五0的情况。04.4零点三五0的情况。03.30.250的情况。0秒2.20.150的情况。0个1.1LP erocepstusalScore00。.660 0。.550 0。.4400。.330 0。.220 0。.110.050. 00Err或0。00Eror或11。0.0 11号。五点五二二。0.022. 五点五三三0.033. 五点五四0.044.5.5111. 00 11号。.5522..0022. 五点五三三0.033. 五点五四0.044. 五点五OLu1rsL 1VGG3DLiteColoOrrMs apL1VGGVGGShar p e s t图8.增加相机或几何误差下的感知损失;我们在各种错误水平上优于现有方法图6.纹理生成的情况下,高相机或geome-(a) 地面实况(b) 无辅助(c) 无条件(d) 我们尝 试 错 误 。 ColorMap [36] 存 在 模 糊 问 题 , 而 Sharpest 或3DLite [15]选择会导致边界不一致或结构断裂。VGG [20]通过将深度特征与噪声混合来聚合视图,这不足以处理未对准的伪影。我们的是视觉上最接近地面真相的。n=1.0 n=1.5 n=2.0 n=3.5图7.增加相机或几何误差下的纹理生成ColorMap [36]在相机/几何错误下产生更模糊的结果,而我们的则保持清晰的纹理。度量无法处理未对准。我们还评估了一个通用的分类器,它可以在没有任何条件(c)的情况下,在整个输入视图集中分类生成的补丁是真的还是假的,从而导致真正的补丁来自哪里的模糊性。我们的条件反射-图9.比较不同的选择。(b)将从视图中删除辅助视图,导致对未对齐缺乏鲁棒性。(c)从局部区域中删除条件,从而导致局部区域的模糊性(d)我们利用辅助视图来提供实际未对准的示例的方法使得能够容忍未对准并生成反映输入图像特性的纹理。重新投影辅助视图使得对未对齐的鲁棒性成为可能,从而产生逼真的纹理。真实物体扫描我们将我们的方法与来自真实环境的扫描物体上的最先进的纹理方法进行比较。我们使用结构传感器[1]及其SLAM系统扫描35把椅子,产生扫描的几何、RGB-D帧和相机姿势(每次扫描500帧)。中对象的前景/背景RGB帧由光线是否与重建的几何体相交来确定。图11(第1-4行)显示了定性比较。对于L1损失或ColorMap[36],未对准误差会引起模糊伪影。Sharpest selection和3DLite [15]使用尖锐的区域选择,导致接缝和不一致的全局结构,如花,叶和椅子扶手所示。VGG损失[20]产生过多的噪声伪影。我们的方法可以产生清晰一致的纹理,包括详细的图案,如第1行的叶子和第2行和第3行的编织结构此外,我们在表2(第一列)中显示了定量评估,通过评估针对输入观察视图的渲染纹理的感知度量[ 35 ];我们的方法实现了最真实的纹理。色图我们色图我们摄像机错误几何误差摄像机错误几何误差1567用户研究:投票选择最接近输入图像的渲染纹理百分之七十百分之六十百分之五十百分之四十百分之三十百分之二十百分之十0%的百分比ColorMap3DLiteL1VGG最锋利我们的目标场景CAD对象ScanNetCADL10.1970.4700.199色图0.1860.4610.234最锋利0.2220.5100.2603DLite0.1850.4450.238VGG0.2720.5340.289我们0.1750.3950.176表2.比较不同方法的输入图像和渲染纹理的平均感知损失。我们的方法在真实和CAD数据集上都取得了最佳性能。真实场景扫描为了证明我们的方法在更大范围内优化纹理的能力,我们运行我们在ScanNet数据集上的算法[8],它提供了RGB-D序列和室内场景的重建几何。我们在ID ≤ 20的场景上评估我们的方法(每次扫描2000-3000帧),并将其与现有的艺术状态。 图11(第5-9行)和表2(中间栏)表示定性和定量比较。我们的方法产生的纹理最感知相似的观察到的图像;我们的误失真容忍度量有助于避免模糊、增加的清晰度或由其它方法由于照相机和真实世界扫描中的几何误差而产生的过度噪声。从真实到CAD模型由于我们的方法可以更好地由于近似表面几何形状的dle误差,可以考虑使用真实世界图像对CAD模型进行纹理化,以获得逼真的外观。虽然现在可以获得3D CAD模型的大型数据集[7],但它们通常是无纹理的或简单的纹理,导致与真实世界物体的外观明显不同。为了测试我们的方法是否可以应用于这种具有挑战性的场景,我们使用我们收集的真实物体扫描数据集,从ShapeNet流形中检索类似的CAD模型[16],并将它们与扫描的物体严格对齐。然后,我们用CAD模型替换扫描的几何形状,然后使用捕获的彩色图像和从扫描中估计的姿势来优化CAD纹理。与现有技术水平的方法相比,我们的方法的定性和定量评价分别显示在图11(第10-13行)和表2(右列)中。我们的方法能够处理相机姿势误差以及合成真实几何差异,以产生与观察到的图像非常相似的纹理,而其他方法在这些误差下会出现强烈的模糊,噪声和接缝伪影。感知质量虽然我们缺乏真实环境中对象的地面真实纹理,但我们可以从相应的视点比较渲染纹理几何的感知损失[35我们从扫描视频中选择均匀分布的10个视图,并渲染纹理模型以计算感知损失的平均值。表2显示了不同方法在图10.用户研究。我们要求人们投票选择从不同方法中呈现的纹理,这些纹理看起来最接近输入图像。对象扫描,场景扫描和CAD模型;我们的方法在这三种情况下实现了最佳性能。此外,我们还进行了用户研究,以评估纹理的质量,如图10所示。我们的用户研究由63名参与者组成,他们被要求为产生最接近输入图像的渲染的纹理投票。对于某些视图,当区域的颜色很大程度上一致时,用户有时很难区分不同的方法尽管如此,我们的方法仍然明显优于其他纹理化方法。我们在补充C中提供与[32]和[13]的额外比较,并在补充D中描述稀疏视图对训练鉴别器的影响。运行时间。平均而言,我们发布的实现需要7.3每件物品33.4分钟,每一个场景33.4分钟,GLE TITAN X GPU。5. 结论我们已经提出了一种用于RGB-D扫描的纹理优化的错位容忍度量,引入了一种学习的纹理目标函数,用于保持对相机姿态和几何形状中的错位误差的我们将学习的函数表示为一个经过对抗性损失训练的条件训练器,其中这避免了扫描误差的显式参数化建模,并使我们的优化能够产生反映现实主义的纹理 Ourapproach opens up the potential for tex- turing syntheticCAD models with real-world imagery.它还朝着从现实世界的扫描创建数字内容,朝着民主化使用迈出了重要的一步,例如在AR和VR应用程序的背景下。确认这 项 工 作 得 到 了 ZD.B 和 ERC Starting GrantScan2CAD ( 804724 ) 、 NSF 资 助 CHS-1528025 和 IIS-1763268、Vannevar Bush教师奖学金以及三星GRO计划和斯坦福SAIL丰田研究中心的资助。15683DLiteColorMap VGGSharpestL1 OursGT3DLiteColorMap VGGSharpest L1 OursGT图11.对物体扫描、场景的ScanNet [8]扫描以及与物体扫描对齐的CAD模型进行视觉比较。由于摄像机姿态和几何结构中的未对准误差,L1损失和ColorMap [36]都会产生模糊伪影,最清晰的选择和3DLite [15]会导致纹理结构中的不一致区域或断裂,VGG [20]会混合学习到的特征,从而导致结构伪影和噪声。我们的防错方法可产生清晰一致的纹理。CAD场景扫描对象扫描1569引用[1] 结构传感器。https://structure.io网站。6[2] 卡拉-阿里·阿利耶夫,德米特里·乌里扬诺夫,维克多·伦比斯基。基于神经点的图形。arXiv预印本arXiv:1906.08240,2019。2[3] Fausto Bernardini,Ioana M.马丁和霍莉·拉什梅尔通过多次扫描进行高质量纹理重建。IEEE Transactions onVisualization and Computer Graph-ics , 7 ( 4 ) : 318-332,2001. 2[4] Sai Bi、Nima Khademi Kalantari和Ravi Ramamoorthi。基于图像的纹理映射的基于块的优化。ACM事务处理图表,36(4):106-1,2017. 一、二[5] Yuri Boykov Olga Veksler和Ramin Zabih通过图割的快速近似能量最小化IEEE Transactions on pattern analysisand machine intelligence,23(11):1222- 1239,2001.2[6] Dominique Brunet,Edward R Vrscay,and Zhou Wang.论结构相似指数的数学性质IEEE Transactions on ImageProcessing,21(4):1488-1499,2011. 5[7] AngelXChang , ThomasFunkhouser , LeonidasGuibas,Pat Hanrahan,Qixing Huang,Zimming Li,Silvio Savarese , Manolis Savva , Shuran Song , HaoSu,et al. Shapenet:一个信息丰富的3D模型存储库。arXiv预印本arXiv:1512.03012,2015。五、七[8] Angela Dai、Angel X Chang、Manolis Savva 、MaciejHal- ber 、 Thomas Funkhouser 和 Matthias Nießner 。Scannet:室内场景的丰富注释3D重建。在IEEE计算机视觉和模式识别会议论文集,第5828-5839页,2017年。七、八[9] AngelaDai , MatthiasNießner , MichaelZoll höfer ,ShahramIzadi,and Christian Theobalt.Bundlefusion:使用动态表面重新整合的实时全局一致3d重建。ACMTransactions on Graphics ( TOG ) , 36 ( 3 ) : 24 ,2017。1[10] Johannes F De Boer,Barry Cense,B Hyle Park,MarkC Pierce,Guillermo J Tearney,and Brett E Bouma.与时域光学相干层析成像相比,谱域光学相干层析成像的Optics leters,28(21):2067-2069,2003. 5[11] Arnaud Dessein,William AP Smith,Richard C Wilson和Edwin R Hancock。基于泊松混合的3d网格纹理无缝拼接。2014年IEEE图像处理国际会议(ICIP),第2031IEEE,2014。2[12] Thomas Franken、Matteo Dellepiane、Fabio Ganovelli、Paolo Musnoni、Claudio Montani和Roberto Scopigno。最大限度地减少用户在注册2d图像到3d模型的干预。The Visual Computer,21(8-10):619-628,2005. 2[13] 付延平,严庆安,杨龙,廖杰,肖春霞。基于rgb-d传感器的纹理映射三维重建在IEEE计算机视觉和模式识别会议论文集,第4645-4653页,2018年。七、十二[14] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。InAdvances神经信息处理系统,第2672-2680页,2014年。2[15] Jingwei Huang , Angela Dai , Leonidas J Guibas , andMatthias Nießner. 3dlite:面向内容创建的商品3d扫描。ACM Trans. Graph. ,36(6):203一、二、五、六、八[16] Jingwei Huang,Hao Su,and Leonidas Guibas.shapenet模型的鲁棒arXiv预印本arXiv:1802.01698,2018。7[17] Jingwei Huang,Yichao Zhou,Thomas Funkhouser,andLeonidas J Guibas. Framenet:从单个rgb图像学习3d表面的局部规范框架。在IEEE计算机视觉国际会议论文集,第8638-8647页,2019年。4[18] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集,第1125-1134页,2017年。三、四、五[19] Shahram Izadi , David Kim , Otmar Hilliges , DavidMolyneaux , Richard Newcombe , Pushmeet Kohli ,Jamie Shotton,Steve Hodges,Dustin Freeman,AndrewDavison,et al.运动融合:使用移动深度照相机的实时3D重建和交互。第24届ACM用户界面软件和技术研讨会集,第559-568页。ACM,2011年。一、二[20] 贾斯汀·约翰逊,亚历山大·阿拉希,李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议,第694施普林格,2016年。五六八[21] 维克多·伦皮茨基和丹尼斯·伊万诺夫基于图像的纹理贴图的无
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功