没有合适的资源?快使用搜索试试~ 我知道了~
1透过镜子:透明神经元的三维重建李正琴*Manmohan Chandraker加州大学圣地亚哥分校{zhl378,yuyeh,mkchandraker}@ eng.ucsd.edu摘要利用少量无约束的自然图像恢复透明物体的三维形状是一个不适定问题。由折射和反射引起的复杂光路已经阻止了传统的和深度多视图立体来解决这个挑战。我们提出了一个基于物理的网络来恢复透明物体的3D形状,使用手机摄像头获取的一些图像,在一个已知的,但任意的环境地图。我们的新贡献包括一个法线表示,使网络能够通过本地计算来模拟复杂的光传输,一个渲染层,模型折射和反射,一个专门为透明形状的法线细化设计的成本卷和一个基于预测法线的3D点云重建的特征映射我们渲染一个合成数据集,以鼓励模型学习不同视图的折射光传输我们的实验表明,成功恢复高品质的3D几何复杂的透明形状,使用少至5-12自然图像。代码和数据将公开发布。1. 介绍透明物体在现实世界中大量存在,因此,从图像中重建透明物体具有诸如3D建模和增强现实等然而,由于具有折射和反射的复杂光路,它们的视觉外观比不透明物体这使得透明对象的基于图像的反射极不适定,因为仅观察到环境贴图的高度卷积强度。在本文中,我们提出,通过对图像形成的物理基础进行建模的深度网络来学习数据驱动的先验知识,可以解决使用商品手机相机获取的一些自然图像进行透明形状重建的问题虽然已经提出了基于物理的网络来解决不透明物体的逆问题[25],但对于透明形状,光路的复杂性更高,并且形状的微小变化可以表现为外观的然而,透明物体成像的物理基础是众所周知的*这两位作者贡献相当(一)(b)第(1)款(c)第(1)款(d)其他事项图1.我们提出了一种新的基于物理的深度网络,用于具有少量视图的透明对象的基于图像的重建。(a)在无约束条件下捕获的真实透明物体的输入照片(10张图像中的1张)。(b)和(c):在相同视图下用透明和白色漫射材料再现的重建形状(d)在新的视图和环境贴图下渲染的重建形状。在界面处的入射角由Snell定律控制,反射的相对分数由Fresnel这些属性已被用于描述透明形状重建的理论条件[23],以及在受控设置下获取高质量形状[46,52]。相比之下,我们建议利用深度网络中的图像形成知识,在任意环境地图下使用相对不受约束的图像重建透明形状。具体地说,我们使用少量的视图的玻璃物体与已知的折射率,观察下一个已知的,但任意的环境地图,使用手机摄像头。请注意,与需要暗室环境、投影仪-相机设置或大量图像的受控采集的大多数现有工作相比,这是一个明显较少限制的设置。从视觉外壳构造开始,我们提出了一种新颖的网络内可微分渲染层,该层对折射光路进行建模,直到两次反弹,以细化与对象前后的反向投影光线相对应的表面法线,以及用于识别全内反射区域的掩模。12621263输入视图1视图2视图3图2.使用10张合成小猫模型的图像进行重建左边的图像是用重建的形状渲染的,而右边的图像是用重建的形状渲染的使用地面实况形状渲染图像。发生。接下来,我们提出了一种新的成本体积,以进一步利用输入图像和环境映射之间的对应关系使用我们的可微渲染层,我们在潜在空间中执行一种新的优化,以正则化我们重建的法线,使其与自然形状的流形 一 致 为 了 重 建 完 整 的 3D 形 状 , 我 们 使 用PointNet++[32]与新机制将法线特征映射到一致的3D空间,新的损失函数用于训练和架构变化,利用表面法线更好地恢复3D形状。由于获取透明形状是一个费力的过程,因此很难获得具有地面真实值的大规模训练数据[40]。因此,我们使用自定义GPU加速的光线跟踪器渲染合成数据集。为了避免类别特定的先验,我们在各种各样的自然环境地图下渲染随机形状的图像在合成数据和真实数据上,我们基于物理的网络设计的好处被清楚地观察到。事实上,我们认为这样的物理建模简化了对一个具有挑战性的问题的学习,并提高了对真实图像的泛化能力图1和图2显示了真实数据和合成数据的示例输出所有代码和数据都将公开发布。总之,我们提出了以下贡献,解决了有限数量的无约束视图的透明形状重建问题:• 一个基于物理的网络,用于表面法线重建,具有新颖的可区分渲染层和成本体积,可以从图像形成中获得见解。• 基于物理的3D点云重建,利用上述表面法线和渲染层。• 使用photorealistically渲染的大规模数据集进行训练和少量手机照片进行评估的强大实验演示2. 相关工作多视图立体声传统方法[37]和多视图立体声的深度网络[49]已经取得了令人印象深刻的成就结果一个完整的审查是我们的范围之外,但我们注意到,他们假设不透明物体的光一致性,不能处理透明形状的复杂光路。理论研究在开创性的工作中,Kutulakos和Ste- ger [23]描述了形状可以恢复的程度给定折射(和镜面反射)光路中的反弹次数Chari和Sturm [5]使用辐射线索进一步约束方程其他作品研究运动线索[3,29]或参数先验[43]。我们从这些作品中获得灵感,通过在我们的网络设计中考虑折射,反射和全内反射来结合图像形成的物理在先前的工作中已经使用了特殊设置,例如光场探针[44]、偏振测量[9,15,28]、透射成像[20]、散射迹摄影[30]、飞行时间成像[41]或断层扫描[42]。也使用了外部液体介质[14]或视频中的移动聚光灯[50]。Wu等人。[46]也从像我们这样的视觉外壳开始,从使用基于转盘的设置获取的多个视图中估计法线和深度,该设置具有两个相机,该相机在受控环境中对投影条纹图案进行成像。投影仪-相机设置也被[35]使用。与上述所有工作相比,我们只需要不受约束的自然图像,甚至可以用手机相机获得,来重建透明形状。环境抠图环境抠图使用投影仪相机设置来捕获可组合的地图[56,8]。随后的工作已经扩展到多个相机[27],自然图像[45],频率[55]或小波域[31],用户辅助[52]或压缩感知以减少图像的数量[10,33]。相比之下,我们使用少量的无约束的图像与手机摄像头在任意场景中获取,以产生完整的3D形状。从自然图像重建Stets et al.[39]提出了一种黑盒网络来从单个图像重建深度和归一化。Shan等人[38]在受控设置中恢复高度字段,而Yeung等人。[51]有用户输入来恢复法线。相比之下,我们通过在深度网络中对图像形成的物理基础进行建模,仅使用透明对象的少数图像来恢复高质量的全3D形状和法线除玻璃外的折射材料偏振[7],可区分渲染[6]和神经体积[26]已用于半透明物体,而镜面反射物体已在类似的框架下被视为透明物体[16,57]。气流[2,18]、火焰[17,47]和流体[13,34,54]已被回收,通常在受控设置中。我们的实验主要集中在玻璃上,但类似的想法也可能适用于其他折射介质。1264v=1v=1输入基于物理的网络模块网络预测基本网络我们用于正常估计的基本网络架构如图4所示。 基本网络结构由一个编码器和一个解码器组成。我们的网络的输出是两个法线映射N1和N2,它们是第一和第二个命中点的法线P1和p2为了一条光线图3.我们的透明形状重建框架。3. 方法设置 和 假设我们 输入 是 V图像从相机通过透明如图5(a)所示通过N1和N2对估计进行建模的好处是,我们可以轻松地使用网络来表示复杂的光传输效应,而无需采用光线跟踪,这是耗时且难以区分的。换句话说,给定N1和N2,我们可以直接计算出出射光线方向已知折射率的透明物体的{Iv}V dex(IoR),以及分割掩码{Mv}V。我们假设一个已知的、遥远的、但在其他方面是任意的环境地图E.输出是透明形状的点云重建P。请注意,我们的模型不同于(3-2-2)三角测量[22],它需要每条射线上的两个参考点进行重建,这导致了对需要主动照明,仔细校准设备和受控环境的先前工作[46,52]的显着放松我们通过一种新的基于物理的网络来解决这个严重不适定的问题,该网络对图像形成进行建模,在穿过透明物体之后。 的输入我们的网络是图像I、具有背景遮蔽的图像IM以及视觉外壳的N1和N 2(通过光线跟踪计算的f线)。 我们还计算了用于监督的地面实况形状的N1和N 2。图5(b)中显示了N1、N 2和N 1、N 2的定义。基本网络估计:N1,N2=NNet(I,IM,N1,N 2)(1)损失函数就是N1和N2的L2损失.透明对象的三个子任务:形状初始化,LN=||N1− N1||2个以上||N2− N2||2(二)2 2用于法线估计和形状重建的成本体积为了简化问题,并且由于GPU内存限制,我们考虑最多只有两次反弹的光路,也就是说,光线在击中环境贴图之前被对象反射一次,或者在击中环境贴图之前被对象折射两次。这不是严格的限制-在一个视图中屏蔽了源自全内反射或具有多于两个反弹的光路的更复杂的图3概述了总体框架。形状初始化我们用视觉外壳初始化透明形状[21]。虽然视觉外壳方法不能重建一些凹或自遮挡区域,但它足以作为我们网络的初始化。我们建立了一个3D体积的大小为1283和项目分割掩模从V视图,渲染层给定环境贴图E,我们可以使用双线性采样轻松计算通过方向l的入射辐射。 这使我们能够构建一个可重构的渲染层,通过简单的局部计算来模拟折射和反射的图像形成过程。 如图5(a)所示,对于图像中的每个像素,可以通过相机校准获得通过该像素的入射光线方向li。 反射和折射光线l r和l t可以使用N 1和N2根据斯涅耳定律计算。 我们的渲染层实现了相交的全部物理特性,包括折射材料的菲涅尔项F引起的强度变化。更具体地说,由于符号的滥用,令L i、L r和L t为入射、反射和折射光线的辐射率。我们有它。然后我们使用移动立方体来重建船体,循环L3细分以获得光滑曲面。1 .一、l i·N − ηlt·N2F=+1 .一、ηl i·N − l t·N2.2li·N+ηlt·N2ηli·N+lt·N3.1. 正常重建从有限的视图进行可视化船体重建可能不准确,除了错过凹面。我们建议通过估计输入图像和环境地图之间的对应关系来重建高质量的法线。这是一个非常困难的问题,因为透明形状的不同配置此外,法线方向的小扰动可以导致像素强度完全不同。因此,强大的形状先验对于高质量的重建是必要的,我们建议使用物理启发的深度网络进行学习Lr=F·Li,Lt=(1− F)·Li由于全内反射,一些进入对象的光线可能无法在一次反弹后击中环境贴图,因此我们的渲染层返回一个二进制遮罩Mtr。在Ir和It表示沿着方向Ir和It的辐射的情况下,渲染层通过反射、折射和全内反射对透明形状的图像形成过程进行I r,I t,M tr=RenderLayer(E,N1,N2)。(三)初始点闭合时间���环境渲染地图图层特征映射可视外壳采样角度{ , }采样法线{{1}}、{{2}}���输入图像{ }渲染的预测法线图像{}{1}、{2}���PointNet++遮罩{n}初始法线{1}、{2}������成本量深度网络预测形状1265=3=前回来Configu ra tion s:1×2,,=1,,4���������������IjKk=1k=1kk′图4.正常重建的网络结构黄色块代表NNet , 蓝 色 块 代 表 FNet 。 IX1-OX2-WX3-SX4表示具有输入通道X1、输出通道X2、内核大小X3和步幅X4的卷积层。UX5表示比例因子为X 5的双线性上采样层。正常然而,由于采样空间的更高维度,与深度重建相比,这将导致更高的GPU存储消耗 为了限制理论消耗,我们在较小的区域中对N1和N2进行采样在初始视觉hull法线N1周围N=2,如图所示:地面实况形状:可视外壳形状图5.(a)第一和第二法线(N1和N2),第一和第二命中点(P1和P2)以及我们的深度网络模拟的反射和折射的图示(b)说明图6中的形式上,让U是图像平面从下到上方向上的上向量我们首先建立一个关于N1和N 2的局部坐标系:Z=Ni,Y=U−(UT·Ni)Ni,X=cross(Y,Z),(7)视觉外壳(N1,N 2)和地面实况法线(N1,N 2)。其中Y是归一化的,i = 1,2。 设{θ}K,{φ}Kkk =1kk=1经验误差分布:是采样角度。然后,采样法线为:Ni=Xcosφksinθk+Ysinφksinθk+Zcosθk。(八)我们采样角度{θk}K ,{φk}K根据12002年,2003年,2004年视觉外壳法线的误差分布。角度和分布见补充材料。由于我们同时重建N1和N2图6.我们建立了一个有效的成本体积采样方向周围的视觉船体法线根据其误差分布。我们的网络内渲染层是可区分的,端到端可训练的。但是,我们并不只是使用渲染损失作为额外的监督,而是根据以下内容计算错误映射:的采样法线的配置是K×K。直接使用K2采样法线来构建成本卷太昂贵,因此我们使用可学习的池化层来在早期阶段聚合来自每个采样法线配置的特征。F或每对N1和N 2,我们计算它们的全反射掩模M′tr′和误差映射I′r′,使用(4)和使用可视外壳线法线进行渲染:k,k(5)、然后进行特征提取:k,k阿勒特阿格特尔˜1˜2′˜1˜2阿盖尔河我,我,M=RenderLayer(E,N ,N)、(4)F(k,k)= FNet(Nk,Nk′,Ik,k′,Mk,k′).(九)我的朋友=|I−(Ir+It)|你好。(五)这个误差图被用作我们的正常重建网络的额外输入,以帮助它更好地学习区域,然后,我们计算特征向量F(k,k′)的加权和,并将它们与从NNet的编码器中提取的特征连接起来,以进行正常重建:视觉外壳法线N1和N 2可能不准确:N1,N2=NNet(I,IM,N1,N 2,Ier,Mtr)(6)ΣK ΣKF=Kk′ω(k,k′)F(k,k′),(10)成本量我们现在提出一个成本量来利用环境地图和输入图像之间的对应关系。虽然深度网络中的成本量已经导致不透明对象的多视图深度重建取得了巨大成功,但对透明对象的正常重建的扩展并非微不足道。蛮力方法是对N1×N2的4维半球进行均匀采样,然后计算每个采样的误差图。NNetFNET���˜1第���˜ 2第(b)第(1)款布11吉吉22阿勒(一)U2-I64-O6-W3-S1I128-O64-W3-S1U2-I128-O128-W3-S1I256-O128-W3-S1U2-I256-O256-W3-I512-O512-W3-S1I256-O512-W4-S2I256-O256-W3-S1I128-O256-W4-S2I64-O64-W3-S1I14-O64-W4-S2I8-O64-W4-S2I64-O64-W4-S1加权和1266其中ω(k,k′)是sum等于1的正系数,也是在训练过程中学习的详细的网络结构如图4所示。后处理上面的网络已经产生了合理的正常重建。它可以通过优化来自编码器的潜在向量来进一步改进,以使用预测的法线N1和N2来最小化L选项=||(I−(Ir+It))<$Mtr||第二章,(十一)N21267PPPvvvΣ特征映射vv:concatenate:set抽象层:unitPointNet其中It、It、Mtr从渲染层(3)获得。对于这种优化,我们保持网络参数不变,只更新特征向量.请注意,在没有深度网络的情况下直接优化预测的法线N1和N2不会产生可比的改进。这是由于我们的解码器充当正则化,防止重建的法线在优化期间偏离自然形状类似的想法已用于BRDF重建[11]。3.2. 点云重建我们现在基于NNet的预测,即法线,全反射遮罩和渲染错误重建透明形状。我们的想法是将来自不同视图的预测映射到可视船体几何形状。这些预测被用作点云重建的输入特征图7.我们的点云重建方法。AX1-SX2-L(X3,X4)-RX5表示具有X1个锚点、X2个采样点、具有X3、X4个特征通道和采样半径X5的2个全连接层的集合抽象层。 IY1-L(Y2,Y3)表示具有Y 1个输入通道的单位PointNet和具有Y2,Y3个特征通道的2个全连接层。几何,它是必要的计算渲染误差,因此,需要为我们的形状重建。点云细化我们按照PointNet++[32]构建一个网络来重建trans-parent对象的点云网络的输入是视觉外壳点云{p}和特征向量{f}。输出是法线{N}和视觉外壳点的集合{δp},最终的顶点x位置计算为p=p+δp:{δp∈},{N}=PNet({p∈},{f}).(十二)我们尝试了三个损失函数来训练我们的PointNet++。第一个损失函数是最接近t的L2损失. 设p为在地面真实几何的表面上最接近p的点,N是它的法线。我们计算我们的预测p,N和地面真实值之间的L2距离的加权和构建以获得完整的3D形状。点云ΣL最近=λ||p−p||2+λ||N−N||二、(十三)在图7中示出了重建流水线。特征映射我们提出了三个选项来映射预测,从不同的视图到视觉船体几何。令{p}是从可视外壳表面均匀采样的点云,并且Sv(p,h)是将3D点p投影到viwv的2D图像平面的函数,然后使用P1222{p},{N}第二个损失函数是一个视图相关的L2损失L视图。我们不是从地面实况几何中选择最近的点进行监督,而是通过将其几何投影到世界坐标中来从最佳视图中选择点:.T(S(p,P1)),T(S(p,N1)),v/=0双线性抽样设Vv(p)是一个二元函数,p,N=vvV Vfies如果点p_v可以从vi_ w_v中观察到,且T_v(p_v)是ap,N,v=0.中映射3D点或法线方向的变换viewv到世界坐标。 设Cv(pθ)为穿过pθ的光线与摄像机中心之间夹角的余弦。然后我们有ΣL视图=λ1||p−pv||2+λ2||N−Nv||二、 (十四)第一个选项是对来自不同视图的观测值求平均的特征f对于每一个能看到点的视图vP2 2{p},{N}p,我们将其特征投影到该点并计算均值:直觉是,由于特征和地面真实从同一视图中选择几何图形,则网络可以2011年1月pN1=vTv(Sv(p,Nv))Vv(p)ΣvVv(p)pIer=vSv(p,Iv)Vv(p)ΣvVv(p)可能更容易地了解它们的相关性。最后吃亏的函数LCD基于倒角距离。设{q}为S(pΣ C(p)V(p)从地面实况均匀采样的点集tr=v Σvv,vVv(p)pc=v.vVv(p)几何体,法线为Nq。设G(p,{q})是在点集{q}中找到p的最近点的函数,我们连接得到:f=[pN1,pIer,pMtr,pc]。另一种选择是选择一个视图视图,函数Gn(p,{q})返回最近点的法线。倒角距离损失定义为最准确的预测和计算f使用的功能ΣLCD=λ1||p− G(p,{q})||N−G||N−G(p,{q})||+的从这个角度来看。我们考虑两种视图选择策略。第一个是最近的视图选择,我们简单地P2 2n{p},{N}Σλ1λ 2选择具有最大Cv(p)的v。另一种方法是选择绘制误差最小且无全反射的视图{q},{Nq}||+||.||Nq−Gn(q,{p})||. (十五)2 2算法详见补充资料。请注意,虽然我们没有直接将N2到可视外壳I79-L(64)I201-L(128,64)I393-L(256,128)I777-L(512,256)A16-S32-L(512,512)-R0.8A64-S32-L(256,256)-vv1268图8是三个损失函数的演示在我们所有的实验中,我们设置λ1=200,λ2= 5。1269PPP PP:地面实况形状:地面实况正常:视觉船体形状:当前预测正常当前预测的形状图8.点云重建损失函数的可视化。 从左到右是最近的L2损失L最近,视图相关的L2损失L视图和倒角距离损失LCD。表1.从10个视图对正常估计进行定量比较。VH 10表示从10个视图可视外壳重构的初始法线。wr和basic是我们的基本编码器-解码器网络,有和没有渲染错误映射(Ier)和总重P P反射掩模(Mtr)作为输入。WR+CV代表我们的网络,我们的网络(如图7所示)在标准PointNet++上进行了几项改进。首先,我们用平均池化替换最大池化以有利于平滑结果。其次,我们将法线{N}连接到所有跳过连接以了解细节。第三,利用当前点与中心点的法线方向差来增加集合抽象层的输入特征第4部分和柔软的材料显示了我们的设计选择的影响4. 实验数据集我们按照[25,48]程序生成随机场景,而不是使用形状存储库[4],以使模型与类别无关。为了消除形状交叉引起的内部结构并防止错误折射,我们渲染了75个深度图,并使用PSR [19]将它们融合到网格中,并使用L3循环细分来平滑表面。我们使用NVIDIA OptiX实现了一个基于物理的GPU渲染器[1]。使用[12]的1499个HDR环境地图进行训练,424个用于测试,我们渲染了3000个随机场景用于训练,600个用于测试。所有形状的IoR都设置为1.4723,以匹配我们的真实对象。当构建用于法线重建的成本体积时,我们将采样角度的数量K设置为4。增加采样角度的数量将大大增加内存消耗,并且不会提高正常精度。 我们从0到2π均匀采样φ,并根据视觉外壳法向误差采样θ。详情载于补充材料。我们使用Adam优化器来训练我们所有的网络。初始学习率设置为10−4,每2个epoch将学习率减半。所有网络都经过10个epoch的训练4.1. 基于合成数据的烧蚀研究正常重建10个视图正常重建的定量比较总结在表1中。我们报告5个指标:第一和第二法线的中位数和平均角度(N1,N2),和平均渲染误差(Ier)。我们首先比较基本编码器-解码器结构的正常重建,其中有(wr)和没有渲染误差和全反射掩模作为输入(基本)。虽然这两种网络都大大提高了正常的准确性成本量wr+cv+op表示在优化潜在向量以最小化呈现误差之后的预测wr + cv变量IoR代表IoR的敏感性分析,在文本中解释。CD(10−4)CDN-平均值(CDN)CDN-med(中国)地铁(10−3)vh105.147.194.9015.2RE-L最近PRE-L视图PRE-LCDP2.172.152.006.236.516.024.504.764.387.076.795.98NE-LCDP2.046.104.466.02AV-LCDP2.036.084.466.09RE-LCD,var.IOR P2.136.244.566.11PSR5.136.944.7514.7表2. 10个视图点云重建的定量比较。RE、NE和AV分别代表基于渲染误差的视图选择、最近视图选择和平均融合等特征映射 L最近,L视图和LCD是损失在SEC中定义的功能3 .第三章。 RE-LCD,var. IoR代表灵敏度IoR分析,如正文所述PSR代表优化[19]根据预测的法线优化点云。与可视外壳法线(VH 10)相比,添加渲染误差和全反射遮罩作为输入可以帮助实现总体上稍微更好的性能。接下来,我们测试成本量(WR+CV)的有效性。定量数据表明,增加成本体积可以获得更好的结果,这与我们的直觉相吻合,即找到输入图像与环境地图之间的对应关系可以帮助我们进行正常预测。最后,我们通过最小化渲染误差(wr+cv+op)来优化来自编码器的潜在向量它显著减少了渲染误差,也提高了正常的精度。这种改进不能通过直接优化像素空间中的正常预测N1和N2来图9显示了我们的合成数据集的正常重建结果。我们的正常重建管道获得更高的质量相比,视觉外壳的方法。补充资料包括5视图和20视图正常重建的消融研究点云重建 10视点云重建网络的定量比较是总结-vh10基本WRWR+CVWR+CV+opWR+CV变种IORN1中位数(N)5.53.53.53.43.43.6N1平均值(N)7.54.95.04.84.75.0N2中位数9.26.96.86.66.27.3N2平均值(N)11.68.88.78.48.19.1渲染错误。(10-2)6.04.74.64.42.95.51270PP输入VH渲染Rec渲染VHnormal1 Recnormal1 GTnormal1 VHnormal2 Recnormal2 GTnormal2图9.从我们的合成数据集进行10视图正常重建的示例全反射区域已在渲染图像中被屏蔽5viewsVH.5viewsRec.10viewsVH.10viewsRec.20viewsVH.20viewsRec.GroundTruth图10.我们的透明形状重建结果来自我们的合成数据集的5个视图,10个视图和20个视图与用视觉船体形状渲染的图像相比,用我们重建的形状渲染的图像插入法线是从重建的形状渲染的。CD(10−4)CDN-平均值(CDN)CDN-med(中国)地铁(10−3)VH5Rec531.76.3013.111.010.38.766.615.2vh20Rec202.231.204.594.042.712.736.834.18表3.从5个视图和20个视图重建点云的定量比较。在这两种情况下,我们的管道显着提高了透明形状重建精度相比,经典的视觉外壳方法。列在表2中。在获得点和法线预测{p}和{N}之后,我们如上所述重建3D网格。我们通过在地面实况和重建网格上均匀采样20000个点来计算倒角距离(CD)、倒角法向中值角(CDN-med)、倒角法向平均角(CDN-mean)和Metro距离。我们首先比较不同损失函数的有效性我们观察到,虽然所有三个损失函数可以大大提高重建精度相比,初始的10视图视觉外壳,倒角距离损失(RE-LCD)表现明显优于视图相关10个视图的性能,即正常重建的wr+cv+op和点云重建的RE-LCD,实现了比视觉外壳方法显著更低的误差图10显示了一个来自合成测试集的示例,用于使用不同数量的视图进行进一步的结果和比较见补充资料。IoR的敏感性分析我们还评估了模型在具有相同几何形状的另一个测试集上,但是从范围[1. 三一7]。如表1和表2所示,错误略有增加,但保持合理,表明我们的模型可以在一定程度上容忍不准确的IoR详细分析见补充材料。4.2. 真实透明物体上的结果我们使用手机获取RGB图像。以下简称─在环境贴图中,我们在与透明形状相同的位置拍摄几个镜像球体的图像我们使用COLMAP [36]来获取相机姿势并手动创建分割掩码。正常重建我们首先展示正常P视图最近在图11中的真实透明物体上的重建结果。损失(RE-LP)和最近L2损失(RE-LP).接下来我们测试不同的特征映射策略,其中渲染基于误差的视图选择方法(RE-LCD)的性能优于其他两种方法。这是因为我们的渲染误差可以作为一个有意义的度量来预测正常的重建精度,这导致更好的点云重建。修改后的PointNet++的消融研究包含在补充材料中。表2的最后一行显示,像PSR [19]这样的基于优化的方法从预测的法线中细化形状相比之下,我们的网络允许大的改进。不同数量的视图我们还测试了5个和20个视图的整个重建管道,结果汇总在表3中。我们使用的设置,导致最好我们的模型显着提高了视觉船体正常质量。与从可视外壳法线渲染的图像相比,从预测法线渲染的图像与输入RGB图像更加相似。3D形状重建在图12中,我们展示了我们在自然环境地图下对真实世界透明物体的3D形状重建结果第一行中的狗形状只需要5个视图,第二行中的鼠标形状需要10个视图。我们首先展示了重建的形状从相同的看法,作为输入图像,通过渲染它们在不同的照明和材料。即使输入非常有限,我们重建的形状仍然具有高质量。为了测试我们预测的形状的普遍性,我们从尚未用作输入的新颖视图中渲染它们图13将我们的重建结果与视觉1271输入(实)VH渲染Rec渲染VHnormal1记录正常1VH正常2Recnormal2图11.真实透明物体和渲染图像的正常重建初始可视外壳法线是从10个视图构建的全反射区域已在渲染图像中被屏蔽。Vi#$Vi#$2()*#+Vi#$图12.基于真实数据的三维形状重建列1-6示出了来自2个已知视图方向的重建结果对于每个视图,我们显示输入图像和在不同照明和材料下从同一视图渲染的重建形状列7-8从尚未用于构建视觉外壳的新颖视图方向呈现重构的形状第一个形状仅使用5个视图(顶行)重建,而第二个形状使用10个视图(底行)。另请参阅补充资料中与地面实况扫描的比较输入(实数)10视图可视化外壳我们的重建Input(Real)12viewsvisualhull我们的重建图13.视觉外壳初始化和我们在真实物体上的形状重建之间的比较。我们的方法恢复更多的细节,特别是凹区域。船体初始化我们观察到,我们的方法执行得更好,特别是凹区域。与扫描地面实况的比较在补充材料中。我们的方法需要大约46秒从2080 Ti上的10个视图重建透明形状,而之前基于优化的方法需要5-6小时[46]。5. 讨论我们提出了第一个基于物理的深度网络,可以从任意环境地图下捕获的少量视图中重建透明形状我们的网络通过基于物理的渲染层和成本体积对折射和反射的属性进行建模,以估计对象正面和背面的表面法线,这些法线用于指导点云重建。在真实数据和合成数据上的大量实验表明,该方法可以恢复高质量的三维形状。局限性和未来的工作我们的局限性表明,有趣的未来的研究途径。一个可学习的多视图融合可能会取代视觉外壳初始化。 我们相信,长度大于3的更复杂的光路可以通过沿着可微渲染线的可微路径跟踪来处理[24,53]。 虽然我们假设折射率已知,但它可以联合回归。最后,由于我们重建了N2,未来的工作也可能估计后表面,以实现单视图3D重建。鸣谢这项工作得到了NSF CA-REER Award 1751365和Google Research Award的支持。我们还要感谢Adobe和Cognex的慷慨支持。1272引用[1] Nvidia OptiX https://developer.nvidia.com/optix. 6[2] Bradley Atcheson、Ivo Ihrke、Wolfgang Heidrich、ArtTevs 、 Derek Bradley 、 Marcus Magnor 和 Hans-PeterSeidel。非稳态气流的时间分辨三维捕获。ACM ToG,27(5):132:1-132:9,Dec. 2008. 2[3] 本·以斯拉和纳亚尔关于跨性别,动作揭示了什么?ICCV,第1025-1032页,第2卷,2003年。2[4] Angel X Chang,Thomas Funkhouser,Leonidas Guibas,Pat Hanrahan , Qixing Huang , Zimming Li , SilvioSavarese , Manolis Savva , Shuran Song , Hao Su , etal.Shapenet:一个信息丰富的三维模型库。arXiv预印本arXiv:1512.03012,2015。6[5] Visesh Chari和Peter Sturm。折射光路三角测量理论。在CVPR,第1438-1445页,华盛顿特区,美国,2013中。IEEE计算机协会。2[6] Chengqian Che , Fujun Luan , Shuang Zhao , KavitaBala,and Ioannis Gkioulekas.逆向运输网络。CoRR,abs/1809.10820,2018。2[7] T. Chen,H. P. A.伦施角Fuchs,和H。赛德尔用于半透明物体3D扫描的偏振和相移载于CVPR,第1-8页,2007年6月。2[8] 放 大 图 片 作 者 : Douglas E. 放 大 图 片 作 者 : DavidH.Salesin和Richard Szeliski。环境抠图扩展:实现更高的准确性和实时捕获。SIGGRAPH,第121-130页,2000年。2[9] Z. Cui,J. Gu,B. Shi,P. Tan,and J.考茨偏振多视图立体。在CVPR,第369-378页,2017年7月。2[10] Qi Duan,Jianfei Cai,and Jianmin Zheng.压缩的装饰垫。目视Comput. ,31(12):1587-1600,Dec. 2015. 2[11] 段高、小李、岳冬、彼得·皮尔斯、昆旭、辛桐。从任意数量的图像进行高分辨率svbrdf估计的深度逆绘制ACM Trans- actions on Graphics(TOG),38(4):134,2019。5[12] Marc-Andre 'Gardner,Kalyan Sunkavalli,Ersin Yumer,Xiao-hui Shen,Emili a no Gambaretto,Christian Gag n'e和Jean-Franc.Lalonde。学习从单个图像预测室内照明arXiv预印本arXiv:1704.00090,2017。6[13] 放大图片作者:James Gregson,Michael Krimerman,Hullin,and Wolfgang Heidrich.随机层析成像及其在混合流体三维成像ACM ToG,31(4):52:12[14] 作者:Kai Han,Kwan-Yee K. Wong和Miaomiao Liu。通过折射改变入射光路实现透明物体的密集重建国际计算机Vision,126(5):460- 475,May 2018. 2[15] C. P. Huynh、A.Robles-Kelly和E.汉考克从单视图偏振图像恢复形状和折射率见CVPR,第1229-1236页,2010年6月。2[16] Ivo Ihrke,Kiriakos Kutulakos,Hendrik Lensch,MarcusMag-nor,and Wolfgang Heidrich.透明和镜面反射物体重建。Comput. Graph. Forum,29:2400-2426,12 2010. 2[17] Ivo Ihrke和Marcus Magnor。火焰的基于图像的层析重建。2004年ACMSIGGRAPH/EurographicsSymposiumonComputerAnimation,SCA '04,第365-373页,Goslar Germany,德国,2004年。欧洲制图协会。2[18] Y. Ji,J.Ye和J. Yu.利用光路近似重建气流。见CVPR,第2507-2514页2[19] Michael Kazhdan,Matthew Bolitho,and Hugues Hoppe.泊松曲面重建。在Proceedings of the fourth Eurographicssymposium on Geometry processing,第7卷,2006中。六、七[20] 金岛,智-地Reshetouski和A.高希使用单视图透射成像获取轴对称透明物体在CVPR,第1484-1492页,2017年7月。2[21] 基里亚科斯湾作者:Steven M.塞茨空间雕刻造型理论国际计算机视觉,38:199-218,2000。3[22] K. N. Kutulakos和E.斯蒂格通过光路三角测量的折射和镜面3D形状的理论。在ICCV,第2卷,第1448-1455页,2,Oct 2005. 3[23] 基里亚科斯湾Kutulakos和Eron Steger。通过光路三角测量的折射和镜面3D形状的理论IJCV,76(1):13-29,2008. 一、二[24] Tzu-MaoLi , MiikaAittala , Fre´doDurand , andJaakkoLehti-nen.通过边缘采样的可微蒙特卡罗射线追踪ACMToG(SIGGRAPH Asia),37(6):222:1- 222:11,2018. 8[25] Zhengqin Li,Zexiang Xu,Ravi Ramamoorthi,KalyanSunkavalli,and Manmohan Chandraker.学习从单个图像重建形状和空间变化的反射率。ACM ToG(SIGGRAPHAsia),37(6):269:1- 269:11,2018. 1、6[26] Stephen Lombardi 、 Tomas Simon 、 Jason Saragih 、Gabriel Schwartz 、
下载后可阅读完整内容,剩余1页未读,立即下载
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![.pdf](https://img-home.csdnimg.cn/images/20210720083646.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)