没有合适的资源?快使用搜索试试~ 我知道了~
5956学习多视点立体的高效光度特征变换康凯章1、谢慈辉1、朱瑞生1、马晓鹤1、谭平3、吴宏志1*和周坤1、21浙江大学2浙江大学-FaceUnity智能图形联合实验室3西蒙菲莎大学摘要我们提出了一种新的框架来学习将每个视图处的每像素光度信息转换为空间上独特的和视图不变的低级特征,其可以插入到现有的多视图立体流水线中以用于增强的3D重建。采集期间的照明条件和随后的每像素特征变换都可以以可微分的方式联合优化。我们的框架自动适应,并有效地利用几何信息,在不同形式的输入数据。各种具有挑战性的物体的高质量3D重建展示在用照明多路复用设备以及点光源捕获的数据上。我们的研究结果与最先进的技术相比毫不逊色。1. 介绍作为计算机视觉和图形学中的一个核心问题,复杂外形的形状重建是一个具有挑战性的问题一方面,多视图立体方法[8]通常需要朗伯主导反射率来计算可靠的视图不变特征。随着视图或照明的出现变化是不期望的,因为它可能改变物体上的原生空间特征,或者镜面反射来自主动照明的投影图案[16,23],导致形状重建的对应计算困难另一方面,单视图光度立体[34,5]利用每个像素上的照明变化并将图像测量转换为法线映射。虽然可以恢复高质量的细节,但其遭受低频形状失真[20]。最近,多视图照片测量立体[12,32,17]准确地集成了来自不同视点的照片测量线索,受到跨多个视图的几何约束。在3D重建的输入数据中的几何信息的量当存在诸如快速反照率变化的附加物理线索时,它们不能被利用来改善重建质量。另一方面,当测量的光度信息不足以确定正常场时,来自现有方法的结果的质量将显著降低。此外,相关技术大量利用反射特性[17,18],这阻碍了扩展以处理更一般的外观,例如各向异性材料。为了解决上述挑战,我们进行了关键观察,即没有必要使用法线作为用于根据光度测量进行3D重建的中间表示相反,我们提出了一种新的可区分的框架,有效地转换每像素的photometric信息测量在每个视图,自动学习的低级别功能,在一个端到端的方式。学习的每像素特征本质上利用光度测量中的可用几何信息,并且可以插入现有的多视图立体管线中以用于进一步处理任务,如空间聚合,从而导致增强的几何重建。此外,我们的数据驱动框架非常灵活,可以适应各种因素,包括物理采集能力/特性,以及不同类型的外观,诸如各向异性反射率。我们的框架的有效性证明了一个高性能的照明多路复用设备,对各种3D对象的几何重建结果,使用少至16个输入照片每个视图。此外,该框架被推广为处理一 次 打 开 一 个 点 光 的 传 统 光 度 立 体 的 输 入 数 据(DiLiGenT-MV[17])。我们的研究结果与最先进的技术相比我们公开了这个项目的代码和数据1.然而,光度立体技术是不可扩展的1https://svbrdf.github.io/publications/ptmvs/* :通讯作者(hwu@acm.org)。project.html5957×个×× ×··联系我们||xl−xp||2L我Lp2. 相关工作2.1. 多视点立体这些方法[8]首先计算多视图输入图像中的低级特征,其理想地应该在空间域中是可区分的,并且相对于各种因素是不变的。接下来,建立不同视图处的特征之间的对应关系由于单个像素处的原始测量通常不足以准确地建立多视图对应关系,因此通常执行空间聚合以并入来自相邻像素的更多信息。即使在不受控的条件下拍摄的照片也证明了朗伯主导材料的优异结果[9,24,25]。但是这些方法在无纹理对象上失败,因为不同位置的特征 主动照明方法,例如激光条纹三角测量[16]或结构化照明[23],通过将空间区分图案物理投影到对象上来处理这种情况还可以利用诸如极化的附加物理尺寸[6]。最近,机器学习通过用自动学习的特征替换手工制作的特征来进一步推动重建质量[30,38,37,31]。然而,对于随着视图/照明条件而改变的复杂外观,计算用于3D重建的独特且不变的特征仍然具有挑战性。我们的工作与这里的大部分工作是正交的,这里的工作集中在处理空间域中的信息。相反,我们专注于角度域,通过学习将每像素的光度信息转换为有用的功能。我们采用一个现有的管道为后续的空间域处理,并离开这两个域的统一值得一提的是,[36]的工作将均匀各向同性反射的多视图图像转换为漫射图像,以减少镜面反射的视图变化在[12,39,17]中。根据[32],直接融合从法线场集成的深度图以获得最终结果在[18]中利用了符号距离场和法线之间的关系我们的工作还需要作为输入的光度信息的三维重建。主要区别在于我们不使用固定的中间表示(例如,法线),而是计算有效地缩放到输入数据中可用的几何信息量的学习的低级特征。此外,受最近关于不同反射率捕获的工作的启发[15],我们的物理采集过程可以与特征的计算变换联合优化。3. 获取设置我们的主要实验是用类似于[15]的高性能盒形光台它的尺寸是80厘米80cm77厘米。 将样品物体放置在装置中心附近的数字转台上,并旋转到不同角度以进行多视图成像。单个FLIR BFS-U3- 123 S6 C-C视觉相机以4,096 3,000的分辨率拍摄照片。我们在装置的六个面上用24,576个LED照射样品,所述装置附接有聚碳酸酯漫射器。LED总功率约为2,000W,相邻LED的间距为1cm。我们校准照相机的内部/外部参数,以及LED的位置、取向、角强度。转盘的旋转角度是根据其表面上的打印标记计算的[7]。请参考图1为例。4. 预赛以下推导基于灰度通道。首先,从表面点p朝向相机的出射辐射B可以被建模为[22]:B(I;p)=ΣI(l)∫1Ψ(x,−ω)V(x,x)L2.2.光度立体这类技术根据通常大量不同照明条件下的外观变化来计算准确的法线场,该法线场随后可以被集成到深度图中[28]。从[34]的开创性工作开始,具有朗伯反射率和f(ωi′;ωo′,p)(ωi·np)+(−ωi·nl)+dxl.(一)这里,每个光l是局部平面源。Xp/np是p的位置/法线,而Xl/nl是光源L上的点的位置/法线。ωi/ωo表示世界空间中的照明/视图方向,并且ωi/ωo/是表示在p的局部框架中。注意ωi=xl−xp。校准的定向光,做出了大量的努力I(l)是光||x l−x p||l,在[0,1]的范围内。的扩展到处理更一般的材料[1,10,27]和/或未知的照明条件[2,3,19]。最接近我们的工作是多视图光度立体。虽然传统方法仅考虑单个视图,但其组合多个不同视图处的光度提示以产生完整的3D形状。利用法线信息细化初始粗略几何形状,如阵列I(1)对应于照明图案。Ψ(Xl)表示光强度的角分布。V是xl和xp之间的二元可见性函数。operator()+计算两个向量之间的点积,并将任何负结果箝位为零。f(ω〇’,p)是2D BRDF切片,其是照明方向的函数。在本文中,我们采用标准的各向异性GGX5958Σ模型[33]表示f。请注意,我们的框架与BRDF模型的选择无关。底部图1:我们设置的照明布局。设置的侧视图(左)和所有灯光的垂直交叉参数化,每个面上有4,096个LED(右)。因为B相对于I是线性的(等式10)。1),其可以表示为I和lumitexelc之间的点积:B(I;p)=I(I)c(I;p),⑵L其中c是光源l的函数,定义在样本物体的表面点pc(l;p)=B({I(l)=l,j=lI(j)=0};p)。(三)c的每个元素记录测量值B,其中一次打开一个灯。5. 概述我们提出了一个混合域神经网络,物理编码的光度信息到一个小数目的测量,通过投影学习照明模式,然后计算变换空间判别和视图/照明不变的低级别功能,在每像素的基础上。针对在特定视图处拍摄的每个图像中的每个像素重复该过程这些地图,然后进行后处理,并送入现有的多视图立体技术,以产生最终的3D几何形状。图2示出了该过程。虽然该网络最初的设计工作在与我们的lightstage,我们将描述如何gener- alize处理传统的光度立体输入在第二节。7 .第一次会议。请注意,与基于学习的特征的相关工作不同[30,37,31],我们选择不在网络中执行空间聚集,因为缺乏具有复杂空间变化外观的3D对象的高质量,大规模数据库6. 我们网络6.1. 输入/输出网络的主要输入是对应于特定像素的3D表面点处的物理灰度lumitexel,其表示利用照明复用设置可以获取的最大信息量lumitexel的参数化与照明布局相同(图1)。①的人。另一个输入是当前图像的视图规范,表示为连续性的[cos(θ),sin(θ)],其中θ是转台沿其轴的旋转角度添加此额外输入的目的是引导网络学习视图不变的全局特征。输出是高维特征向量。扩展处理RGB输入描述在二节。7 .第一次会议。6.2. 架构我们的网络由两个主要分支,设计利用不同方面的输入photometric信息。每个分支产生单独的特征向量。然后将这两个向量与线性全连接(fc)层组合以生成最终特征。图1中示出了图解说明。3 .第三章。第一个分支是强度敏感分支。其第一层是线性fc层,其权重对应于采集期间的照明模式。该层将物理lumitexel编码为少量测量。这些测量值与视图规范一起经过9个fc层。最后,归一化层产生一个单位特征向量作为训练稳定性的输出,这在特征学习文献中很常见[26,35]。另一个分支被设计为对测量的强度不敏感。总的来说,它的结构与第一个分支相似,但有两个主要例外。首先,在测量之后有一个额外的归一化层,以鼓励网络专注于与输入强度无关的光测量线索。第二,输入视图规范在第一个标准化规范之后添加5层我们最初的尝试是只使用强度敏感然而,所得到的特征几乎不表现出沿方位角的变化,如图1B所示。4.第一章添加强度不敏感分支有助于提高特征的识别能力(图1)。4)同时降低网络损耗(Sec. 8.2)。注意,为了物理地实现照明图案和照明系统,需要在照明系统中实现照明图案和照明系统。以防止在存在训练噪声的情况下的退化(第6.4),我们将对应于模式的每个分支的第一个fc层中的权重归一化,类似于[15]。在获取期间,每个模式被分成正模式和负模式,并且通过模式的权重的倒数来缩放。LED顶部 LED漫射器样品转台64×64回来左32×64F32×32底部rontp到权64×32前回来5959措施...logscol+日志记录学习的照明模式多视图特征地图点云我们网络我们网络图2:我们的管道。首先,我们在多个视图下在学习的照明模式下拍摄3D对象的照片。对于每个视图中的每个像素,我们的网络将其光度测量值转换为高维特征向量。接下来,对跨不同位置和视图的所有变换的特征执行降维,从而产生多视图特征图。最后,我们将这些地图作为输入发送到多视图立体几何重建技术。图3:我们的神经网络的架构,由一个测量强度敏感分支和一个不敏感分支组成。对于每个分支,输入物理光像素被转换成少量测量,其中线性fc层对应于在获取中使用的照明图案。测量结果连同当前照片的视图信息一起经由一系列非线性fc层进行变换,然后归一化为单位特征向量。最后,线性fc层将两个分支的结果组合起来,以输出最终特征。最大绝对值,以适应范围[0,1]。6.3. 损失函数理想情况下,多视图立体的特征应具有以下属性:(1)同一三维点在不同视角下的特征是不变的;(2)两个不同点的特征具有足够的区分性;(3)并且比较两个特征用于匹配是有效的。为了实现这些目标,我们定义了以下损失函数,以自动学习生成嵌入在欧几里得潜在空间中的特征L=Lmain+ λLreg.(四)图4:学习特征的可视化,在具有均匀BRDF的合成球上计算。对于可视化,原始高维特征首先通过PCA投影到3D,然后调整到[0,1]。从左到右,强度敏感/不敏感分支的特征,以及我们结合两者的网络。在L2-net中提出[31]:这里L 主要是执行特殊性的术语1 .一、ΣΣΣ2AAAA测量强度敏感分支强度不敏感分支查看信息测量查看信息全连接层标准化层级联16167864128128256128256512我们网络降维多视点立体...............输入Lumitex24576照片视图1视图编号查看0项目照明样式5373102425610241051225664512951292561287转换特征特征的不变性它是由E1术语pro修改而来Lmain=−一一、(五)5960ΣΣ×个24联系我们1122KK1122KK我J--||- -||--其中相关术语定义为:sr ow=exp(dij),scol=exp(dij)。(六)不敏感的分支。因此,表示照明图案的原始fc层(图1B)被移除。(3)被删除。伊季克a=1IJexp(dia)ka=1 exp(daj)8. 实验注意,di,j是如下构造的特征距离矩阵中的条目。 对于k个训练点中的每一个,我们随机采样相关的生成参数(第二节)。6.4)和两个可见视图规范。然后,我们根据等式(1)计算每个点的两个采样视图处的对应的光像素。 3,得到c1,c2,c1,c2,...,c1,c2. 这里上标表示视图,而下标表示点。接下来,我们使用当前网络将这些lumitex-els变换为一组特征向量,如h1,h2,h1,h2,… h1,h2.在[31]之后,我们定义dij=H1h22. 该绝对欧几里德距离被转换为等式(1)中的相对距离。六、注意,通过最小化-我们的网络是用PyTorch [21]在一个工作站上实现的,该工作站配有Intel Core i9- 10940 X CPU、256 GB内存和GeForce GTX 2080 Ti显卡。我们首先在一个小时内对每个分支进行10万次迭代的预训练。之后,我们在大约4小时内训练完整的网络进行30万次迭代。学习率设置为10-4。对于每个视图,我们使用总共8个光度测量,其中5个用于强度不敏感分支,3个用于敏感分支。这对应于每个视图8 2= 16个非负照明图案/输入照片(在第2节中详述)。6.2),使用我们的设置需要15秒才能捕获。为了扫描3D物体,我们将转盘旋转到24ingL 主要,我们本质上是最大化dij因为我j和等间隔的角度(θ i=i2π,i = 0,1,...,第23段)。我们使用最小化分别对应于独特性和不变性性质的Dii我们将正则化项Lreg=ww2添加到最后一层以避免过拟合,其中w是该层中的权重我们在所有实验中使用λ=36.4. 培训类似于先前关于差分反射率采集的工作[14,15],我们通过随机采样参数来合成训练lumitexel以用于评估等式(14)。基于GGX BRDF模型的3个模型,包括几何参数(3D位置和局部框架)、材质参数(漫反射/镜面反射和各向异性粗糙度)和视图规范θ。我们使用θ来变换采样位置和局部帧,这模拟了采集过程中转台的旋转。此外,我们将每个测量值乘以高斯噪声(μ=1,σ=1%),以增加网络的鲁棒性。7. 实现细节为了处理RGB输入照片,对于每个像素,我们将网络应用于每个通道的测量值,并将每个通道的结果连接为一个长向量。为了有效的后续处理,通过主成分分析(PCA)对不同视图上的所有变换特征执行降维。然后将降维的特征映射馈送到我们修改后的COLMAP [24,25]版本,该版本对多通道浮点输入图像进行操作为了推广到一种最先进的多视图光度立体方法[17]中的输入数据,我们用连接不同照明条件下所有96个测量值该矢量将作为输入发送到强度敏感和每个颜色通道的特征长度为16。在发送到COLMAP之前,使用PCA将尺寸减小到4使用该网络转换100万个特征需要1.3秒,而我们修改后的COLMAP需要1.5小时才能从转换后的特征图中计算出密集的3D点云。我们在图1中的不同视图处可视化我们的变换的每像素特征。五、 我们的特征考虑几何变化(例如,正常变化)以及材料不连续性(例如,在狐狸的耳朵、眼睛和鼻子周围),这两者对于可辨别性都是有用的。另一方面,可以从照片观察LED之间的间隙的反射(例如,狐狸的头和身体)。这些间隙是不可避免的,因为它们是摄像机安装所必需的。我们的特征变换学习减少这些对抗性的、依赖于视图的外观。为了进行比较,我们还可视化了L2-Net [31]的学习局部补丁描述符,该描述符是从使用全亮照明模式拍摄的照片中计算出来的我们直接在Brown数据集上测试了他们的网络[4]。请注意,与L2-Net相比,我们的特征更具视图一致性,从而产生更多的对应匹配,如下一小节所示。8.1. 比较多视图立体。在图8中,我们使用我们的框架与多视图立体中的四种替代方法来比较利用光舞台捕获的多个对象的重建结果。CasMVSNet [11]是一种最先进的基于学习的多视图立体技术。L2-Net [31]学习用于3D重建的局部特征,而可微分反射率捕获[15]采用dif-fuse 反 照 率 和 法 线 作 为 不 变 的 几 何 特 征 。 对 于COLMAP [24,25],我们提供了使用全光照模式拍摄的多视图照片。此外,我们测试5961图5:不同视图的特征比较。最上面一行是在全光照模式下的照片。第二行可视化了L2-Net [31]从上述照片中学习的特征。我们的功能在最后一行可视化,在多个视图中更加一致。所有高维特征都投影到3D以进行可视化。单视图[13]美国[17]12.8/11.2 28.3/65.038.5/83.6图6:单[13] /多视图[17]光度立体和我们的框架与灯光舞台之间的比较。我们显示颜色编码的几何重建误差相对于地面实况模型。比例尺的单位是mm。准确性/完整性的定量误差报告在底部。表1:不同方法的重建质量的定量评价(在图1中)。8),在Imm阈值下的准确度/完整性(%)。我们的[11][31][15][24,25]狐狸53.1/71.941.1/34.2 29.4/20.0 40.2/26.9 39.9/21.3猫38.5/83.633.5/23.8 29.7/08.8 28.1/13.1 38.4/05.7公鸡 65.3/79.866.5/60.6 55.8/53.8 56.3/19.870.6/23.1杯44.6/98.244.6/75.4另一种模式相当于图中四个间隔良好的点光源。9,引入更多的阴影线索用于重建。在所有情况下,现有工作主要生成3D点[17]第十七话:我的世界24.8/28.4 49.7/79.6图7:光度立体和我们的框架之间的比较,该框架适应于来自DiLiGenT-MV的输入。我们显示颜色编码的几何重建误差。准确度/完整性的定量误差报告在底部。在高空间频率的区域周围。对于其他区域,由于缺乏有区别的输入信息,不能建立可靠的对应关系。我们的方法产生更完整的形状,因为我们完全和自动地利用光度信息来计算独特的和视图不变的特征(在图中可视化)。(五)。请参阅制表符。对于在1 mm阈值下测量的准确性/完整性(%)的定量误差,为1光度学立体。我们首先将我们的网络与来自灯光舞台的数据进行比较,与最先进的单视图/多视图光度立体图进行比较在图6中。将具有不同照明条件的一百张照片作为输入馈送到两种方法。为了对重建的几何形状进行定量误差分析,我们使用基于结构化照明的手持式工业扫描仪[29]以0. 与相关工作相比,我们的重建结果具有较低的几何误差,这是由于可靠特征对应的更广泛覆盖(参见图1)。图(八)。接下来,我们将我们的网络推广到DiLiGenT-MV的输入进行比较(Sec. 7)对抗Bear对象上的光度立体。我们的结果优于[5]和[17]。对于[5],法线的积分累积了深度图生成中的误差,这在单个视图处校正是具有挑战性的。对于[17],它们的质量对初始点的精度敏感,并且其深度传播受曲率的影响。该实验证明了我们对不同输入条件/采集设置的泛化能力。此外,我们在图中比较我们的框架和多视图照片测量立体[17]之间的Bear的重建误差我们的重建质量始终较高,并且不会随着灯光数量的减少而降低。图11进一步可视化53.5/83.9我们[31]第三十一话5962[11]第十一届全国人大常委会第十五次会议审议通过《中华人民共和国电信与信息服务业务经营许可证》。 COLMAP [24,25]图8:与多视图立体方法的比较第一列是实物的照片第二列到最后一列是使用我们学习的特征,CasMVSNet[11],使用L2-Net [31]学习的局部特征,根据[15]的漫反射/法线映射的组合结果,以及在全光照模式下拍摄的图像上的COLMAP [24,25]的相应的定量误差报告见表1。1.一、百分之一百75.00%50.00%百分之二十五0.00%的百分比四一六四八九十六完整性(我们的)完整性([17])准确性(我们的)准确性([17])图9:使用COLMAP [24,25]对具有4个点光源的照片进行重建的结果,与全亮模式相比,具有更多的阴影线索。左边的图像是照片,右边的是几何重建。准确率为34.8%,完整性为5.6%。结果从左边两个图像可以看出,即使使用一种最先进的基于学习的方法[5],有限的照明变化也不足以预测可靠的法线另一方面,[17]努力识别等值线中的方位角,导致形状失真。相比之下我们的重建抓住了图10:使用不同数量的输入照明条件(如x轴所示)比较Bear与多视图光度立体[17原始对象的几何特征,证明了有效地利用输入中可用的高度有限此外,我们在图1中具有高度挑战性外观和形状的物体上进行测试。十三岁 扫描仪故障 为了产生有用的结果,由于在物体表面上的复杂的光传输严重地扭曲了结构,杯猫公鸡福5963表2:具有不同参数的网络/分支的损耗L_main括号中列出了每个相应的带宽- Inten.敏感分支- Inten.不敏感分支我们网络56.43(3)56.85(3)53.89(5)53.98(6)53.17(10)55.32(3)53.72(5)53.72(5)11.33(6)10.33(8)9.45(10)图11:与只有4个输入照明条件的光度立体的比较从左到右,地面真实法线贴图,使用[5]预测法线,使用[17]进行几何重建,以及我们的结果。65.1/79.8 64.9/80.2图12:噪声对几何重建的影响。从左到右,我们将捕获的测量值与单位平均值和0%/1%/5%高斯噪声的标准偏差准确性/完整性的定量误差报告在底部。图13:具有复杂几何形状和外观的挑战性对象的几何重建。从左到右是我们的结果,来自基于结构照明的3D扫描仪[29],单视图光度立体[13]和照片的结果。固定模式出于类似的原因,单视图光度立体[13]会导致深度图出现相当大的偏差作为比较,我们的方法产生了一个三维点云,捕捉原始对象的主要几何特征8.2. 评价在平衡重建时间和质量之后,我们将最终特征长度设置为4。对于网络的每个分支,我们发现,使用的特征长度大致等于其测量数的两倍罢工之间的特征的独特性和计算时间的我们在Tab中报告具有不同参数的网络/分支的Lmain二、总的来说,损耗随着测量次数的增加而减少(即,带宽)。这表明我们的框架可以利用可用的输入带宽来提高特征质量。另外,当将第二列与最后一列进行比较时,可以观察到添加强度不敏感分支的有效性,第二列和最后一列在每行处具有相同的带宽。最后,我们评估我们的功能相对于测量噪声的鲁棒性图。12个。所提出的框架产生合理的结果,即使当添加具有其训练对应物的幅度的5倍的噪声时,如图所示。9. 结论我们提出了一种新的框架,自动和联合学习,以有效地测量的物理photometric信息,并转换成独特的和不变的功能,它可以插入到现有的多视图立体管道三维重建。高质量的几何测量结果在许多具有复杂外观的日常对象上得到证明,优于最先进的技术。我们希望我们的工作将激发兴趣,ING未来的工作,结合多视图和光度线索的几何重建在一个统一的框架。拟议的工作受到一些限制。它不对反射之外的外观(例如,次表面散射)进行建模,也不明确处理全局照明效果,如自阴影或相互反射。此外,当前框架需要校准的、受控的照明。这将是有前途的研究方向,以解决这些限制,扩展到更一般的设置的想法。我们还感兴趣的是采用其他物理尺寸(例如,偏振/高光谱成像)考虑额外的辨别能力。致谢。作者感谢李敏、顾晓东和戴作卓的帮助。这项工 作 得 到 了 NSF 中 国 ( 61772457 , 6202207261890954)的部分支持。5964引用[1] 尼尔·奥尔德林,托德·齐克勒,大卫·克里格曼。具有非参数和空间变化的反射率的照相测量立体。在CVPR,第1-8页,2008中。二个[2] Neil G Alldrin,Satya P Mallick,and David J Kriegman.用熵最小化方法重新求解广义地貌模糊性在CVPR,第1-7页,2007中。二个[3] Ronen Basri,David Jacobs,and Ira Kemelmacher.普通的,未知灯光的立体摄影。IJCV,72(3):239-257,2007. 二个[4] 马修·布朗,华刚,西蒙·温德。局部图像描述符的判别学习。TPAMI,33(1):43- 57,2010. 五个[5] Guanying Chen,Kai Han,and Kwan-Yee K Wong. Ps-fcn:一个灵活的光度立体学习框架。在欧洲计算机视觉会议(ECCV)的会议记录中,第3-18页,2018年。一、六、七、八[6] Zhaopeng Cui,Jinwei Gu,Boxin Shi,Ping Tan,andJan Kautz.偏振多视图立体。在CVPR中,第1558-1567页,2017年。二个[7] M.菲亚拉Artag,使用数字技术的基准标记系统。在CVPR,第590-596页vol. 2005年2月。二个[8] 我是Furuk和CarlosHerna'ndez。多视图立体声:教程。Foundations and Trends in Computer Graphics andVision,9(1-2):1-148,2015。一、二[9] 加利亚尼,拉辛格,辛德勒。表面法向扩散的大规模平行多视点立体视觉。在ICCV,第873-881页,2015中。二个[10] Dan B Goldman,Brian Curless,Aaron Hertzmann,andSteven M Seitz. 来 自 摄 影 立体 的 形 状 和 空 间 变 化的brdfsTPAMI,32(6):1060-1071,2009. 二个[11] Xiaodong Gu,Zhiwen Fan,Siyu Zhu,Zuozhuo Dai,Feitong Tan,and Ping Tan.级联成本体积高分辨率多视图立体和立体匹配。在IEEE/CVF计算机视觉和模式识别会议论文集,第2495-2504页,2020年。五、六、七[12] Carlos Hernandez George Vogiatzis和Roberto Cipolla。多视图光度学立体。TPAMI,30(3):548-554,2008.一、二[13] 池畑聪和相泽清晴。一般各向同性表面使用约束二元回归的光度立体。在CVPR,第2179-2186页,2014年。六、八[14] Kaizhang Kang , Zimin Chen , Jiaping Wang , KunZhou,and Hongzhi Wu.使用自动编码器的高效反射率捕获。ACM事务处理图表,37(4):127:1-127:10,July 2018. 5[15] Kaizhang Kang,Cihui Xie,Chengan He,Mingqi Yi,Minyi Gu,Zimin Chen,Kun Zhou,and Hongzhi Wu.学习有效的照明多路复用,用于反射率和形状的联合捕获。ACM事务处理图表,38(6):165:1- 165:12,Nov. 2019. 二三五六七[16] Marc Levoy , Kari Pulli , Brian Curless , SzymonRusinkiewicz , David Koller , Lucas Pereira , MattGinzton , Sean Anderson , James Davis , JeremyGinsberg,et al.数字米开朗基罗项目:大型雕像的3D扫描在Proc. SIGGRAPH,第131-144页,2000中。一、二5965[17] Min Li , Zhenglong Zhou , Zhe Wu , Boxin Shi ,Changyu Diao,and Ping Tan.多视图光度学立体:空间变化各向同性材料的鲁棒解决方案和基准数据集。IEEE Transactions on Image Processing , 29 : 4159-4173,2020。一、二、五、六、七、八[18] Fotios Logothetis,Roberto Mecca,and Roberto Cipolla.多视点光度立体的差分体积方法。在IEEE/CVF计算机视觉国际会议论文集,第1052-1061页,2019年。一、二[19] Feng Lu,Yasuyuki Matsushita,Imari Sato,TakahiroOkabe,and Yoichi Sato.未知各向同性反射率的未校准光度立体。在CVPR,第1490-1497页,2013中。二个[20] Diego Nehab 、 Szymon Rusinkiewicz 、 James Davis 和Ravi Ramamoorthi。有效地结合位置和法线精确的三维几何。ACM图形交易(TOG),24(3):536-543,2005年。一个[21] Adam Paszke 、 Sam Gross 、 Francisco Massa 、 AdamLerer 、 James Bradbury 、 Gregory Chanan 、 TrevorKilleen 、 Zeming Lin 、 Natalia Gimelshein 、 LucaAntiga 、 Alban Desmaison 、 Andreas Kopf 、 EdwardYang 、 Zachary DeVito 、 Martin Rai son 、 AlykhanTejani 、 Sasank Chilamkurthy 、 Benoit Steiner 、 LuFang、Junjie Bai和Soumith Chintala。Pytorch:一个操作 风 格 的 高 性 能 深 度 学 习 库 。 In H.Wallach , H.Larochelle 、A. B e ygelzime r、F. d'Alc he´-Buc,E.Fox 和 R.Garnett , 编 辑 , NIPS , 第 8024CurranAssociates,Inc. 2019. 五个[22] Matt Pharr,Wenzel Jakob,and Greg Humphreys.基于物理的渲染:从理论到实施。摩根·考夫曼,2016年。二个[23] Joaquim Salvi,Jordi Pages,and Joan Batlle.结构光系统中的图案编码策略。Pattern recognition,37(4):827-849,2004. 一、二[24] Johann e sLutzSchoünber ger和Jan-MichaelFrahm。结构从运动重新审视。 在CVPR,2016年。 二五六七[25] JohannesLutzSchoünberger,EnliangZheng,MarcPollefee ys,and Jan-Michael Frahm.用于非结构化多视图立体的逐像素视图选择。在ECCV,2016年。二五六七[26] Florian SchroffDmitry Kalenichenko JamesPhilbinFacenet:用于人脸识别和聚类的统一嵌入在CVPR,第815-823页,2015年。三个[27] Boxin Shi , Ping Tan , Yasuyuki Matsushita , andKatsushi Ikeuchi.反射单调性的仰角:一般各向同性反射 率 的 光 度 立 体 。 参 见 ECCV , 第 455-468 页 。Springer,2012. 二个[28] Boxin Shi,Zhe Wu,Zhipeng Mo,Dinglong Duan,Sai-Kit Yeung,and Ping Tan.非朗伯和未校准光度立体的基准数据集和评估。在CVPR,第3707-3716页,2016年。二个[29] Shining3D。 EinScan Pro2X加上手持工业扫描仪https://www.einscan.com/手持3d扫描仪/2x-plus/。六、八[30] Karen Simonyan Andrea Vedaldi和Andrew Zisserman使用凸优化学习局部特征描述符TPAMI,36(8):1573-1585,2014. 二、三5966[31] Yurun Tian,Bin Fan,and Fuchao Wu. L2-net:在欧氏空间中对判别性补丁描述符进行深度学习。在CVPR中,第661-669页,2017年。二三四五六七[32] DanielVlasic,Pieter Peers,Ilya Baran,Paul Debevec,JovanPopovic´ , SzymonRusinkiewicz ,andWojciechMatusik. 使用多视图光度立体的动态形状捕获ACM SIGGRAPH Asia 2009论文,第1-11页。2009.一、二[33] 作 者声 明: Stephen R.Marschner,Hongsong Li , andKen- neth E.托兰斯粗糙表面折射的微面模型。在第18届 Eurograph 会 议 上 -ICS 关 于 渲 染 技 术 的 会 议 ,EGSR'07,第195-206页,Goslar,DEU,2007。欧洲制图协会。三个[34] 罗伯特·J·伍德汉姆从多个图像确定表面取向的光度测定方法。光学工程,19(1):191139,1980. 一、二[35] Chao-Yuan Wu,R Manmatha,Alexander J Smola,andPhilipp Krahenbuhl.采样在深度嵌入学习中很重要。在ICCV,第2840-2848页,2017年。三个[36] Shihao Wu , Hui Huang , Tiziano Portenier , MatanSela , Daniel Cohen-Or , Ron Kimmel , and MatthiasZwicker.用于多视图重建的镜面反射到漫射转换。参见ECCV,第183-200页,2018年。二个[37] Sergey Zagoruyko和Nikos Komodakis通过卷积神经网络学习在CVPR,第4353-4361页,2015年。二、三[38] Jure Zbontar和Yann LeCun。用卷积神经网络计算立体在CVPR中,第1592-1599页,2015年。二个[39] Zhenglong Zhou,Zhe Wu,and Ping Tan.具有空间变化的各向同性材料的多视图照相立体。在CVPR,第1482-1489页,2013中。二个
下载后可阅读完整内容,剩余1页未读,立即下载
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![.pdf](https://img-home.csdnimg.cn/images/20210720083646.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)