没有合适的资源?快使用搜索试试~ 我知道了~
311使用基于DNN的光度立体Takafumi Iwaguchi九州大学,日本iwaguchi@ait.kyushu-u.ac.jp川崎浩日本福冈九州大学kawasaki@ait.kyushu-u.ac.jp摘要光度立体(PS)是恢复每个像素的表面法线的主要技术。然而,由于它假设朗伯表面和定向光来估计值,因此通常需要大量的图像来避免离群点和噪声的影响。在本文中,我们提出了一种通过使用分布式光源来减少图像数量的技术,其中模式由深度神经网络(DNN)优化。此外,为了有效地实现分布式光,我们将光学漫射器与视频投影仪一起使用,其中漫射器由投影仪从后面照明,漫射器上的照明区域就像任意形状的区域光一样工作。为了使用分布式光源估计表面法线,我们提出了一种使用DNN的近光光度立体由于分布式光的模式优化是通过可微分渲染器实现的,因此它与NLPS网络连接,实现端到端学习。实验表明,该方法可以从少量图像中成功地估计出表面法线。1. 介绍在各种各样的基于主动照明的3D采集方法中,光度立体(PS)已经吸引了研究者超过40年,因为它具有独特的特征,因为它能够仅从场景从各种光方向照射的图像中鲁棒地恢复逐像素表面法线[13]。为了有效地估计表面法线,线性解决方案假设Lambertian表面和定向光源已被提出。通过使用该技术,理论上可以仅使用三个输入(三个照明方向的像素值)来恢复每个像素的表面法线然而,由于存在许多类型的反射,例如镜面反射或次表面散射,因此通常需要大量图像来抑制这些影响以及异常值,噪声此外,光源的类型很多,如点光源或面光源,通常在线性解决方案之后应用非线性技术,例如,最近提出了近光光度立体(NLPS)[2,9]或深度神经网络解决方案[21,24,40,34,22]在本文中,我们提出了一种通过使用分布式光源来减少图像数量的技术,其中模式由深度神经网络(DNN)优化为了解决这个问题,我们提出了一种方法,同时设计任意形状的分布式光源,以及训练DNN NLPS。该方法利用可微分渲染器优化了分布光场的设计,并与NLPS模块来实现端到端的学习。在任意形状的分布式光源的实现方面,一种方法是物理地布置多个点光源,这是一项费力的工作。在我们的方法中,我们建议使用漫射光学灵活的测量。在该系统中,使用了具有静态视频投影仪的光学扩散器,这还没有被提出用于PS,因为它不等同于定向光。如果漫射器由视频投影仪从后面照明,则漫射器上的照明区域作为任意形状的区域光工作即在扩散器上设置大量的点光源。实验结果表明,该方法不仅能有效地估计仿真数据的曲面法线,而且能有效地估计真实环境中的曲面法线,只需少量的测量数据即可实现曲面重构我们作出了以下贡献,• DNN解决方案的NLPS,这是设计使用光参数作为输入,允许任意分布的光源,而无需重新训练,提出。• DNN以端到端的方式设计光图案的最佳分布,这允许使用少量输入来鲁棒地估计表面法线。虽然严格分析测量的数量实际上是困难的,但我们的实验部分验证了这一点。312• 提出了一种使用光学扩散器与视频投影仪的高效捕获系统,该系统可以实现光源的精确和任意分布,而无需实际设置独立的光源2. 相关工作2.1. 用于主动测量的漫射器已被用作光源进行主动测量,但很少用于PS。例如,当由各向同性漫射器漫射时,镜面反射已知根据法线方向改变其强度,并且该属性已用于处理具有镜面反射的对象,诸如金属对象,与朗伯对象相同[12,30,29]。类似地,Nayaret al.通过将编码图案投射到漫射器上,在金属物体上实现结构光[28]。另一方面,Schechner等人提出了使用投射在漫射壁上的光作为PS光源的概念。[35]第35段。由于漫反射很弱,它只能捕获暗阴影图像,因此,为了提高其信噪比,他们提出了一种光复用方法,需要大量的图像。此外,为了将投影区域近似为无限光源,即使在大型采集室中,该技术也只能恢复小物体相比之下,由于前向方向的强度分布对于光学漫射器是占主导地位的,因此可以大大提高能量效率,并且小的数据采集室是可能的。此外,通过引入NLPS,可以进一步减少。2.2. 非朗伯表面和NLPSPS最具挑战性的问题之一是非朗伯曲面的材料作为去除非朗伯反射(例如镜面反射)的可能方法,已经提出了使用具有四个或更多个光源的阴影图像的方法[3]和使用光学器件分离反射分量的方法[27]。作为用于镜面反射去除的算法,已经提出了基于中值滤波器的方法[25]、基于双向反射分布函数(BRDF)模型的方法最近,已经提出了基于DNN的方法[39,32,11,7,33,34],其中DNN在包括各种材料的数据集上进行训练,以处理非朗伯表面。然而,他们的技术只能在相同的训练设置下恢复正常。在本文中,我们改进了DNN,使用光照信息作为输入,以便网络可以估计除训练条件外的任意光照条件的PS的另一个挑战是非定向光源,例如点光源或面光源。由于使用点光源的法向估计取决于深度,并且不能在线性系统中计算,因此已经研究了NLPS的几种算法[21,24,40,34,22]。由于它们假设各向同性的光分布,因此需要精确和复杂的校准,这通常是一项困难的任务。还有另一种NLPS使用计算机显示器[36]使用面光源,其中矩形图案被投影到显示器上,然后重建法线和深度。由于典型的液晶显示器(LCD)具有复杂的发射特性,包括角度依赖性,因此重构的形状具有有限的质量。在我们的方法中,DNN首先由CG针对任意光分布进行训练,然后使用真实数据集进行微调以实现足够的质量。2.3. 测量的最佳照明Li等提出了一种方法来提高正常估计精度,即使在使用少量测量时也是如此[19]。在该技术中,他们假设方向光,并通过考虑由自遮挡引起的投射阴影的存在来相比之下,我们的方法估计多个点光源的分布,这不仅可以补偿投射阴影,而且还可以提高低光照条件下的准确性有一种技术可以找到用于获取BRDF的最佳光分布他们使用多路复用方法来减少使用具有高密度LED阵列的设备的测量次数。DNN用于学习如何在执行的测量数量有限时从观察到的图像中复用光和解码BRDF。我们还应用类似的方法来估计光源的分布,以减少PS所需的测量次数。3. 使用空间分布光源的PS3.1. 具有光学漫射器的传统的PS需要知道光源信息,例如每个光源的方向,并且需要校准。在我们的方法中,不是使用物理光源,而是使用由视频投影仪照亮的光学漫射器,其投射如图11所示的光图案1.一、由光图案照亮的漫射器作为面光源工作,其相当于分布在漫射器上的许多点光源。场景的法线是通过使用DNN的扩展NLPS来估计的。此设置具有以下优点。1.光学漫射器在前向方向上具有较强的强度,并且可以实现比反射漫射器更好的能量效率[35]。2. 通过由视频投影仪同时照射漫射器的多个位置,其输出比漫射器的多个位置更多的能量。313N∼⊙损失函数渲染器模块着色图像光图案估计正常PS模块(a) 培训架构。PS模块估计正常值图1:测量设置图示。空间上在漫射器上实现了分布式光源照明单个位置,实现高信噪比。3. 多重照明可柔化阴影,减少复杂形状物体边界附近阴影的影响,并使正常估计更容易。此外,它允许灵活的设置,允许相机放置在漫射器的前面。3.2. NLPS光源的优化分布NLPS需要多幅不同光照条件下的阴影图像来估计曲面法线,但光源的最佳分布并不明显。在我们的方法中,为了确定合适的光源分布,我们设计用于视频投影仪的图案,使得估计的表面法线的准确性高。该方法的难点之一是没有一种通用的方法来估计任意分布光源下场景图像的法线。因此,在所提出的方法中,我们设计的模式和正常的估计算法同时进行。为此,我们使用基于DNN的PS模块来估计法线,并使用可微分渲染器来从优化的光图案合成着色图像详细信息见第二节。4.第一章3.3. 算法概述我们提出 的算法的概述 如图所示。2.训练期间(图)2a),我们使用可微分渲染器来合成任意多路照明条件下的着色图像。渲染器的输入是表面法线和深度贴图,它们是通过预先栅格化网格计算的。还将输入灯光参数,包括区域光源的中心、姿势和大小。渲染器模块然后基于表示照明图案的光参数和权重来生成着色图像。PS模块然后将这些阴影图像作为输入。为了处理各种照明条件,光信息(即,参数和模式)也被使用端到端架构,其结合渲染器和PS模块以学习区域照明模式并同时执行PS估计。在该方法中,通过固定用于任意照明条件的权重来独立地训练PS模块(图1)。第2b段)。PS模块首先经过预训练,(a) 推理架构。图2:算法概述。端到端体系结构,随后使用照片真实感渲染图像或真实世界观察来执行微调,对于真实世界的数据,使用学习的模式捕获对象的阴影图像,其中地面真实是已知的,诸如球体或盒子然后使用PS模块基于阴影图像、预校准的光参数和地面实况来估计表面法线。4. 执行(a)渲染器模块渲染器模块在任意分布光源下生成着色图像 通过对对应于每个光源的基本阴影图像求和来生成阴影图像。我们使用两种方法来渲染基本的着色图像,这些算法在第二节中有详细描述4.4 该模块基本着色图像的生成在数据集章节中描述观察到的阴影图像I的强度计算如下:I=最小值Ei我其中表示逐元素乘法。在这里,为了再现现实世界中的观察,噪声(0,σ2)按正态分布加到整个图像上,超过1的像素值被裁剪以模拟饱和度。分布式光源的强度矢量是待优化的参数。在投影仪的情况下,它对应于投影图案的每个像素值,并且在技术上可以具有输出位深度范围内的任何值。然而,网络可能会学习依赖于光源强度的微小变化,这对噪声太敏感,并导致具有非线性强度响应曲线的真实世界投影仪的估计失败。防止目标光学漫射器照明模式捕获图像常数值正常深度光params明暗度图像光图案光参数314为此,我们将Gumbel softmax函数[15]GS应用于网络参数以学习二进制强度:Ei=GS(ci,τ),(2)其 中表示第i个源的强度的原始权重值,并且τ表示Gumbel softmax的温度参数。(b) PS模块PS模块从阴影图像估计表面法线。由物体表面接收的光量由于每个贡献依赖于点光源与物体表面之间的距离,当物体形状未知时,很难从阴影中解析地确定物体因此,我们使用基于DNN的机器学习来从阴影中估计表面法线。阴影图像取决于光源位置。因此,在特定光源配置下获得的数据集上训练的模型将不会针对不同的照明配置正确地估计一种解决方案是未校准的PS [4,26,10],其在不知道照明信息的情况下恢复法线,然而,法线和照明配置不是仅从阴影唯一确定的;这被称为浅浮雕模糊[5]。因此,为了估计除训练的光源配置之外的任意光源配置下的法线,我们将阴影图像和光源参数都输入到PS模块。如图如图3a所示,该网络由用于处理阴影图像的阴影分支、用于处理光源参数的光分支和解码器组成。着色分支和解码器形成一个U-Net卷积神经网络结构,以估计法线,同时保持几何特征。该网络的输入是一堆阴影图像,其输出是法线。光分支的输入是描述光源的空间分布以及每个源的位置和强度的二维图像图像的每个像素是四维向量,其通过连接P的离散区域的中心的3D坐标及其强度Ei来给出。这种表示允许我们处理在任何位置和任何方向上具有任意形状的空间分布光。通过光分支将光源信息编码为特征向量。然后,由编码器针对着色分支提取的特征和光源信息的特征被级联以形成解码器输入。着色分支由三个下采样层组成,解码器由三个上采样层组成,通过跳过连接进行连接。光分支由三个下采样层组成。在每层中执行两次批量归一化(BN)、卷积和激活(整流线性单元或ReLU)过程。(c)培训详情在训练过程中,这两个模块连接起来,然后用作端到端架构,以学习区域照明模式并同时执行PS估计两种学习策略被用来实现这项工作的两个目标:学习有效模式并获得光源位置所需的泛化性能。当学习有效模式时,我们使用具有小范围光源参数变化的增强方法,以通过允许PS模块快速收敛来加速表示照明模式的网络权重的训练。为了获得光源放置所需的泛化性能,我们固定了代表模式的网络权重,然后只训练PS模块。可以通过增加光源配置中的变化的数量来改善泛化性能。OR数据集,将在第2节中介绍。4.4中描述的方法在训练期间在线呈现,以允许关于光源亮度的增强。为了处理真实世界的图像,包括全局照明,我们使用照片般逼真的计算机图形或真实世界的图像对PS模块进行了微调。在微调过程期间,仅着色分支中的编码器层的权重由附加训练更新。我们使用L-1范数作为基础事实,使用预测的正态分布作为训练的损失函数,如下所示L=n-n1。(三)自适应矩估计(ADAM)算法[18]用于优化过程。学习率为0.001,epoch数为300。(d) 训练数据集现有的PS数据集不能用于训练我们的网络,因为它使用定向光。我们创建了两个具有不同目的的数据集进行训练。第一个是在线渲染(OR)数据集,它通过在训练期间在线增强光源放置来覆盖许多变化。为了实现这一点,法线和深度图在训练之前被光栅化,并且在训练期间根据光源放置从这些图在线生成阴影图像。着色图像是使用基于漫反射和Phong材质公式的线性矩阵计算来计算的我们从斑点形状数据集[16]中选择8个网格作为形状,315模式漫射PhongPhong图案的着色图像(a)(b)第(1)款图3:(a)PS模块的网络架构。(b)分别为漫反射和Phong材质学习四种模式。对于相同的材料,每个图案都是不同的,并且图案与其他材料不同。在Phong材质的示例着色图像中,可以确认镜面反射分量并不总是停留在同一位置。对象中心的平移从(-0.5,-0.5,-0.5)随机设置到(0.5,0.5,0.5),旋转从- 围绕x、y、z轴成180度至180度,并且尺寸为0.1至1.5。该数据集包含4000个漫反射材质和4000个Phong材质。以相同的方式从剩余的2个网格生成着色图像,并用于测试。第二 个是Eevee Prerender (EP ) 数据 集,它 由Blender中实现的Eevee渲染器[1]生成,包含各种材质。这种渲染不能在训练期间完成,所以我们使用预渲染。作为一个基于GPU的渲染器,Eevee速度很快,可以处理许多类型的材质和光源,尽管它不如路径跟踪真实。为了覆盖真实世界的材料,使用各种参数生成材料的合成图像。在[11]之后,我们在迪士尼的原则性BSDF中为三个类别(漫反射、镜面反射、金属)设置了不同的我们设置了以下参数,对原始工作进行了 轻 微 修 改 : baseColor , metallic , specular ,roughness,sheen,sheen tint,IOR。请参见补充材料了解每个参数的范围。图是使用随机形状生成器插件生成的,该插件可以使用细分生成带边缘的该数据集包含2000个漫反射、1000个镜面反射和1000个金属反射。图像以256x256的分辨率渲染,并在加载时调整大小。在这两个数据集中,扩散器中心的平移从(-0.5,-0.5,4.5)到(0.5,0.5,5.5)随机设置在OR数据集中,这些参数在每次迭代时都会发生变化,而在EP数据集中,参数在训练期间是固定的。5. 实验结果(a)综合数据与其他NLPS方法的比较:我们评估所提出的方法的正常估计在模拟环境中的准确性。如图所示,针对由不同材料制成的物体1-5,比较了几种最先进的NLPS技术[31,20,33]的估计精度。4a. [31]是一种迭代校准PS方法。它以8个明暗图像作为输入,光源位置和相机参数作为输入。[20]是弱校准方法,并将光源定位在大致指定的方向上拍摄的6个阴影图像作为输入[33]是基于DNN的校准PS方法,因此相机和光源位置作为输入给出。测试数据集是通过使用EEVEE渲染器渲染与[33]中所示设置相同的场景来生成的,因为提供的预训练模型取决于其训练数据。光源放置在16x16平面阵列上。 本比较中的分辨率为64x64。所提出的方法使用16个优化的图案图像,并且模型根据设置进行微调由于所有方法都使用光源位置作为输入,因此我们预期所有方法都将在此测试数据上表现良好。定性评价见图。4a. Ob-1 -3主要由漫射分量控制。所有技术都一致地估计了#1的正常值,而[31]显示了对象上部的正常偏移。对象#2由平面组成并且具有遮挡边界;基于DL的技术[20,32]和所提出的方法成功地估计了边界,而[31]失败了。平面被估计为曲面的事实也表明同时估计法线、深度和曲率是不稳定的计算。所提出的方法也是准确的,在上遮挡重新,12864解码r32 3明暗度图像正常64强度32128256着色分支损失zyX64���∗ 332128256轻t分支GT正常316型号漫反射镜面金属D 2.52 6.4010.78DSM 4.81 6.55 7.78表1:与现有技术的近光PS方法的误差比较。[31][20][33]提出MSE0.621 0.430 0.3470.193Mae38.10 26.4613.68gion,显示漫射光源的效果。#3是光泽材质,基于DL的方法[20,32]显示了整体法线偏移,表明训练模型无法充分处理该材质的着色。对象#4具有镜面反射分量,并且[32]在对象的中心具有人工制品。另一方面,[20]和所提出的方法显示出一些伪影,但总体正常质量较高。#5是一种金属材料,可以看出,[20]不能处理这种材料,因为它的正常精度低,而[31]未能估计正常,因为优化的收敛条件不满足。所提出的方法可以处理不同的阴影的材料,和估计精度高,即使在遮挡区域,确认没有问题,即使在遮挡边界的存在。误差在表1中以均方误差(MSE)和平均角度误差(MAE)示出。实验结果表明,该方法优于其它方法.所提出的方法的高分辨率结果(256 × 256)如图所示.4b.估计的大部分是高度准确的,但是由于经常存在的投射阴影,在镜面反射场景中存在误差。优化图案的评价:漫射和Phong材质的估计图案,其中假设四个图案被投影到场景上以估计表面法线,如图所示。3.在漫反射表2:所提出的方法与稀疏PS方法的误差比较[41]。错误显示在MAE中。σ提出[41]第四十一话0.00013.0110.000.05015.0326.130.10013.7835.360.40036.60N/A表3:不同材料数据集的MAE。阴影根据图案变化很小,并且精度受图像分布的影响。对于镜面反射材质,光源之间的重叠会导致不正确的估计。该方法随着图案数目的增加自动优化重叠较少的图案组合,当图案数目为16时获得最高精度。另一方面,随机图案的精度不随图案数量的增加而改变,这表明阴影没有被有效地使用。与稀疏PS的比较:我们将我们的技术与稀疏PS技术[41]进行了比较,后者从少量测量中估计高质量的正常值。我们使用预训练模型进行推理[41],该模型由针对DiLiGenT数据集训练的作者提供[37]。测试数据由基于物理的渲染[14]在与DiliGenT数据集相同的设置中生成。我们绘制了100个真实的斑点状阴影图像,材料,发现图案被分成两个区域,其中区域的边界是干净且平滑的。相比之下,在用于Phong材料的图案中,尽管图案大多被分为两部分,但是发现边界的形状复杂,具有小结构。我们认为这是因为这样的高频模式会在不同的位置产生不同的高光,如同一张图(右下)所示,这有助于估计表面法线。我们比较学习模式的随机模式,以确认学习模式提高了正常估计的准确性。随机图案被二值化,并且总像素的大约50%是开的。该测试是在模拟生成的100个漫反射和100个镜面反射对象形状上执行的。结果示于图五、漫射材料可以从不同光源方向上的少量观察来估计法线,并且所提出的方法从四个图像实现了高精度,而随机图案的精度不会随着图像数量的增加而增加,因为方面的影响.请注意,所提出的方法的模型是由不同的渲染器生成的,以便进行公平的比较。为了使模拟逼真,我们还添加了光子噪声,如果曝光变低,噪声就会变大两种方法的估计法线的MAE如表2所示如果没有噪声,[41]和我们的技术都可以高精度地估计表面法线。然而,如果噪声比增加,则我们的方法的输入不会改变其外观,因为分布式光通过全局照明在每个像素处保持足够的能量,而对于[41],由于定向光可以在一个点处提供有限的能量,因此信噪比(SNR)急剧下降,因此,可以确认我们的方法估计的表面法线的准确性优于[41]。跨材料泛化能力评价:在本实验中,使用三种不同的材料对网络进行训练和测试,以评估其跨材料的泛化能力。 EP数据集[1]分为两个,并使用它们训练网络:在由1000个漫射对象和DSM模型组成的数据集上训练D模型317建议随机建议随机×着色[19个][30][32]拟议GT着色估计GT#1#2#3#4#5(一)0.0400.0350.0300.0250.0200.0150.0100.0050.000(a)电话:021 - 88888888传真:021 -88888888扩散器中心范围(预测)(b)培训图4:(a)与最新技术的比较#1、#2为漫反射材质,#3为光泽材质,#4为镜面反射材质,#5为金属材质。所提出的技术稳定地估计不同材料的表面法线,即使在存在遮挡区域和边界的情况下。(b)拟议方法的其他结果(c)评估配置的推广201510504 8 16模式数(a) 扩散。201510504 8 16模式数(b) 镜面反射根据其对于相机、漫射器和投影仪位置的配置的泛化性能,提出了网络结构。为了显示我们的方法在系统配置方面的推广能力,我们比较了我们的方法有/没有光分支。我们通过在包围盒中随机改变漫射器中心位置来评估我们测试了两个大小的边界框,如小(1)和大(4),结果如图所示4c. 从图中可以看出,使用轻分支训练的模型图5:优化模式的评估。(a)提出的方法实现了高精度从少量的测量漫射材料。(b)对于镜面材料,精度随着最佳图案的数量而增加,因为更容易防止不同图案中光源的重叠反射。在由600个漫反射、200个镜面反射和200个金属对象组成的数据集上进行训练每个网络模型对三种材料的200个测试数据的估计正态误差如表3所示。在使用漫反射对象进行测试时,D模型具有最高的精度,但对其他两种材质的精度较低对于金属材料,DSM模型比D模型更精确,在漫反射和镜面反射对象上保持一定的精度配置的泛化性能评估:接下来,我们评估了亲的有效性,比那些没有的好。此外,小的边界框比大的边界框更好,可能是因为当训练存在大的变化时,需要更多的数据来提高准确性,例如大的边界框。这些结果表明,所提出的网络实现了足够的泛化性能,即使训练的变化的数量很小。(b) 真实世界测量我们在实际环境中验证了所提出的方法的有效性。测量装置包括一个扩散器(塑料),一个液晶投影仪,和一个相机,如图所示。6a.漫射器上的区域照明使用两个金属球体的高光位置进行校准。散流器中心位于左侧47.3度,距离对象中心405mm作为面光源,图案被投射到387mm × 387mm的正方形区域上。各种材料的表面法线估计:我们反射阴影仅阴影范围:1范围为4阴影+灯光(建议)范围:1范围为4MaeMae金属RMSE弥漫性镜面318着色#1#2#3[30][32个]提出法线3D着色#4#5#6(一)(b)第(1)款(c)图6:真实世界的实验和结果。(a)系统的设置。结果表明,光学扩散器和目标物体之间的距离很近,使系统变得紧凑。(b)与其他NLPS技术的比较。 #1和#2是漫反射材质,#3是镜面反射材质。每种方法恢复的法线非常接近,细节也得到了很好的重建。(c)不同材料的真实物体的正常估计每个对象都有不同的材质;从上到下依次为漫反射塑料、有光泽的陶瓷和有光泽的陶瓷。3D重建显示在最右边的一列。测量由各种材料制成的物体。我们使用了16个由EP数据集训练的本实验的设置略有修改:漫射器放置在物体的前面,漫射器与物体的距离为400mm,图案的投影面积为650 mm x 650 mm。图6b显示了与其他NLPS技术的比较。#1是具有漫射表面的球体。每种技术估计的法线都是平滑的,几乎是相同的。材料#2显示出弱的次表面散射。每种方法都能正确估计全局形状。所提出的方法估计鼻子和眼睛上的小肿块,但这是由于训练数据中缺乏散射材料。#3是一个镜面材质。[31]显示了法线的整体移动,由于对象顶部存在遮挡边界,这对优化产生了负面[33]并且所提出的方法的法线是基于DL的,并且训练数据包含镜面材料,从而产生正确的法线。已评估了#1的估计精度,其地面真值正态分布通过假设其为球体来计算。[31]、[33]和提出的方法的MAE分别为21.44、19.76和14.04,这定量地证实了提出的方法是最准确的。在图6c中,示出了另一个对象及其阴影图像、通过所提出的方法获得的法线以及从法线估计的3D形状。对于三维重建,我们使用泊松法向积分,如[6]中所实现的。总的来说,法线是正确和一致的,法线估计的准确性没有明显的下降,即使材料具有光泽反射,这在#4和#5中观察到。由于形状变化被数据集覆盖,因此将再现盒子的底部边缘,因为盒子的两个平面是几乎彼此正交地正确再现。此外,#5和#6的结果显示了再现详细形状的能力。这是因为用于训练模型的EP数据集包括更多的形状变化。另一方面,#5示出了3D反射中的失真。这是因为3D重建假设了一个投影模型,尽管相机实际上是透视投影,并且法线在法线不连续的边界处是不连续的6. 结论本文提出了一种利用视频投影仪投射到光学漫射器上的分布光图案,通过NLPS估计表面法线的方法。该网络由一个可微分渲染器和一个PS模块组成,旨在生成最佳的分布式光图案,以从少量的测量中估计表面法线。我们还构建了一个网络,其中PS模块不仅可以从阴影图像中学习曲面法线在实验中,我们证明了所提出的方法在模拟和真实数据的有效性,并确认,所提出的方法是有效的各种材料在低曝光条件下。纹理物体的最佳模式构造以及高频形状重建NSPS是我们未来的工作。确认这 项 工 作 得 到 了 JSPS KAKENHI 资 助 号JP20K19825、JP20H00611、JP18H04119和JP21H01457的支持。目标扩散器投影仪相机MAE:21.24MAE:19.76MAE:14.04角度误差319引用[1] Eevee 渲 染 器 。 https://docs.blender.org/manual/en/latest/render/eevee/. [2022年3月1日访问]。[2] 尼尔·奥尔德林,托德·齐克勒,大卫·克里格曼。具有非参数和空间变化的反射率的照相测量立体。CVPR,2008。[3] 斯维特拉娜·巴斯基和玛丽亚·彼得鲁。在存在高光和阴影的情况下,用于三维表面的4源照相测量立体技术PAMI,25(10),2003.[4] Ronen Basri,David Jacobs,and Ira Kemelmacher.普通的,未知的灯光。国际计算机视觉杂志,72:239[5] Peter N Belhumeur , David J Kriegman , and Alan LYuille.浅浮雕的模糊性。国际计算机视觉杂志,35(1):33[6] 曹旭,石博信,大仓文雄,松下康之。通过具有最小点到平面距离的逆平面拟合法向积分。在IEEE/CVF计算机视觉和模式识别会议论文集,第2382-2391页[7] Guanying Chen,Kai Han,and Kwan Yee K.黄。一个灵活的光度立体学习框架.在ECCV,2018。[8] Lixiong Chen,Yinqiang Zheng,Boxin Shi,Art Subpa-asa,and Imari Sato.基于微面的广义各向同性反射率光度立体模型。PAMI,2019。[9] Donghyeon Cho,Yasuyuki Matsushita,Yu-Wing Tai和Inso Kweon。非均匀光强度和曝光下的光度立体。在Bastian Leibe,Jiri Matas,Nicu Sebe和Max Welling,编辑,计算机视觉施普林格国际出版社.[10] Shuhei Hashimoto , Daisuke Miyazaki , and ShinsakuHiura.由内反射图像和形状约束的未标定的光度立体。2019年第1 - 6届国际机器视觉应用会议(MVA),第1-6页[11] 池畑聪Cnn-ps:用于一般非凸曲面的基于Cnn的光度立体。在欧洲计算机视觉会议(ECCV)的会议记录中,第3-18页,2018年。[12] 池内胜史用光度立体法确定特殊表面的表面取向IEEE模式分析与机器智能学报,PAMI-3(6),1981年。[13] KatsushiIkeuchi 、 YasuyukiMatsushita 、 RyusukeSagawa、Daisuke Miyazaki、Yasuhiro Mukaigawa、RyoFurukawa和Hiroshi Kawasaki。主动照明及其在计算机视觉Springer,2020年。[14] 温泽尔·雅各布Mitsubarenderer,2010.http://www.mitsuba- renderer.org.[15] Eric Jang , Shixiang Gu , and Ben Poole. 使 用 gumbel-softmax进行分类重新参数化。在ICLR,2017。[16] 米卡·KJohnson和Edward H.阿德尔森自然光照下的形状在CVPR中,第2553-2560页[17] Kaizhang Kang , Zimin Chen , Jiaping Wang , KunZhou,and Hongzhi Wu.使用自动编码器的高效反射率捕获。TOG,37(4),2018.[18] Diederik P. Kingma和Jimmy Ba。Adam:随机最佳化的方法。ICLR(Poster),2015年。[19] 李俊轩,安东尼奥·罗伯斯-凯利,尤少迪,松下雅秀之。学习缩小光度立体。在CVPR,2019年。[20] Daniel Lichy,Jiaye Wu,Soumyadip Sengupta和DavidW.雅各布斯在家里捕捉形状和材料。在IEEE/CVF计算机视觉和模式识别会议论文集,2021年。[21] 刘超,斯里尼瓦萨G. Narasimhan和Artur W.杜布朗斯基使 用 圆 形 放 置 的 点 光 源 的 近 光 光 度 立 体 。IEEEInternationalConferenceonComputationalPhotography,ICCP 2018。[22] FotiosLogothetis , RobertoMecca , YvainQue'au ,andRoberto Cipolla.环境光下的近场光度立体。2016年1月1日[23] Feng Lu , Yasuyuki Matsushita , Imari Sato , TakahiroOkabe,and Yoichi Sato.未知各向同性反射率的未校准光度立体。在IEEE计算机协会计算机视觉和模式识别会议论文集,2013年。[24] 放大图片作者:Robert Mecca,Aaron Wetzler,AlfredM. Bruckstein和Ron Kimmel。具有点光源的近场光度立体 。 SIAM Journal on Imaging Sciences , 7 ( 4 ) ,2014。[25] Daisuke Miyazaki,Kenji Hara,Katsushi Ikeuchi.应用于谢贡古墓和博物馆物品的米迪安光度立体。在IJCV,第86卷,2010中。[26] 莫志鹏,施博信,卢峰,杨赛杰,松下雅由之。自然照明下的未校准光度立体。 2018年IEEE/CVF计算机视觉和模式识别会议,第2936- 2945页[27] 向井川康弘,石井康典,和石永武.基于光度线性化的光度因素分析。Journal of the Optical Society of AmericaA,24(10),2007.[28] Shree K.纳亚尔和莫希特·古普塔漫射结构光。2012年IEEEInternationalConferenceonComputationalPhotography,ICCP 2012。[29] Shree K. Nayar,Katsushi Ikeuchi,and Takeo Kanade. 使用扩展光源确定朗伯、镜面和混合表面的形状和反射率机器智能和视觉工业应用国际研讨会,1989年。[30] Shree K. Nayar和Arthur C.桑德森用强度编码照明确定镜面表面方向在光学,照明和图像传感机器视觉II,卷0850,1988年。[31] Y vainQue'au,BastienDurix,TaoWu,DanielCremers,Fran-cois Lauze,and Jean-Denis Durou.基于LED的光度学立体:建模、标定和数值求解。数学成像和视觉杂志,60,03 2018。[32] Hiroaki Santo , Masaki Samejima , Yusuke Sugano ,Boxin Shi , and Yasuyuki Matsushita. 深 测 光 立 体 网络.2017年IEEE国际会议论文集320关于计算机视觉研讨会,ICCVW 2017,2018年1月,2017年。[33] Hiroaki Santo , Masaki Samejima , Yusuke Sugano ,Boxin Shi,and Yasuyuki Matsushita.用于确定表面法线和反射率的深光度立 体IEEE Transactions on PatternAnalysis and Machine Intelligence,第1-1页[34] Hiroaki Santo , Michael Waechter , and YasuyukiMatsushita. 空间变化反射率的深近光光度立体。在Andrea Vedaldi , Horst Bischof , Thomas Brox 和 Jan-Michael Frahm,编辑,计算机视觉施普林格国际出版社.[35] 约阿夫作者:Shree K.Nayar和Peter N.贝尔胡默尔多路复用以获得最佳照明 。IEEE Transactions on PatternAnalysis and Machine Intelligence , 29 ( 8 ) : 1339-1354,2007.[36] 格兰特·辛德勒。通过计算机屏幕照明进行实时表面重建的光度立体。第四届三维数据处理、可视化与传输国际研讨会,3DPVT 2008 -会议录,2008年。[37] Boxin Shi,Zhipeng Mo,Zhe Wu,Dinglong Duan,Sai-Kit Yeung,and Ping Tan.一个基准数据集和评估非朗伯和未校准的光度立体 。IEEE Transactions on PatternAnalysis and Machine Intelligence,41(2):271[38] Lun Wu , Arvind Ganesh , Boxin Shi , YasuyukiMatsushita,Yongtian Wang,and Yi Ma.通过低秩矩阵完成和恢复的鲁棒光度立体。在ECCV,2011年。[39] 大鹏湖、锦麟邓、志强邓及田进黄。密集光度立体:马尔可夫随机场方法。PAMI,28(11),2006.[40] Wuyuan Xie,Chengkai Dai,and Charlie C.L.王.具有近点照明的摄影立体声:通过网格变形的解决方案。在Proceedings of the IEEE Computer Society Conference onComputer Vision and Pattern Recognition,volume 07-12-June-2015,2015中。[41] Qian Zheng,Yiming Jia,Boxin Shi,Xudong Jiang,Ling Yu Duan,and Alex Kot.SPLINE-Net:通过光照插值和法线估计网络实现稀疏光度立体。在ICCV,2019年。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++标准程序库:权威指南
- Java解惑:奇数判断误区与改进方法
- C++编程必读:20种设计模式详解与实战
- LM3S8962微控制器数据手册
- 51单片机C语言实战教程:从入门到精通
- Spring3.0权威指南:JavaEE6实战
- Win32多线程程序设计详解
- Lucene2.9.1开发全攻略:从环境配置到索引创建
- 内存虚拟硬盘技术:提升电脑速度的秘密武器
- Java操作数据库:保存与显示图片到数据库及页面
- ISO14001:2004环境管理体系要求详解
- ShopExV4.8二次开发详解
- 企业形象与产品推广一站式网站建设技术方案揭秘
- Shopex二次开发:触发器与控制器重定向技术详解
- FPGA开发实战指南:创新设计与进阶技巧
- ShopExV4.8二次开发入门:解决升级问题与功能扩展
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功