18643逆向绘制中的间接光照建模张元庆1，2孙嘉明1何兴义1傅欢2贾荣飞2周 晓伟1张1浙江大学2淘宝科技系、阿里巴巴集团摘要隐式神经表示和可微分绘制的最新进展使得从未知静态照明下捕获的多视图RGB图像中同时恢复物体的几何形状和材料成为尽管取得了令人鼓舞的结果，间接照明很少建模在以前的方法，因为它需要昂贵的递归路径跟踪，这使得逆绘制计算棘手。在本文中，我们提出了一种新的方法来有效地恢复空间变化的间接照明。关键的见解是，间接照明可以方便地从从输入图像中学习的神经辐射场导出，而不是与直接照明和材料联合估计。通过对间接照明和直接照明的可见性进行适当的建模，可以恢复无间反射和无阴影的阴影在合成数据和真实数据上的实验表明，该方法具有较好的性能，能够在新的视点和光照条件下合成真实感效果图我们的代码和数据可在https://zju3dv.github.io/invrender/获得。1. 介绍从图像中恢复3D场景的几何、材质和光照，也称为逆渲染，一直是计算机视觉和图形学领域的一个长期问题。在这个VR和AR应用井喷的时代，它正在获得吸引力，在这个时代，人们对从现实世界中轻松获取3D内容的需求很高。先前的捕获系统，诸如具有受控光方向和相机的光台[8，11，31]，在暗室中使用共同定位的闪光灯和相机[2，3]，以及具有转盘的旋转对象[7，26]，显示出用户友好性的限制。最近的作品[5，29，32]探索了自然照明下的灵活捕获这些方法通常作者来自浙江大学计算机辅助设计与计算机图形学国家重点实验室这项工作是张元庆在阿里巴巴集团实习时完成的。* 通讯作者：周晓薇。图1.为了从多视角RGB图像中精确地恢复SVBRDF（参数化为灰度和粗糙度），我们提出了一种有效的方法来重建空间变化的间接照明，并将其与通过可见度评估的环境光结合作为全光模型（a）。（b）中的示例表明，在不对间接照明建模的情况下，其渲染效果被烘焙到估计的反照率中以补偿不完整的光模型，并且还导致估计的粗糙度中的伪影。将几何形状和空间变化的BRDF（SVBRDF）表示为基于坐标的神经网络，并通过优化将渲染图像与输入图像进行比较的重新渲染损失来恢复它们。然而，在自然光照下捕捉往往会显示出复杂的效果，如软阴影和相互反射。当优化SVBRDF和光参数时，模拟这些效果是棘手的，因为它需要在基于物理的渲染中进行昂贵的递归路径跟踪现有方法通常忽略自遮挡和相互反射[29]以减少计算，或者仅模型可见性[32]或将间接照明限制为已知光源的单个反弹[22]。在没有适当地对间接照明进行建模的情况下，在所捕获的图像与所渲染的图像之间存在间隙。因此，所捕获图像中的间接照明的效果易于被烘焙到所估计的漫射光中以补偿此间隙，如图10中所说明。18644图1.它还导致恢复的光谱反射率和环境光中的伪影，因为它们与反射率一起解释观察到的图像。在本文中，我们的目的是估计的SVBRDF的对象从多视角RGB图像下拍摄未知的静态照明。我们的主要技术创新是一个有效的方法来建模间接照明在这个逆渲染过程中。我们通过多层感知器（MLP）将3D表面点映射到其间接入射照明来模拟间接照明。有效地学习 该 间 接 照 明 MLP 的 核 心 思 想 是 间 接 照 明 [15 、27]）。具体而言，我们首先使用现有方法[27]从输入图像中学习对象的几何形状和传出然后，学习的辐射场用作其可达表面点的地面实况入射照明以训练间接照明MLP。最后，将学习到的间接照明插入渲染方程中，并在SVBRDF和环境光的优化过程中固定这样，在优化其他未知量时可以直接查询间接光照，此外，为了减少BRDF和入射光的解纠缠的模糊性，我们引入了一个先验，即现实世界的物体应该由有限类型的材料组成。该先验通过将SVBRDF表示为具有稀疏潜在空间的编码器-解码器来施加。我们评估所提出的方法在合成和真实的数据集。实验结果表明，我们的方法优于基线方法，并能够恢复阴影和互反射的自由和高质量的粗糙度，以及支持现实的自由视点重照明。2. 背景反向渲染。逆绘制是将图像外观分解为诸如几何形状、材料和照明条件之类的底层固有属性的任务，是计算机视觉和图形学中的一个长期存在的问题。众所周知，最一般形式的完整逆绘制问题逆绘制中的关键问题是在优化过程中适当地加入先验和正则化，以减轻不适定条件。单图像逆绘制方法[1，12-几何学由于平面输入和输出映射自然更容易由CNN处理，因此这些方法可以从大规模数据集学习法线、反射率和照明的先验。它们可以有效地从单个图像中推断出合理的材料和法线贴图，但通常不能恢复这些因素的空间变化的3D表示。大多数恢复完全分解的3D几何、材料和照明的方法需要在更受约束的设置下捕获场景他们要么用固定的相机旋转物体来捕捉图像[7，26]，要么在黑暗的环境中使用手持手机用闪光灯拍摄视频，这样点光就与相机相关联，并且它的位置是已知的[2变化的或已知的照明提供用于推断几何形状和材料性质的丰富信息。内隐神经表征。隐式神经表征的最新进展为逆向呈现提供了新的可能性。NeRF [15]通过用多层感知器表示辐射场来实现照片级逼真的新颖视图合成。在可微分体绘制的监督下，NeRF能够仅用图像集合重建场景的辐射虽然NeRF将几何形状表示为体积密度场，但一些基于表面的方法（如IDR [27]和NeuS [24]）表示具有符号距离函数（SDF）的几何形状。这些方法对于新颖的视图合成工作良好，但它们仅对表面的出射辐射进行建模，并且不能将其分解为入射辐射和底层材料属性。因此，他们使用隐式神经表示的逆向渲染。通过隐式神经元表示中的完全可微管道，最近的逆绘制方法针对更“随意”的值得注意的是，PhySG [29]和NeRFactor [32]在复杂和未知的照明下分解场景。NeRD [5]扩展了NeRF以处理固定或变化照明下的捕获。但这些方法都只考虑了光源的直接照射而忽略了间接照射，因而无法模拟出与观测图像相似的互反射效应。因此，他们只能模拟简单的凸表面，具有可忽略的间接光。NeRV [22]确实考虑了一个间接反弹，但使用已知的环境光，并使用蒙特卡洛光线跟踪进行渲染。我们的方法是能够重建高品质的间接光与不受约束的反弹，并不需要已知的照明条件。渲染方程。对于非发射对象，渲染方程计算出射辐射率L。18645∇Σ∈∈∈›→图2. 向前推进。对于特定的表面点x，全部入射光被建模为直接照明方向乘以可见度和从重建的出射辐射场导出的间接照明的从编码器-解码器网络输出空间变化的BRDF参数，其中对潜在码具有稀疏性约束，并且每个镜面BRDF被进一步变换为单个球面高斯（SG）。在前向渲染过程中，只有BRDF和直接照明需要优化，而其他都是预先获取和固定的。在底行中，可视化可见度是所有方向的平均值，间接照明是每个点的辐照度。通过在半球上对反射光进行光栅化，沿方向ωo对表面点x进行光栅化[9]：被特征化为具有稀疏潜在空间的编码器-解码器网络（Sec. 第3.4段）。为了渲染摄影机射线，射线和Lo（x，ωo）=ΩLin（x∈，ωi）fr（x∈，ωi，ωo）（ωi·n）dωi（1）通过球面跟踪技术可以观察到SDF曲面，其对应的曲面法线为梯度Lin（xn，ωi）是沿方向ωi在表面点xn处的入射辐射率，BRDF函数fr描述有多少从方向ωi到达的光在xn处朝向方向ωo反射。3. 方法3.1. 概述给定静态照明下捕获的对象的一组姿势图像，我们学习分解形状和SVBRDF以实现诸如自由视图重新照明的应用。我们以合成分析的方式解决逆渲染问题，其中我们优化前向渲染模型的参数，图2描述了我们提出的方法的前向渲染过程。在本文中，我们通过学习由多层感知器S（x）参数化的信号距离函数（SDF）将几何体表示为零水平集IDR [27]，该函数从3D位置x映射到该位置的SDF值它使物体的表面光滑而逼真 我们将沿方向ωi在表面点xn处的空间变化的入射光Lin（xn，ωi）分解为两个分量：由可见度评估的直接照明E（Sec. 3.2）和间接照明Li有效地从出射辐射场（节。3.3）。与以前的工作相比，我们公式中的SVBRDF参数是parame-SDF：n=x100 。然后，我们从网络中查询可感知性，间接3.5）。给出了SVBRDF和直接照明的参数，通过最小化渲染和观察图像之间的重建误差来优化国家3.2. 直接照明对于直接照明，我们假设所有灯光都来自无限远的环境，并将其参数化为M=128球面高斯（SG）[23]：ME（ωi）= G（ωi;μk，λk，μk）（2）k=1其中，λS2是波瓣轴，λR+是波瓣锐度，µR3是波瓣振幅。环境照明通过指示表面点x处的方向ωi是否被遮挡的可见度来评估。可见性可以通过执行从表面点到光源的球体跟踪来获得。然而，跟踪步骤在前向渲染期间重复执行因此，我们将其重新参数化为将表面点位置x和方向ωi映射到可见性的MLP：V（x，ωi）v.该网络提供了一个紧凑和连续的表示，只需要少量的采样射线以上的表面点进行训练。可见性的方向乘法∫18646›→∈Σ−Σ普吉−γ=k=1表面点位置x_∞，法线n_∞和机翼方向ω_o：R（x_∞，n_∞，ω_o）洛。我们使用视图合成方法[27]从观察到的图像以及几何形状中学习该字段参数化因此，通过查询MLP获得第二交点的出射辐射率，其是多次反弹的累积结果图3.代替通过执行昂贵的递归路径跟踪来计算入射辐射（a），我们将预先训练的传出辐射场视为间接照明，并训练将3D位置映射到其间接入射照明（表示为SG的混合）的网络（b）。函数，并且期望环境照明SG产生另一SG以支持渲染期间的球面函数的积分我们通过使输出SG的幅度产生与原始波瓣相同的积分值并保持其中心来实现这一点：V（x，ωi）<$G（ωi;，λ，μ）<$G（ωi;，λ，γμ）（3）Lo（x′，−ωi）=R（x′，n′，−ωi）（6）其中n′是第二个交点的法线我们进一步将其转换为表示为SG混合物的间接照明，并将其缓存在MLP中，以避免从x“到x” 的 重 复 计算。该表示有利于与其他SG波瓣的半球集成这里，我们引入间接照明MLPI（x），其在任何输入3D位置x处输出SG参数R24×7。通过查询所需表面点和方向上的SG函数来确定入射辐射率：Li（x∈，ωi）=G（ωi;I（x∈））（7）间接照明MLP是通过首先从出射辐射场R中抽取样本，然后强制G（ωk）V（x，ωk）可见度比γ是通过在SG波瓣中随机采样S=32个方向并对查询的可见度进行加权平均而获得的。3.3. 间接照明根据绘制方程，首先进行光线追迹，得到摄像机光线与物体表面相交点x′处朝向方向ωi的间接入射辐射亮度Li（x′，ωi），然后通过第二个相交点x′处朝向方向ωi的出射辐射亮度Lo（x′，-ωi）进行赋值。rection−ωi：Li（x，ωi）=Lo（x′，−ωi）（5）通过在半球上连续采样和积分射线来渲染Lo （x′ ，ωi），如图3所示。随着所考虑的反弹数量的增加，跟踪和渲染计算随着采样量的指数它在现实中通常是难以处理的，并且增加了从渲染中分解未知数的复杂性我们通过重建传出的3.4. BRDF我们使用简化的Disney BRDF模型[6]，其中dif- fuseBRDF a和粗糙度r作为参数，并假设具有固定F0 = 0的介电材料。02在菲涅尔项。通过直接将表面点映射到其参数来参数化SVBRDF是简单的。但是，它的-Ten导致噪声粗糙度，因为由于训练视图的分布或自遮挡，少数表面点我们通过引入一个物体通常由少量材料组成的先验来缓解这个问题。我们的解决方案是将SVBRDF表示为具有稀疏潜在空间的编码器-解码器网络。该网络将输入表面点x转换为其对应的潜在代码z，并将其解码为其扩散的粗糙度和粗糙度。我们对潜码施加稀疏约束[17]，使得z中的大多数通道接近于零：nKKL=KL（ρj）（8）j=1辐射场并从中导出间接照明，而不是对单个辐射场执行详尽的光线跟踪其中KL（ρερj）=ρlogρ +（1ρ）log1−ρ1−ρj是一垂直照明。可以被视为神经渲染器的出射辐射场是下式的连续函数：Kullback-Leibler发散损失，ρj是以下各项的平均值：批量输入的z的第j个通道ρ设定为0.05。n是Latent Code的长度我们进一步应用平滑损失，（四）使入射辐射再现相应的Sk=1 G（ωk）出射辐射我们在图3中可视化这个过程。18647π·MDπ我K我SOS我K我M解码器D，使得接近的潜在码被聚类以产生相同的SVBRDF：s=||D （ z ） −D （ z+z ） ||1（9）式中，λ是从正态分布中抽取的小随机变量，均值为零，方差为0.01。3.5. 渲染等式1中的BRDF函数fr包含漫射分量a和镜面分量fs（x∈，ωi，ωo）。 我们将镜面BRDF fs和箝位余弦因子C=ωin转换为单个SG，如先前工作[ 29 ]中所述。因此，等式1可以近似为SG的快速内积具体来说，我们将直接照明的渲染分为漫射分量Ld和镜面分量Ls。漫射分量计算为每个被遮罩的环境照明SG的积分与箝位余弦因子之和L（x<$）=a<$（V（x<$，ω）<$E（ω））·C（10）k=1注意，在镜面分量中，为了在存在窄镜面波瓣的情况下精确地近似最终积分，可见度比γ通过对镜面SG进行采样来确定：L（x<$，ω）=<$（f<$V（x<$，ω））<$E（ω）·C（11）k=1BRDF的可见性MLP、间接照明MLP和编码器的结构包括4层512个隐藏单元。位置编码[2]分别应用于具有10个和4个频率分量的输入3D位置和方向。BRDF的解码器是一个具有32维输入潜码和128个隐藏单元的2层网络。我们在PyTorch中实现我们的模型，并使用Adam [10]进行优化，学习率为5e-4。后两个阶段都在单个RTX 3090 GPU上运行200个epoch，分别需要大约1和2小时。4. 实验在本节中，我们将进行实验来研究我们的逆渲染方法的性能。首先，我们简要介绍了如何构建一个合成数据集来检查我们在Sec中的设置4.1. 然后，我们用两条基线对第二节的合成数据进行了定量四点二。第三，我们进行了几次消融，以讨论我们的关键四点三。最后，我们定性地研究了我们的方法的逆绘制和重光照能力，真实数据集在Sec. 4.4我们指的是补充伴侣-更多结果。4.1. 合成数据我们收集了4个CAD模型，每个模型都有明显的自遮挡和多种材料。对于一个特定的对象，我们为它分配一个自然环境贴图，通过Blender Cy- cles获得100张训练图像及其蒙版。SDF学习过程需要面具[27]。至于间接照明的渲染，首先从间接照明MLPI查询空间变化间接照明，并且渲染类似于上述过程，除了不需要可见性。3.6. 培训我们通过三个阶段的训练，从一组姿势的图像中优化几何形状，SVBRDF和首先，使用[29]优化SDFMLPS（x）和出射辐射MLPR其次，我们对256个表面点进行采样，并为每个表面点绘制16条采样光线，然后执行球面跟踪以同时获得可见度和入射辐射，其用作用于通过交叉熵损失和交叉熵损失来监督可见度MLPV和间接照明MLPI的地面实况。最后，通过最小化绘制图与观测图像之间的重建损失，对漫射光、粗糙度和直射光进行联合优化最后阶段的全部损失为：λ=λreconλ recon+λ KLλ KL+λ sλ s（12）我们设置权重λrecon= 1。0，λKL= 0。01，λs= 0. 1在我们的实验中我们绘制了另外200幅测试图像以及它们的纹理和粗糙度图，以评估新的视图合成性能和逆绘制能力。为了测量重光照性能，我们使用另外两个环境贴图，并为每种情况渲染200张图像。图像分辨率-分辨率为800 ×800。4.2. 基线比较据我们所知，只有少数作品研究了与本文完全相同的逆绘制设置，即在支持自由视图重光照的同时使用固定的未知光照进行训练。我们以NeRFactor [32]和PhySG [29]为基线，并对合成数据集进行定量比较。图像质量指标包括峰值信噪比（PSNR）、结构相似性指 数 测 量 （ SSIM ） 和 学 习 感 知 图 像 块 相 似 性（LPIPS）[30]。由于在估计照明和环境照明时存在不可避免的尺度模糊性，因此我们在与地面实况对齐后额外评估照明，如[29，32]中所做。NeRFactor提取NeRF[15]一个表面的表达。它依赖于从真实世界的BRDF测量中18648×图4. 与以前的工作比较。我们在三个场景中可视化NeRFactor[32]和我们的方法请注意，NeRFactor的粗糙度是用潜在代码可视化的，它表示BRDF身份，因为它是由学习模型参数化的。我们还比较了新视图和原始光线（第四行）以及新视图和新光线（最后两行）下的重新渲染。来恢复SVBRDF的3D神经场。表1和图4表明，我们的方法在定量和定性上都优于NeRFactor参数化照明作为一个16 32分辨率的环境地图，使每个像素/参数可以独立变化。结果表明，在优化过程中，光照容易被烘焙到环境地图中，导致光照效果不佳。相比之下，我们预测的环境照明和SVBRDF包含精细的细节，在视觉上接近地面实况图，如图4所示。PhySG能够从静态照明下捕获的多视图输入中联合恢复环境照明、BRDF和几何形状。然而，它假定恢复的对象是均匀的。我们通过重新调整管道将其全局粗糙度与作为MLP参数化的空间变化表1中的实验结果表明，它的性能很差。其主要原因是，在没有建模可见性和间接照明的情况下，几何优化是高度不适定的，特别是在具有明显阴影和相互反射的区域中。4.3. 消融研究我们消融我们的方法，主要影响逆渲染质量的三个组件的组合。我们认为，在所研究的met-rics略有改善可能会带来升级的视觉体验，渲染是一个详细的效果。结果见表1和图5。在“w/o vis. &ind.illum."，我们训练一个模型，18649粗糙度反照率对齐反照率视图合成重新照明方法MSE↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓[32]第三十二话-19.48580.86410.206022.96470.90640.161722.79530.91680.151221.53730.87490.1708[29]第二十九话0.268221.26900.97220.096221.79680.97330.184523.41540.98710.068422.62880.97340.0726我们0.072324.16080.97820.056625.25110.98250.058126.19180.99050.043825.59340.98400.0410不含可见光&印第安纳照明。0.157523.33320.97580.067424.04010.97200.067926.49710.99230.043725.39190.98040.0451不含标识照明。0.084523.74220.97310.067724.65470.98190.065126.34540.99270.043525.49570.98360.0444无潜在空间0.078324.09300.97750.059325.22830.98240.059826.18460.99020.044925.51010.98370.0422表1. 定量评价。我们提出了所有四个合成场景的测试图像的平均结果。“Aligned Albedo”是指在计算误差之前，缩放每个RGB通道的反射率预测，以匹配地面实况。我们稍微修改了PhySG [29]，通过从MLP输出空间变化的粗糙度来适应我们的数据，而不是将其视为全局变量。与以前的方法和基线模型相比，我们的完整模型在SVBRDF恢复和重新照明方面取得了最好的性能完整模型的视图合成质量比基线略差，可能是由于可见性采样引入的渲染噪声图5. 在合成场景（热狗）上的烧蚀研究。详细描述请参见第4.3假设所有表面点共享相同的环境照明。它不涉及间接照明和可见度因素。这个变体在逆向渲染和重新照明任务中表现最差也就不足为奇了。但在新视点合成方面略有改进一个可能的原因是可见性采样引入了一些渲染噪声。“w/o ind. illum.”产生意想不到的更明亮的环境照明，并与地面实况相一致。这意味着，如果不对间接照明进行建模，这些间接照明效果将被错误地烘焙到估计的亮度中。The “w/o latent space” varianttrains an MLP that directly maps a可视化显示，独立优化每个表面点会产生噪声粗糙度。4.4. 真正的捕获结果。我们选择4个由各种材料制成的实物，如塑料和皮革，并用手机捕捉它们在上半球运动相机姿态由COLMAP [20]估计 对于每个对象，我们从视频中均匀采样100帧，并应用逆伽马校正（γ=2. 2）对图像进行训练。请注意，环境可能并不完全理想，因为并非所有光线都是无限远的，特别是在室内捕获以对象为中心的视频时，并且移动的人会在物体上投射阴影图6显示了反向渲染和重新照明的结果。我们的方法是能够推断出合理的SVBRDF和支持现实的重新照明。查看补充视频了解更多结果。5. 结论在本文中，我们提出了一种新的方法来有效地建模的间接照明的逆绘制任务。以前的大多数方法没有考虑间接照明，因为在基于物理的渲染框架内模拟它是棘手的相反，我们利用神经传出辐射场，并推导出间接illu-18650图6. 实际捕获的结果。 我们的方法能够处理由多种材料组成的真实世界的对象。 对于每个捕获的对象，我们在测试集中显示一个图像，我们的渲染，在间接照明下渲染，我们估计的形状和SVBRDF，分解的正常，粗糙度和粗糙度。通过分解因子，我们可以在任意光照下重新照亮物体。在这里，我们展示了四种新颖的现实世界照明下的结果。从它。我们证明，连同我们提出的BRDF先验和基于SG的可见性估计，完整的流水线能够从自然照明下捕获的多视图图像中估计高质量的粗糙度和粗糙度，并支持逼真的重新照明。局限性。我们的方法有以下局限性。首先，我们的管道强烈依赖于精细几何作为输入。我们不能处理使用[27]无法重建几何的情况。幸运的是，我们的渲染模型可以很容易地迁移到其他基于表面的几何表示其次，我们用固定的F0=0来参数化BRDF。02中的菲涅耳项[6]。换句话说，我们假设回收的材料是电性的。使F0可学习将加剧反问题的模糊性。基于学习的先验或额外观察可以帮助减轻这种模糊性。我们把它作为未来的工作。鸣谢：这项工作得到了国家自然科学基金（第1998号）的资助。62172364）和阿里巴巴集团通过阿里巴巴创新研究计划。18651引用[1] 乔纳森·T.巴伦和吉坦德拉·马利克形状、照明和着色的反 射 率 IEEE Transactions on Pattern Analysis andMachine Intelligence，37：1670-1687，2015。2[2] 作者：Sai Bi，Zexiang Xu，Pratul P.作者：本·米尔登-霍尔，卡扬·桑卡瓦利，米洛夫斯·哈夫桑，雅尼克·霍尔德-杰弗里，大卫·J. Kriegman和Ravi Ramamoorthi。用于外观采集的神经反射场。ArXiv，abs/2008.03824，2020。一、二、五[3] 作者：Sai Bi，Zexiang Xu，Kalyan Sunkavalli，MilovsHavsan，Yannick Hold-Geoffroy，David J.克里格曼和拉维·拉玛莫蒂。深反射体积：可靠的重建，从多视图光度图像。在ECCV，2020年。一、二[4] 放 大 图 片 作 者 ： Sai Bi ， Zixiang Xu ， KalyanSunkavalli，David J. Kriegman和Ravi Ramamoorthi。深度3D捕获： 稀疏多视图图 像的几何和 反射。2020IEEE/CVF计算机视觉和模式识别会议（CVPR），第5959-5968页，2020年。2[5] 马克·博斯拉斐尔·布劳恩V乔纳森·詹帕尼刘策，刘俊. A.伦施Nerd：来自图像集合的神经反射分解。ArXiv，abs/2012.03918，2020。一、二[6] Brent Burley和Walt Disney Animation Studios迪斯尼基于物理的阴影。在ACM SIGGRAPH，2012卷，第1-7页中。vol. 2012，2012. 四、八[7] Yue Dong，Guojun Chen，Pieter Peers，Jiawan Zhang，and Xin Tong. 从 运 动 中 显 现 ACM Transactions onGraphics（TOG），33：1- 12，2014。一、二[8] Kaiwen Guo ， Peter Lincoln ， Philip Davidson ， JayBusch ， Xueming Yu ， Matt Whalen ， Geoff Harvey ，SergioOrts-Escolano ， RohitPandey， JasonDourgarian，et al.可重新点燃的：用逼真的重新照明捕捉 人 体 的 体 积 性 能 。 ACM Transactions on Graphics（TOG），38（6）：1-19，2019。1[9] 詹姆斯·T·卡吉亚渲染方程。在1986年第13届计算机图形学和交互技术年会集，第143-150页。3[10] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[11] Hendri kPALensch ， JochenLang ， AslaMSa' ， 和 Hans-Peter Seidel.空间变化brdf的计划抽样。在计算机图形论坛，第22卷，第473Wiley Online Library，2003. 1[12] Zhengqin Li，Mohammad Shafiei，Ravi Ramamoorthi，Kalyan Sunkavalli，and Manmohan Chandraker.复杂室内场景的逆渲染：形状，空间变化的照明和svbrdf从一个单一的图像。2020 IEEE/CVF计算机视觉和模式识别会议（CVPR），第2472-2481页，2020年。2[13] Zhengqin Li，Zexiang Xu，Ravi Ramamoorthi，KalyanSunkavalli，and Manmohan Chandraker.学习从单个图像重建形状和空间变化的反射率。ACM Transactions onGraphics（TOG），37：1- 11，2018。2[14] Daniel Lichy，Jiaye Wu，Soumyadip Sengupta和DavidW.雅各布斯在家里捕捉形状和材料。2021 IEEE/CVF计算机视觉和模式识别会议（CVPR），第6119-6129页，2021年。2[15] 作者 ：Ben Mildenhall，放 大图 片作 者： Jonathan T.Barron，Ravi Ramamoorthi和Ren Ng. Nerf：将场景表示为用于视图合成的神经辐射场。在ECCV，2020年。二、五[16] Giljoo Nam、Joo Ho Lee、Diego Gutierrez和Min H.Kim.用非结构化闪光摄影获取3d物体的实用svbrdf。ACMTransactions on Graphics（TOG），37：1- 12，2018。2[17] Andrew Ng等.稀疏自动编码器。CS294A Lecture notes，72（2011）：1-19，2011. 4[18] 沈桑和曼莫汉·钱德拉克。单次神经元重光照和svbrdf估计。在ECCV，2020年。2[19] CarolinSchmitt ， SimonDonne' ， GernotRiegler ，VladlenKoltun和Andreas Geiger。基于手持扫描仪的位姿、几何和svbrdf联合估计2020 IEEE/CVF计算机视觉和模式识别会议（CVPR），第3490-3500页，2020年。2[20] 约翰内斯湖Schonberger和Jan-Michael Frahm.结构-从运动重 新审 视。在IEEE计算 机视 觉和模 式识 别会议（CVPR）中，2016年6 7[21] Soumyadip Sengupta，Jinwei Gu，Kihwan Kim，GuilinLiu，David W. Jacobs和Jan Kautz。从单个图像进行室内场景的神经逆渲染。2019 IEEE/CVF计算机视觉国际会议（ICCV），第8597-8606页2[22] Pratul P. Srinivasan，Boyang Deng，Xiuming Zhang，Matthew Tancik，Ben Mildenhall，and Jonathan T.巴伦神经反射和可见性领域的重新照明和视图合成。2021IEEE/CVF计算机视觉和模式识别会议（CVPR），第7491- 7500页，2021年。一、二[23] Jiaping Wang ， Peiran Ren ， Minmin Gong ， JohnSnyder，and Baining Guo.动态、空间变化反射率的全频渲染ACM SIGGRAPH Asia 2009论文，第1-10页。2009.3[24] Peng Wang ， Lingjie Liu ， Yuan Liu ， ChristianTheobalt ， Taku Komura ， and Wenping Wang.Neus ：Learning neural implicit surfaces by volume rendering formulti-viewreconstruction.arXiv预印本arXiv：2106.10689，2021。2[25] Xin Wei ， Guojun Chen ， Yue Dong ， Stephen Ching-Feng Lin，and Xin Tong.基于渲染感知神经网络的对象光照估计。在ECCV，2020年。2[26] 芮夏、岳东、皮特·皮尔斯、辛桐。在未知光照下恢复形状和空间 变化的表面反射率ACM Transactions onGraphics（TOG），35：1- 12，2016。一、二[27] Lior Yariv、Yoni Kasten、Dror Moran、Meirav Galun、Matan Atzmon、Basri Ronen和Yaron Lipman。通过分离几何和外观的多视图神经表面重建神经信息处理系统的进展，33，2020。二三四五八18652[28] 叶玉和W.史密斯Inverserendernet：学习单幅图像的逆绘制. 2019 IEEE/CVF计算机视觉和模式识别会议，第3150- 3159页，2019年。2[29] Kai Zhang，Fujun Luan，Qianqian Wang，Kavita Bala，and Noah Snavely.Physg：使用球面高斯进行逆向渲染在IEEE/CVF计算机视觉和模式识别会议，2021年。一、二、五、七[30] Richard Zhang 、 Phillip Isola 、 Alexei A Efros 、 EliShecht-man和Oliver Wang。深度特征作为感知度量的不合理有效性。在IEEE计算机视觉和模式识别会议论文集，第586-595页，2018年。5[31] XiumingZhang，Sean Fanello，Yun-Ta Tsai，TianchengSun ， Tianfan Xue ， Rohit Pandey ， Sergio Orts-Escolano，Philip Davidson，Christoph Rhemann，PaulDebevec，et al.用于重新照明和视图合成的神经光传输 。 ACM Transactions on Graphics （ TOG ） ， 40（1）：1-17，2021。1[32] 张秀明，Pratul P Srinivasan，Boyang Deng，Paul De-bevec ， William T Freeman 和 Jonathan T Barron 。NeRFac-tor ： NeuralFactorizationofShapeandReflectance Under an Unknown Illumination.arXiv预印本arXiv：2106.01970，2021。一、二、五、六、七
我的内容管理
展开
