视图合成：NeRD算法实现神经反射分解和重新照明

1视图合成NeRD：从图像集合中进行神经反射分解Mark Boss1，Raphael Braun1，Varun Jampani2，Jonathan T.Barron2，刘策2，Hendrik P.A.Lensch11图宾根大学，2谷歌研究正常粗糙度金属基色多视图图像NeRD体积分解BRDF重新照明&纹理补片图1：重新照明的神经反射分解。 我们编码到NeRD体积的变化或固定照明下的对象的多个视图。我们将每个给定的图像分解成几何形状，空间变化的BRDF参数和入射照明的粗略近似，在全球一致的方式。然后，我们提取一个relihtable纹理网格，可以在新的照明条件下实时重新渲染。摘要将景物分解成其形状、反射率和光照度是计算机视觉和图形学中一个具有挑战性但又十分重要的问题。当照明不是实验室条件下的单个光源而是非受控环境照明时，该问题本质上更具挑战性。尽管最近的工作已经表明，隐式表示可以用于对对象的辐射场进行建模，但是这些技术中的大多数仅能够实现视图合成而不能重新照明。另外，评估这些辐射场是资源和时间密集的。我们提出了一种神经反射分解（NeRD）技术，使用基于物理的渲染，ING分解成空间变化的BRDF材料属性的场景。与现有技术相比，我们的输入图像可以在不同的照明条件下捕获。此外，我们还提出了技术，以转换到一个relightable纹理网格，使快速实时渲染与新的照明的学习反射体积。我们证明了所提出的方法的潜力与实验合成和真实的数据集，在那里我们能够获得高品质的re-lightable 3D资产从图像集合。数据集和代码可在项目页面获得：网址：http：//markboss.me/publication/2021-nerd/1. 介绍捕捉对象的几何和材料属性对于一些计算机视觉和图形应用至关重要，例如视图合成[10，54]，重新照明[5，10，21，22，30，55]，对象插入[7，20，30]等这个问题通常被称为逆渲染[24，41]，其中形状和材料属性是从一组图像中估计出来的，例如，将表面特 性 表 示 为 空 间 变 化 的 双 向 反 射 分 布 函 数（SVBRDF）[38]。根据物理学建模，观察者观察到的反射颜色是SVBRDF与围绕该表面法线的半球上的入射照明的乘积 的 积 分 解 开 这 个 积 分 和 估 计 形 状 ， 照 明 ， 和SVBRDF从图像是一个高度不适定和欠约束的逆问题。例如，图像区域可能由于暗表面颜色（材料）、在该表面处不存在入射光（照明）或者由于该表面的法线背离入射光（形状）而看起来暗传统的SVBRDF估计技术涉及使用光台设置捕获图像，其中控制光方向和相机视图设置[4，9，26，27，28]。最近的SVBRDF估计方法采用更实用的捕获设置[6，7，8，10，19，37]，1268412685但是将照明限制到单个主光源（例如，附接到照相机的闪光灯）。假设已知照明或约束其复杂性显著降低了形状和材料估计的模糊性，并将实际效用限制在实验室设置或黑暗环境中的闪光照相。与标准SVBRDF和形状估计技术相比，最近引入的基于坐标的场景表示网络（如神经辐射场（NeRF）[34，36，60]）可以直接执行高质量的视图合成，而无需明确估计形状或SVBRDF。它们使用专门针对单个场景训练的神经网络来表示场景的辐射场，使用该场景的多个图像作为输入。这些神经网络将几何形状和外观直接编码为由场景中的查询点的3D坐标参数化的体积密度和颜色函数。现实的新颖的意见，可以产生的射线通过体积。虽然这些方法能够再现依赖于视图的外观效果，但是在一个方向上的点的辐射被即使这样的技术可以扩展到重新照明，这些方法的渲染速度限制了它们的实用性-NeRF生成单个视图所需的时间约为30秒[36]。这项工作提出了一种形状和SVBRDF估计技术，允许一个更灵活的捕获设置，丁，同时使重新照明下的新照明。我们的关键技术是在类似NeRF的基于坐标的神经表示框架内的形状、反射率和照明的显式分解模型[36]。与NeRF相比，我们的体积几何表示在每个3D点存储SVBRDF参数，而不是辐射。然后，每个图像都使用联合优化的球面高斯照明模型（见图1）进行微分渲染。形状，BRDF参数，和照明都同时优化，以最大限度地减少photometric渲染损失w.r.t.每个输入图像。我们称我们的方法为NeRD不仅能够同时重新照明和视图合成，而且还允许更灵活的图像采集设置范围：对象的输入图像不需要在相同的照明条件下被捕获。NeRD支持相机围绕对象的运动以及旋转对象的捕获。所有NeRD需要作为输入的是具有已知相机姿态的对象的一组图像（例如 ， 针 对 相 机 姿 态 计 算 ） 。 使 用 COLMAP [43 ，44]），其中每个图像伴随有前景分割掩模。除了SVBRDF和形状参数之外，我们还明确地优化了对应于每个图像的光照，用于变化的光照或全局静态光照。作为后处理步骤，我们提出了一种方法来提取三维表面网格以及SVBRDF参数为纹理从学习的基于坐标的表示网络。这允许用于下游任务的高度灵活的表示，诸如新颖视图的实时渲染、重新照明、3D资产生成等。2. 相关工作神经场景表征。最近，神经场景表示引起了相当大的关注[33，34，35，36，46，47，53，60，56]。这些方法在新的视图插值方面超越了以往的最新技术水平，在大多数情况下获得了照片般逼真的结果。这些方法的主要创新是使用体积、体素或隐式表示来对场景进行建模，然后训练每个对象的神经网络来表示它。因为这些神经表示本质上是3D的，所以它们能够实现新颖的视图合成。我们的方法遵循类似的表示，但分解成形状，BRDF和照明的外观。这些方法的一个重要问题是它们的训练和推理时间长[36]。我们通过明确提取表面网格和BRDF参数来解决后一个问题，以便在常见的游戏引擎或路径跟踪器中使用学习到的3D模型。一些同时进行的工作[48，59]也试图估计神经卷中的BRDF。在NeRV [48]中，假设照明是已知的。另一项工作，PhySG [59]也利用球面高斯来建模照明，但与我们处理固定和变化照明的设置相比，它将自身限制在固定照明下的场景。BRDF估计。虽然在实验室条件下，在已知视野和光照位置的情况下可以实现高度精确的BRDF测量[4，9，26，27，28]，但这些方法的复杂设置通常会导致现场材料捕获不可行。针对“随意”捕获的方法经常依赖于神经网络来学习图像与其底层BRDF之间的关系的先验。通常，相机闪光灯照明下的平面表面被认为是单次拍摄[2，15，31，42]、几次拍摄[2]或多次拍摄[3]。多激发[3，9，16，17，19]估计。这种随意的设置可以扩展到估计BRDF和物体[7，8，10，37，58]或场景[45]的形状。最近，Bi等人[6]利用NeRF风格的框架将场景分解为形状和BRDF参数，并使用单个协同定位的光源。不受控制的自然光照增加了额外的模糊性，这部分由在单输入图像上工作的自增强网络[29，57然而，他们的SVBRDF模型假设同质镜面反射。Dong等人已经提出了自然光设置中的完整SVBRDF估计。[18]通过明确优化旋转对象的时间外观轨迹的照明和反射。后来，几何重建被添加到该过程中[52]。我们的方法支持更灵活和实用的捕获设置。12686MSECσxir（t）γ（xi）Nθ1+Nθ3CJ XΓjNθ2O2∈∈∈∈∈V∈R∫tntn∫.ΣσxiJjωorDrRr（t）σxiNdnxinr1xi我N2bxiBrωjΓj(a) 采样网络粗采样网络的主要任务是为分解网络中的采样生成更细的分布。为了在训练期间匹配输入，颜色预测需要考虑照明。我们将来自N θ的压缩Γj与N θ 1的潜在颜色输出组合以生成N θ 3中的照明相关颜色。(b) 分解网络 利用粗网络生成的采样模式，对神经元体中的每个点进行SVBRDF分解。从N1查询密度σ和直接RGB颜色d。此外，一个向量被传递给N2，它将其解码为该点通过将BRDF压缩到低维潜在空间，所有表面点有助于训练场景的似然BRDF的联合空间每个点仍然在该空间中插入其参数来自密度的梯度形成法线η，并且与BRDF和球面高斯Γj-起被传递到可微分渲染器。图2：NeRD架构。该架构由两个网络组成。这里，Nθ1/N1表示编码反射体积的主网络的实例。r（t）定义具有采样位置xi的射线，γ（x）是傅立叶Em- bedding [36]，并且Γj表示每个图像j的SG参数。c是输出颜色，σ是体积中的密度。沿着射线的各个样本需要基于沿着射线的密度σ进行阿尔法合成这被表示为3. 方法我们的方法联合优化模型的形状，BRDF，和照明，通过最小化的光度误差，把图像采集的对象，在固定或不同的照明下捕获。问题设置。 我们的输入由一组q个图像组成，每个图像具有s个像素，IjRs×3;j1，…q在不同的照明条件下可能被捕获。 我们的目标是学习3D体积，其中在3D空间中的每个点x=（x，y，z）R3处，我们估计BRDF参数b R5、表面法线nR3和密度σR。环境映射由参数Γ∈R24×7（24瓣）的球面高斯混合（SG）表示准备工作。我们遵循NeRF的一般架构[36]。NeRF使用两个多层感知器（MLP）创建用于新颖视图合成的神经体积。NeRF模型使用MLP在3D空间中的每个点处对视图相关的颜色和对象密度信息进行NeRF由两个MLP组成，其中一个过程采样网络在一个固定的网格中对体积进行采样，并学习物体的粗略形状。估计给定输入3D位置（x，y，z）处的密度σ。第二更精细的网络使用该粗密度信息来生成沿着观看光线的更密集的采样图案，其中更高密度梯度位于该观看光线处。形式上，射线可以被定义为r（t）=o+td，其中射线原点为o，射线方向为d。每条光线都投射通过图像平面并且对具有对应颜色的不同像素位置进行采样。 沿着射线行进通过每个样本坐标x=（x，y，z）处的体积，网络N（. ）查询体积参数p（t）。这里，我们使用p（t）作为颜色c（t）、密度σ（t）或在我们的情况下BRDF参数b（t）的替代。继Tan-ciket al.[49]和Mildenhallet al. [36]，其表明基于坐标的方法与基于高频x输入的学习细节斗争，我们还使用他们提出的3D点的傅立叶嵌入γ（x）表示。采样的体积参数沿着射线经由α合成（Comp.）使用每个点处的密度σ（t）：P（r）=tfT（t）σ（t）p（t）dt，其中T（t）=exp−tσ（s）ds[36]，分别基于射线tn和tf的近界和远界。NeRD概述。与NeRF相比，NeRD架构的主要不同之处在于第二个更精细的网络。NeRD使用分解网络作为更精细的网络，其存储与照明无关的反射率参数，而不是与直接视图相关的颜色。此外，NeRD中的采样网络两个网络的概述如图所示。二、通过将可微分渲染步骤的输出与每个输入图像进行Comp.γ（xi渲染Comp.C12687ΣΣR×个--ωorRS∫·R--Ij用于跨3D体积的单独射线24m=1 ρd（ωo，Γm，n，b）+ ρs（ωo，Γm，n，b）.我们不同的-采样网络采样网络直接估计每个点处的独立于视图但依赖于照明的颜色cj，其通过MSE优化：1s（cjcj）2。采样网络示例网络结构在图中可视化2a. 与NeRF相比，我们的训练图像可以具有不同的照明。因此，网络需要考虑照明Γj以创建应当匹配图像Ij的照明相关颜色Cj。密度σ不依赖于照明，这就是为什么我们直接将其提取为Nθ1的侧输出。在这里，我们遵循来自NeRF-w [34]的概念，其将估计的照明的嵌入与由Nθ1产生的潜在颜色向量相结合。由于SG的维数可能很大，我们增加了一个压缩网络（Nθ2），它将24个7维SG编码为16维。然后将压缩的SG分层渲染实现遵循Boss等人的方法。[10 ]第10段。整体网络架构如图所示。2b.特别是在估计的早期阶段，BRDF和形状的联合优化被证明是困难的。因此，我们估计密度σ，并且在开始时，对于N1中的每个点，估计与视图无关的颜色d。将直接颜色预测d与输入图像进行比较，并且当建立粗略形状时，要计算着色，需要曲面法线。一种方法可以是简单地学习法线作为其他输出[6]。然而，这通常会导致不一致的法线，不一定适合对象的形状（图。第3c段）。可以通过移动法线而不是改变BRDF来创建特定的反射。将表面法线耦合到实际形状可以解决一些这种模 糊性[10]。在 基于坐 标的体积 表示（ 如 NeRF[36]）中，我们可以通过将normal定义为密度场的归一化负梯度来并共同传递到最终估计网络Nθ3的n=xσ∥∇xσ∥. 而密度场定义了表面输出颜色值。在没有照明相关颜色预测的情况下，几个浮动物将出现在体积估计中，引入错误的半透明几何体-尝试在各个视图的高光中绘制（参见图1B）。第3b段）。通过引入照明相关分支，得到的3D体积更稀疏且更一致。分解网络在射线已经对采样网络进行采样之后，基于密度σ放置另外的m个样本。这在图1中可视化。2b作为射线上的附加绿点。分解网络的训练与采样网络的训练具有相同的损失。然而，我们引入了一个显式的分解步骤和渲染步骤之间。我们的分解步骤估计视图和照明独立的BRDF参数b和表面法线n在每个点。流行的Cook-Torrance分析BRDF模型[14]用 于 渲 染 。 在 这 里 ， 我 们 选 择 Disney BRDFBasecolor-Metallic参数化[11]，而不是独立预测漫反射和镜面反射颜色，因为它强制物理正确性。采用球面高斯（SG）形式的照明Γj也被联合优化。 在渲染经分解的参数之后，最终输出是视图和照明相关颜色Cj。隐含地，3D体积中的密度在非不透明空气与不透明物体之间的边界处急剧变化因此，表面处的梯度将垂直于隐式表示的表面。这类似于Yariv等人的SDF的正常重建。[56]。通过计算优化内部的梯度并允许来自可微渲染的光度损失来优化法线，我们在二阶中优化σ因此，体积中的周围点的邻域被平滑并且与光度观测更加一致。由于更密集定义的隐式体积允许更平滑的法线，因此我们在训练期间另外抖动光线样本。每条光线现在都投射在子像素方向上，目标颜色通过双线性插值获得。对于BRDF估计，我们使用的属性，往往是现实世界的对象，包括一些高度相似的BRDF可能是空间上分离的。为了说明这一点，我们引入了一个额外的网络N2，它接收N1的潜在向量输出。这个自动编码器创建了一个严重的瓶颈，一个二维潜在空间，它编码这个场景中所有可能的BRDF。当嵌入空间强制压缩时，类似的BRDF将共享相同的该步骤将多个BRDF的BRDF估计与多个BRDF的BRDF估计耦合。通过保持渲染可区分，输入颜色c（j）可以反向传播到BRDFb、法线n和照度Γj。我们的渲染步骤近似于一般渲染方程Lo（x，ωo）=Ωfr（x，ωi，ωo）Li（x，ωi）（ωin）dωius-总共进行了24次SG评价。ωi和ωode-分别细化入射和出射光线方向漫反射和镜面反射波瓣的反射率分别通过函数ρd和ρs进行评估[51]。总的来说，我们的图像形成被定义为：Lo（x，ωo）≈tiple表面点，增加鲁棒性。对各种BRDF的分配如图所示。图3a示出了可用于基于材料的分割的图像的示例。该方法将收敛到全局一致的状态，因为假设基础形状和BRDF对于所有输入图像都是相同的。针对每个输入图像估计SG，但是在静态照明的情况下，我们可以迫使它们是相同的或单个SG的旋转版本动态范围、色调映射和白平衡。 作为12688∇B--输入材质贴图图3a：压缩的BRDF空间。而不是直接估计的BRDF，我们学习的2D嵌入每个场景cluts- ters类似的材料。由于几个点联合估计BRDF，这稳定了分解并提高了质量。请注意，在生成的材质贴图中，如何在整个曲面上标识相似的材质考虑光照的直接颜色预测图3b：SG依赖的采样网络。Nθ1可以在一定程度上通过沿射线的合成来模拟视图依赖性。然而，这对于处理变化的照明来说太弱了。外观高光会引入虚假几何体，模仿单个视图的效果。我们可以得到更好的形状，通过估计与照明相关的辐射与球面高斯（SG）。直接预测基于σ图3c：表面法线估计。在我们的方法中，法线不是直接作为Nθ 1的另一个输出来预测的，而是根据密度σ的梯度来计算的。因此，光度量信息在训练期间影响η和σ由于大多数在线图像集合由低动态范围（LDR）图像组成，并且至少应用了sRGB曲线和但是，渲染可以产生较大的值范围，具体取决于入射光和对象现实世界的相机也面临这个问题，并通过改变光圈，快门速度和ISO来解决它。基于JPEG文件中编码的元数据信息，我们可以重建输入图像然后，NeRD被迫始终与物理上合理的范围一起工作。对于合成示例，我们基于基于饱和度的灵敏度自动曝光计算[1]来计算这些曝光值，并且还应用sRGB曲线。相机还基于照明应用白平衡，或者之后手动设置白平衡。这可以减少照明和材料颜色之间的一些模糊性，并且特别地，固定照明的总体强度。对于合成数据，我们评估了环境中具有80%灰度值的我们假设对真实世界数据的完美白平衡和曝光，至少对于输入图像之一存储白点的RGB颜色（w）在每个训练步骤之后，在估计的照明中呈现具有粗略的80%灰色材料的单像素，并且计算因子f=w 然后将该因子应用于相应的SG。由于训练将采用BRDF来归一化SG，因此单个白平衡输入可以隐式地更新和校正所有其他视图。在实践中，所计算的因子f可能在一个步骤中突然改变SG，从而导致不稳定的训练。因此，我们将f的范围裁剪到[0]。99; 1. 以将更新散布在多个训练迭代上。网格提取。训练后从NeRD中提取一致纹理补片的能力是关键广告之一优点的分解方法，并使实时渲染和重新照明。这对于基于NeRF的方法是不可能的，其中视图相关外观直接烘焙到体积中。基本过程生成点云，计算网格，包括纹理图谱，然后用BRDF参数填充纹理图谱更多细节见补充材料。训练和损失。该估计由输入图像与评估随机生成的射线的结果对于采样网络，该损失被应用于RGB预测，并且对于分解网络，该损失被应用于重新渲染的结果cj和直接颜色预测d。基于d的颜色预测的损失以指数方式淡出。另外，我们利用前景/背景掩模作为监督信号，其中沿背景区域中的射线的所有值这种损失在整个训练过程中呈指数衰减，以减少优化不稳定性。通过逐渐增加这种损失，网络被迫提供更准确的轮廓，这防止了训练结束时信息的模糊使用Adam optimizer[25]对网络进行300K步的训练，学习率为5e 4。在4台NVIDIA 2080 Ti上，培训时间约为1.5天。最终补片提取大约需要90分钟。4. 结果所提出的方法恢复形状，外观和照明重新照明在无约束的设置。我们的重建和重新照明性能的合成集测量地面实况图像和已知的BRDF参数。对于现实世界的例子，我们提出了新的，重新点燃的意见，并比较渲染与验证图像排除在训练。如果用于验证图像的环境图是已知的，则我们直接使用该环境图来重新照明。12689基色金属度粗糙度正常环境图像重新照明1重新照明2点光源1 点光源2图4：合成实施例的分解。突出显示两个场景，以显示我们的方法的分解性能。请注意在使用不可见照明重新照明时的准确性能。基色金属度粗糙度正常GT重新渲染-照明0照明1视图+照明1View + Illum 2视图+照明0GT重新渲染-照明0照明1视图+照明1视图+照明0 GT重新渲染-照明0照明1视图+照明1视图+照明0图5：真实世界的BRDF分解和重新照明。分解产生似真的BRDF，并且重新渲染的图像接近地面实况输入图像。注意，估计的参数几乎不受侏儒场景的输入中可见的阴影的影响。 当重新显示确认视图的估计SG时，外观很好地再现了。即使在不同的视角下或在完全新颖的人工照明下，恢复的BRDF参数也会产生令人信服的图像。否则，我们通过使用学习率为0的随机梯度下降在1000步中通过冻结网络优化SG来恢复看不见的照明。1.一、与先前方法的一对一比较是具有挑战性的，因为大多数方法使用不同的捕获设置。然而，我们可以将NeRF在类似场景下训练的结果进行比较NeRF不能在新的照明下重新照亮物体，即使NeRF-w和我们简化的NeRF-A基线也只能在可见的照明之间进行插值。我们还进行了消融研究，以研究我们的新的训练技术的影响我们参考补充材料以获得其他结果，并为不同场景提取数据集。我们使用三个合成场景来展示估计的BRDF参数的质量。我们使用三种纹理模型（Globe [50]，Wreck [12]，Chair [13]）和用每个图像变化的环境照明渲染每个模型对于固定照明合成数据集，我们使用NeRF [36]中的Lego，Chair和Ship场景。我们还使用来自大英博物馆摄影测量数据集的两个真实场景进行评估：一个埃塞俄比亚人的头[39]和一个黄金斗篷[40]。这些场景的特点是一个对象在一个固定的环境中旋转的对象或摄影机。此外，我们在一天中的不同时间在不同的照明下捕获了我们自己的场景（Gnome，MotherChild）。BRDF分解结果。图4示出了合成汽车残骸和椅子场景的示例性视图和分解结果在所有情况下，我们观察到估计的重新渲染非常类似于GT。估计的BRDF参数可能在某些地方与GT相比不完全匹配，但考虑到纯被动未知的illu。GTGT我们我们12690方法[PSNR↑]漫反射镜面粗糙度Li等1.06-Li等+ NeRF1.15-17.28我们的18.24 25.7015.00表1：BRDF估计。与环境照明下BRDF分解的最新最先进方法的比较[32]。Li等人：直接在测试图像上，Li等人。+ NeRF：NeRF在来自[32]的BRDF上训练。固定照明 变化的照明方法PSNR↑ SSIM↑ PSNR↑ SSIM↑NeRF34.240.97NeRF-A32.440.9728.530.92我们的30.07 0.95 27.960.95NeRF23.340.85 20.110.87NeRF-A我们22.87二十三点八六0.8326.360.8825.810.940.95表2：新颖视图合成。与NeRF和NeRF-A在新视图合成上的比较（在不同照明下重新照明请注意，NeRF和NeRF-A无法在任何看不见的照明中重新照明，也不容易从网络中提取纹理网格。即使是在最佳设置下，它们仍然再现GT图像。偏差的原因是分解问题的固有模糊性，以及基于SG与.高分辨率GT环境地图。几个子任务的无约束形状和BRDF分解问题已经解决了早期的作品。不幸的是，试图单独地或顺序地恢复参数，例如。几何体、BRDF或照明在具有挑战性的场景中通常会失败。我们表明，COLMAP未能重建一个合理的几何形状，我们的一些数据集的补充材料。如果后续阶段依赖于准确的几何形状，则管线不能从不准确的形状重新覆盖有意义的材料属性。我们还尝试使用Li等人的工作分别恢复每个图像的BRDF参数（dif- fuse和粗糙度）。[32]然后是NeRF来处理视图插值。为了在视图独立的BRDF参数上运行，我们相应地调整了NeRF。然而，NeRF未能创建相干几何结构，因为每个图像导致显著不同的BRDF参数图。因此，我们的结论是，联合优化的形状和SVBRDF是必不可少的这个非常模糊的问题。与Li等人的定量比较如表1所示。这些是我们的合成数据集（Globe、Wreck和Chair）的平均PSNR结果。我们将基色分解为漫反射和镜面反射以能够与Li等进行比较，其使用漫射和粗糙度参数化。值得注意的是，Liet al.这是一个弱基线，但最接近可用，因为他们的方法预期与环境照明相结合的闪光灯然而，由于大多数场景是利用外部环境照明来捕获的，因此闪光将由于强烈的太阳光而几乎不被注意到。重新照明和新视图合成。在图5中，针对我们的真实世界数据集示出了在看不见的环境中的新颖视图和合理的重新照明。重新照亮的图像在视觉上接近于保持出的验证图像。此外，可以用来自不同视图的照明来重新照亮新颖视图。请注意，在Gold Cape的重建中丢失了一些精细的细节，这是由相机配准中的小误差引起的。此外，MotherChild模型缺少一些高光，特别是在掠射角处，这可以归因于基于SG的渲染模型的限制。虽然不存在地面真实BRDF，但Gnome的估计参数（图1）。（5）看起来很合理。材料被正确分类为非金属（黑色金属度图），具有较高的粗糙度，并且法线也与形状对齐良好。在收集污垢的中央山谷中，与干净、光滑的混凝土枕表面相比，BRDF参数的粗糙度增加。颜色也被很好地捕获，并且在重新渲染中，与地面实况的相似性是明显的。第3帧第6帧第9帧重新照明图6：在真实世界埃塞俄比亚人头部上与NeRF和NeRF-A的新颖视图比较。注意我们方法中改进的一致性。NeRF引入高光作为辐射体积中的浮动体，其不一致地遮挡其他视图中的场景几何体。此外，我们展示了我们的方法在重新点亮头部的质量。另一个评估集中在使用我们的方法纯粹为新的视图合成，隐式重新照明。在这种情况下，我们的方法可以与NeRF [36]以及NeRF的扩展进行比较，称为NeRF-A，其灵感来自[34]。NeRF-A在48维潜在向量中对每个图像的外观变化进行建模。值得注意的是，NeRF-A是一个强大的基线，因为与NeRD相比，任务更简单，并且它只能重新照明不可用不可用17.18Syn.房NeRF-A我们NeRF12691在已知的场景中。在固定照明场景中，NeRF-A不能重新照明。表2显示了多个数据集的定量结果，真实世界（Real）和合成（Syn.）在测试视图上，其中在这里，固定和合成案例的相应数据集来自NeRF（船舶，乐高，椅子），对于变化，我们使用我们的（Globe，Wreck，椅子）。对于真实世界的比较，Cape提供固定照明，并且侏儒、头部和母子场景在不同的环境中被记录。PSNR和SSIM结果表明，NeRF在不同的光照情况下表现得很差。另一方面，NeRF-A是变化照明情况下的强基线，我们在解决更具挑战性的问题时大多数情况下匹配或超越该基线，这允许更灵活的重新照明用例。图 6 示 出 了 NeRF 、 NeRF-A 和 NeRD （ Ours ） 在Ethiopian Head真实世界场景上的新视图合成结果。对象在相机前面旋转。 因此，我们在图中的白色背景上组成头部。6，因为NeRF不能用固定的相机处理静态背景。在训练期间，两个模型都非常接近地重新创建输入。然而，在测试视图中，NeRF添加了虚假几何形状以模拟特定相机位置的高光，这是训练集中的其他相机看不到的。NeRF-A可以表达外观嵌入中的相对光照然而，由于仅看到单一照明类型，NeRF-A仍然不能够在任意照明下重新照明。由于我们的物理动机的设置与形状，反射率和照明的显式分解，这些问题几乎完全消除。我们的方法创建令人信服的对象形状和反射特性，其中，此外，允许在新的设置重新照明。总的来说，很明显，NeRF将不与不同的照明工作还值得注意的是，即使使用如NeRF-w [34]中的外观嵌入，我们的简化NeRF-A基线，该方法也只能在看到的照明之间进行插值。我们的模型是能够重新照明，即使现场只被捕获在一个单一的固定照明。消融研究。在表3中，我们消除了基于梯度的法线估计、压缩空间中的BRDF插值以及在我们在Globe场景中执行此研究，因为它包含反射、金属和漫反射材质以及精细几何体。最大的改进之一是添加了基于梯度的法线。的耦合方法基色金属度粗糙度法线重新渲染无梯度正常 2 0 1 9 年12月31日不含Com. BRDF0.0089 0.0759不含WB0.10590.08700.27540.0087 零点六五五完整型号0.07960.07840.27240.0084 零点零五九二表3：消融研究。10个测试视图上的MSE损失与消融梯度（梯度）法线，压缩（Com.）globe数据集上的BRDF和白平衡（WB）。形状和法线改进了BRDF和照明分离。法线不能自由旋转以模拟特定反射。压缩的BRDF空间也改善了结果，特别是在金属性参数估计方面。这表明编码器/解码器网络N=2的联合优化有效地优化了跨不同表面样本的类似材料。白平衡固定SG的绝对强度和颜色，这间接地迫使BRDF参数进入正确的范围。5. 结论在这项工作中，我们解决了一个极具挑战性的问题，分解形状，照明和反射率，通过增强基于坐标的辐射场的BRDF和照明的显式表示。这种分解使得我们的方法比简单的基于外观的表示或其他多视图立体方法w.r.t.照明、投射阴影或光泽反射中的变化此外，我们提出了一种方法来链接的表面正常的对象的实际形状在优化过程中。该链接允许通过可微分渲染的反向传播来改变形状的光测损失。我们的方法，使现实的实时渲染和重新照明下的任意看不见的illumi-国家通过明确的网格提取的神经体积。虽然该方法的结果令人信服，但存在一些局限性。目前，没有明确的阴影，ING建模，而对象被优化。 特别是在具有静态环境照明和深裂缝的场景中，阴影将被烘焙到漫反射率中。此外，所选的SGs环境模型有助于稳定和快速的着色评估，但当场景中存在高频灯光效果时，通常会受到限制一个不同的，也许是隐式的环境表示可能会产生更好的结果，但它需要支持高效的BRDF评估。致谢本工作由Deutsche Forschungsgemeinschaft（德国研究基金会）-项目编号276693517 - SFB 1233和EXC编号2064/1-项目编号390727645资助12692引用[1] 技术委员会ISO/TC 42。摄影技术.数码照相机.曝光指数、ISO感光度额定值、标准输出灵敏度和推荐曝光指数的测定标准，国际标准化组织，2019年。五个[2] Miika Aittala，Timo Aila，and Jaakko Lehtinen.神经纹理合 成 的 反 射 率 建 模 。 ACMTransactions on Graphics（ToG），2018年。二个[3] 作 者 ： Rachel Albert ， Dorian Yao Chan ， Dan B.Goldman和James F.奥布赖恩从移动电话视频的近似svBRDF估计。在2018年的Eurographics研讨会上。二个[4] Louis-Philippe Asselin 、 Denis Laurendeau 和 Jean-Fran coisLalonde。真实材料的深svbrdf估计。2020年国际3D视觉会议（3DV）一、二[5] 乔纳森·T.巴伦和吉坦德拉·马利克形状、照明和着色的反射 率。 在IEEE Transactions on Pattern Analysis andMachine Intelligence（PAMI），2015中。一个[6] SaiBi ， ZexiangXu ， PratulSrinivasan ， BenMildenhall，Kalyan Sunkavalli，Milosˇ Hasˇan，YannickHold-Geoffroy，David Kriegman，and Ravi Ramamoorthi.用于外观采集的神经ArXiv电子印刷品，2020年。一、二、四[7] Sai Bi ， Zexiang Xu ， Kalyan Sunkavalli ， MilosˇHasˇan，Yan-nick Hold-Geoffroy，David Kriegman，andRavi Ramamoor- thi.深反射体积：从多视图光度图像的可靠重建。欧洲计算机视觉会议（ECCV），2020年。一、二[8] Sai Bi ， Zexiang Xu ， Kalyan Sunkavalli ， DavidKriegman，and Ravi Ramamoorthi.深度3D捕获：稀疏多视图图像的几何和反射率。在IEEE计算机视觉和模式识别会议（CVPR），2020年。一、二[9] Mark Boss、Fabian Groh、Sebastian Herholz和HendrikP. A.伦施深度双损耗BRDF参数估计2018年材料外观建模研讨会。一、二[10] Mark Boss，Varun Jampani，Kihwan Kim，Hendrik P.A.Lensch和Jan Kautz。两次空间变化的brdf和形状估计。IEEE计算机视觉和模式识别会议（CVPR），2020。一、二、四[11] 布 伦 特 · 伯 利 。 迪 斯 尼 基 于 物 理 的 阴 影 。ACMTransactions on Graphics （ SIGGRAPH ） ， 2012年。四个[12] cgtrader车祸https://www.cgtrader。com/free-3d-models/vehicle/other/汽车残骸游戏资产。六个[13] cgtrader椅子https://www.cgtrader。com/free-3d-models/furniture/chair/freifrau-easy-chair-pbr. 六个[14] Robert L.作者声明：Kenneth E.托兰斯计算机图形学的反射模型。ACM Transactions on Graph-ics（ToG），1982. 四个[15] Valentin Deschaintre 、 Miika Aitalla 、 Fredo Durand 、George Drettakis和Adrien Bousseau。使用渲染感知深度网 络 捕 获 单 图 像 SVBRDF 。 ACMTransactions onGraphics（ToG），2018年。二个12693[16] Valentin Deschaintre、Miika Aitalla 、 Fredo Durand、George Drettakis和Adrien Bousseau。使用多图像深度网 络 进 行 灵 活 的 SVBRDF 捕 获 。 在 EurographicsSymposium on Rendering，2019年。二个[17] Valentin Deschaintre ， George Drettakis ， and AdrienBousseau.大规模物料输送的引导微调。在EurographicsSymposium on Rendering，2020。二个[18] Yue Dong ， Guojun Chen ， Pieter Peers ， JianwenZhang，and Xin Tong.运动外观：未知光照下空间变化表面 反射 率的恢 复。ACM Transactions on Graphics（SIGGRAPH ASIA），2014年。2[19] 段高、小李、岳东、皮特·皮尔斯、辛桐。从任意数量的 图 像 进 行 高 分 辨 率 svbrdf 估 计 的 深 度 逆 绘 制ACMTransactions on Graphics （SIGGRAPH） ，2019年。一、二[20] Marc-Andre'Gardner ， KalyanSunkavalli ， ErsinYumer，Xi-aohuiShen，EmilianoGambaretto，ChristianGag ne'，andJean-Fran c oisLalonde. 学习从单个图 像 预 测 室 内 照 明 ACM Transactions on Graphics（ToG），2017年。一个[21] 丹湾Goldman，Brian Curless，Aaron Hertzmann，andSteven M.塞茨来自光度立体的形状和空间变化的BRDF 。 IEEE Transactions on Pattern Analysis andMachine Intelligence（PAMI），2009年。一个[22] Tom Haber，Christian Fuchs，Phillipe Bekaer，Hans-Peter Seidel，Michael Goesele，and Hendrik P. A.伦施从图像集合重新照明对象在IEEE计算机视觉和模式识别会议（CVPR），2009年。1[23] James T. 卡 吉 亚 渲 染 方 程 。 ACM Transactions onGraphics（SIGGRAPH），1986年。一个[24] Kihwan Kim ， Jinwei Gu ，