深层外观贴图的网络表示和应用

8729深层外观贴图马克西姆·马克西莫夫慕尼黑工业劳拉·莱尔-塔克斯慕尼黑工业马里奥·弗里茨CISPA亥姆霍兹信息安全托拜厄斯·里切尔伦敦大学摘要我们提出了一种深层次的表象，即。例如，颜色、表面方向、观察者位置、材料和照明的关系。以前的方法使用深度学习来提取与反射模型参数（例如，例如，在一个实施例中，Phong）或照明（e.例如，在一个实施例中，HDR环境贴图）。我们建议直接将外观本身表示为我们称之为深度外观图（DAM）的网络。这是在2D反射贴图上的4D概化，其保持视图方向固定。首先，我们展示了如何从图像或视频帧中学习DAM，然后在给定新的表面方向和观看者位置的情况下用于合成外观。其次，我们演示了如何使用另一个网络从图像或视频帧映射到DAM网络来重现这种外观，而无需使用冗长的优化，如随机梯度下降（学习）。最后，我们展示了一个外观估计和分割任务的例子，从一个显示多种材料的图像映射到多个深度外观图。1. 介绍物体的视觉外观取决于四个主要因素的组合：观察者、几何、材料和照明。当捕捉和处理外观时，人们希望改变这些因素中的一个或多个，并预测新的外观是什么这可以使用从隐式基于图像的表示[6，13]到显式计算机图形表示[27]的方法来实现 隐式方法将几张照片作为输入，并允许在有限的条件下预测高质量的图像例如，在一个实施例中，在两张照片之间插入图像，但不外推到新视图。显式表示在获取Phong参数和HDR照明图时允许更大的灵活性[27]，但会导致大量的获取工作，例如：例如，在一个实施例中，拍摄大量校准（HDR）照片。DAM提出了一个新的方向来表示外观：图1.来自移动观众的视频帧（列）将使用我们的新型深度外观图（DAM）（顶部）和反射率图（RM）（底部）的重新合成与自然照明下具有复杂材料的装饰球体的照片参考（中间）进行比较。我们从隐式的基于图像的表示的基于像素的性质转移到深度表示中，但是没有任何显式的重构，因为我们也没有针对任何显式反射模型或照明的直接映射。尽管如此，我们表明，这样的表示可以用来解决实际的任务，如图像合成，外观采集和估计和分割的外观。这是由四个贡献实现的：首先，我们将介绍2D反射图[13]到4D的泛化AM表示不同视图下不同几何形状的外观这允许自由地改变观察者和表面几何形状，这对于固定视图和照明之间的关系的经典反射图是不可能的（参见图10）。图①的人。其次，虽然经典的反射率图（RM）可以简单地使用单个2D图像制成表格，但完整的外观是一种4D现象，表示和处理更具挑战性。将4D外观存储为表格，适度地解析10度特征，将需要存储（并且以某种方式还捕获）364= 17M;不切实际。相反，我们建议使用DAM，这是一种神经网络，它仅用几千个参数来表示AM这种表示是有效的，不需要任何查找，8730是可微的。此外，可以从具有已知观看者位置和表面取向的图像或视频帧有效地学习它。将这种表示应用于新的视图位置和表面取向可以以与经典渲染或RM竞争的速度完成，即。例如，在几毫秒之内就能得到完整的图像。获取DAM需要为实践中的每一个新外观学习深度模型。这将导致大量的计算工作，即.例如，与在几秒钟内捕获RM映像相比，为了解决这个问题，我们的第三个贡献建议使用另一个深度（卷积）神经网络将显示外观的图像映射到DAM（[17，34，14]，一次性学习[8]，此捕获需要毫秒而不是分钟。第四，DAM表示可以用于联合材料估计和分割，这是对先前目标的概括。这里的输入是一个图像，已知数量的n种材料，输出是n个不同的DAM，以及将每个像素映射到n个权重的分割网络我们在一个新的照片真实渲染图像数据集和一组真实照片上训练和定量测试所有网络。2. 相关工作逆绘制的主要目的之一是恢复材料和光照属性 一个场景。这是一个相当具有挑战性的，病态的和欠约束的问题，仍然很难解决的一般情况下。最近的相关工作可以大致分为数据驱动和算法方法。数学方法基于优化给定输入的外观属性[23]。这些方法通常是最近的作品[38，31]使用一组真实的RGBD图像来估计基于特定照明模型的外观。更精细的模型使用基于数据的统计先验来优化解释图像的照明和反射率[24，22]。基于深度学习的方法对人类如何基于先前的经验识别材料做出了类似的解释最近的工作[25，10，21，16，7]使用CNN来估计显式反射模型参数。类似地，编码器-解码器CNN用于估计反射率图[29]或照明和材料[12，10]。所有这些方法（一方面，这是我们所做的，因为它的因素了照明，另一方面，我们的方法是更通用，因为它不对光线或几何体做任何假设上述CNN方法的其他限制之一是来自损失函数的有限反馈：所估计的照明或反射率的变化只能通过具有适当绘制层的图像合成方法反向传播。我们的方法不涉及渲染器，避免了这个问题。外观合成 合成外观-或简称“渲染”-，可以归类为模拟-基于或基于图像。基于仿真的方法需要对环境进行完整明确的描述，这在实践中可能成本高昂且难以获得[27]。一种简单但强大的表示外观的方法是反射图[13]，这是一种2D图像，它包含在特定照明下观察到的特定方向和材料表面在图形中，反射图被称为预过滤环境图[15]，或用于捕获整个光传输的球谐函数（SH）[33]。然而，单个2D envmap或2D SH不能再现4D外观变化，并且还需要高像素分辨率或许多SH系数来捕获易于使用NN再现的精细细节（高光）。整个反射场是这些的空间图，如Debevec [5]所捕获的。基于图像的渲染（IBR）使用一组2D图像来重建3D模型，并将其呈现在不同的视图或不同的光线中[6]。这些方法通常通过手动干预进行几何预测，并在其上预测渲染材质。最近的方法[39，28]通过使用CNN模型来预测完全新颖的视图来解决这个问题。Rematas etal.[29]并建立表面和光传输特性与照片给出的外观之间的关系，生成“无需渲染”的图像。IBR的一种简单的数据驱动方法是学习每像素的全连接神经网络，以根据光线再现每像素的外观[30一般来说，这是用每像素位置，法线和反射率约束来着色图像[26]。我们的方法源于相同的根，但既不基于像素的图像渲染，也不重建一个显式的外观模型。相反，我们将使用对外观本身的深层表征。光场[19]也存储4D外观，但由空间或表面位置[37]参数化并存储2D lumitexel。BRDF 4D捕获反射率，但不捕获照明。我们的DAM捕获的4D关系的表面取向和视图方向。分割经典分割不考虑材料[32]。最近的材料分割工作，如贝尔等人。 [2]主要是一种扩展语义分割到材料标签的形式（在他们的情况下有23个）：大多数扶手椅可能只由三种不同的材料制成，8731n/vRGBπ′这种方法可以成功地检测到的材料。在我们的工作中，我们有抽象的对象（如球体的照片）。1），其不提供太多语义并且需要使用连续的外观表示。对于视图依赖外观的视频，这是特别困难的。有了足够的捕获设备，空间变化的外观现在被常规捕获[18，11]。特别是，对于覆盖微小角度区域的非常密集的光场，外观的变化可以用于分离镜面反射和漫反射[1]。我们的工作使用了更稀疏的样本，并超越了镜面漫反射分离，以支持在所有视图方向上外推的任意另一个挑战是多材料估计。一些工作[10，35]在相同的照明下使用了多种材料，但它们需要预先分割的材料。在我们的方法中，我们执行联合多材料分割和估计。学习学习的动机是观察到一个通用的优化器，例如用于查找网络内部参数的优化器，对于所有问题来说，永远不会比随机策略好得多。同时，智能参与者可以非常快速地学习，这显然不需要完全优化[17]。我们假设，在看到一种材料一段时间后，一个人，特别是一个受过训练的艺术家，将能够预测它在新条件下的外观。这需要能够用新的观察来完善学习模型[34]。对于卷积网络，这是在动态滤波器网络中完成的[14]，但我们不知道外观建模的应用，例如我们将在这里进行。3. 深加工外观3.1. 外观图我们将特定材料fr在特定远距离照明Li下的RGB外观Lo建模为从绝对世界空间表面取向n和观看者正常n视图ωo图2.反射和外观贴图。固定的，同时也被限制在一个单一的半空间：其中 ≤.2覆盖4D球体的动机是我们的应用程序，允许独立地改变视图（2D）和表面方向（2D）。注意，没有像其他人那样对BRDF进行假设[12，10]。3.2. 深层外观贴图我们使用深度神经网络工作Lo （x|θ）来近似Lo（x），其中θ表示网络内部参数（图4，a）。这种网络的输入是表面方向，和观看者方向参数化为欧几里德向量，I.例如，一共六个数字。随后是几个完全连接的层，最终组合成单个RGB输出值。使用1 × 1卷积提供了图像或对象结构的独立性。这里，随机梯度下降（SGD）用于最小化argmincd（θ，W）+αca（θ，δ）θ、δ根据依赖于DAM模型参数的数据成本cd和进一步包括对抗模型δ的参数成本的对抗成本ca的α加权和，将解偏置为似乎合理的。W是一个权重向量，目前设置为1，但稍后将需要用于分割。我们使用α=。001。数据成本定义为方向ωo（联合表示为x），如在∫cd（θ）=1Σnn i=1Wi||Lo（xi|θ）−Lo（xi）||、（1）Lo（ωo，n）=联系我们Li（ωi）fr（ωi，ωo）+dωi.其中Lo（x）是正常和=xvi w方向x和Lo（x|θ）是模拟的外观，本质上，Lo是一个六维函数。 在fol中-参数θ。对抗成本定义为下面，我们表示两个三维参数出射方向ωo和表面取向n-作为联合ca（θ，δ）= α a（R（θ，I））|δ）+（1 −a（I′）|δ）），参数向量x。这个概念，如果可视化图。2：在经典反射贴图中，法线不同（蓝色箭头），但视图方向相同（橙色箭头）。在我们的推广中，视图和法线都任意变化。我们I∈I联系我们渲染外观是假的I′∈I联系我们真实的外表才是真实的（二）甚至可能在不同的视角下观察到同样的常态。经典的反射图[13]，假设沿z轴的视图方向z，并保持光线和表面的关系其中I是具有每像素颜色（Irgb）、法线（In）和视图方向（Ib）的图像的集合（在第2.2节中详细描述）。4）、ESTA是具有参数δ的对抗网络，分类外观图反射图8732图3.我们使用我们的深层外观地图解决不同的外观处理任务。a）第一个任务简单地再现给定的外观，即。例如，它使用NN从法线和视图方向映射到RGB值b）在学习到学习任务中，网络将图像映射到DAM表示。c）最后，在分割和估计任务中，网络将图像映射到多个DAM和多个分割网络。当其为1时，其参数为假，并且R是将具有参数θ的外观模型应用于图像I中的每像素法线和视图方向的运算符（重新合成/渲染）。对抗性网络Ranka本身是一个常见的编码器风格的分类器，如图所示。4，b.它将输入图像分类为0和1之间的单个值。GAN激励解决方案在训练期间没有观察到法线或视图方向的区域中产生合理的以交互速率（1毫秒）而不是需要71秒的优化（对于Tbl.Nvidia GTX 1080）。一般的优化过程可以找到所有问题的好解决方案，但是没有一种学习方法可以在所有问题上都做得很好，这比猜测要好得多[36]。然而，我们在这里并不要求“免费午餐”，因为我们知道我们不想解决所有问题，而是解决一个特定的子集：学习如何将法线和视图方向映射到外观。为此，我们采用卷积神经网络Θ（I|（φ），其在具有第二内部参数集合φ的图像I上执行。因此，网络取代了一般的学习算法[14]。该网络可以在任意图像上复杂地部署和有效地执行，以产生可用于合成的DAM从这个意义上说，它是一个预测网络权重（学习参数）的网络网络的输入是一个256×256 RGB，正常和视图方向的图像I，显示了单一材料的外观图。4，c.使用图像而不是简单的样本列表允许网络推理值的空间排列，例如。例如，在一个实施例中，检测高光的形状和关系。输出是3360维向量Θ（I|φ），它描述了产生I的网络的内部参数。网络0具有八层，降低分辨率直到完全连接的层。培训现已图4.使用的四种架构学习深度外观模型需要的不仅仅是最小化，argminφ，δΣI∈Icd（Θ（I|φ），w）+αca（Θ（I|φ）|δ），（3）分钟，而在一毫秒内对完整图像执行。现在我们将看到这种表示如何实现两个新的应用：learning-to-learn材料出现（第二节）3.3）和材料估计和分割（第第3.4段）。3.3. 学习深度外观模型更 进 一 步 ， 我 们 建 议 用 网 络 （ learning-to-learn[34]）代替之前解释的其主要思想是加快学习过程，允许即时获取深层外观材料I.例如，与前一节相同的成本，但定义在网络Θ（I）的参数φ上|φ）产生另一个网络而不是网络参数θ。3.4. 外观估计和分割第二个应用是联合外观估计和分割。我们不是保持分割修复并为每个片段估计外观模型或假设外观以应用分割，而是以无监督的方式联合完成这两项工作我们建议使用SGD本身作为一种优化方法来找到分割，8733外观预测网络。这里，DAM以及分割网络被用作待推断的潜在变量。假设材料的数量n是已知的。所有外观的外观网络参数被分解为矩阵Θ（I）=（Θ（I|φ1），. . . ，Θ（I|φn））T. 在优化中，我们建议学习一个具有参数Rnpi的网络Rnpi（Rnpi），它联合产生所有n分割掩模（Fig.4，d）。这个网络也是一个简单的编码器-解码器，具有在材料之间共享的跳过连接，以便进一步减少参数。该网络的输入是一个图像I，其中包含像素颜色、法线、位置，输出是一个权重掩码，表示某个像素属于某个材料i的程度。每种材料i都有一个分割网络参数，它们都堆叠成矩阵（I）=（|1），. . . ，（I|n））T. 现在的优化变成了Σn在变化的照明下的许多几何对象的设置。令人遗憾的是，由于如此多的参数（几何形状、材料、照明和视图的乘积）所遇到的维数灾难，这不能很好地扩展到大量此外，难以用地面实况材料分割来手动装饰它们相反，我们建议使用照片般逼真的渲染图像。我们从模型库中获得了五个生产质量的3D对象。由于我们的大多数架构将图像简单地视为4D样本的列表，而没有空间布局，因此这种相对较少的模型数量似乎足够了。每个模型都被分配了多个（三个）或一个物理上合理的（分层GGX着色）材料，这些材料以复杂和自然的空间排列组织在物体表面上在渲染之前，我们随机化漫反射组件的色调对于照明，我们使用了20种不同的HDR环境贴图。对于每个模型，使用了32个不同但相等的观察点，这些观察点位于物体周围 的 圆 上 ， 具 有 随 机 高 程 总 的 来 说 ， 这 导 致5×20×32=3200arg minΘ，θ，δa，δmi=1cd（Θ（I|φi），φ（I|（i））+图像.注意，需要完全覆盖四维;高一个数量级作为αca（Θ（I|φi），δa）+βcs（W）.（四）这里，cs是权重掩码W上的稀疏项，其鼓励一个像素的大多数值为零的解决方案除一岛外，例如， 以在大多数像素中具有一种独特的材料。 对于W中的每个通道W，它是iabs（Wi-.（五）。4. 一种多视图多材质数据集为了处理具有多种材料的对象的视图、表面方向和照明的据我们所知，不存在允许受控研究的多材料、多视图数据集。数据集的示例如图所示五、图5. 我们的数据集的四个变体中的两个样本。从现实世界中捕获这样一个数据集的一个看似显而易见的方法是在许多曝光下拍摄许多照片观点和材料是随机的，没有共享之间存在测试和训练集。几何岛例如，法线和视图方向的某些组合可能出现在测试和训练数据中。我们对所有任务进行相同的测试和培训。对于渲染，我们使用Blender的[4]Cycles渲染器和高质量设置，包括多个间接和特殊反弹。请注意，这些光路违反了模型假设。我们添加了一个虚拟的三脚架，以更接近真实的照片，通常也有本地反射，使模型假设的远距离照明无效。所得到的图像被线性地色调映射，使得第95百分位映射到1并且保持线性（非伽马校正）。对于语料库I中的每个图像I，我们存储许多通道：外观为RGB颜色Ic，位置Ip，法线In，以及具有n个通道的权重图Iw，其中n是材质的数量。除 了 ENVMAP 版 本 ， 我 们 还 生 产 了 一 种 带 有POINTLIGHT照明的变体（技术上，一种单一的小面积光），并将其分为两种风格：MULTIMATE-RIAL和SINGLEMATERIAL。使用单个材质时，材质分割将被忽略，对象中的一个随机材质将被指定给整个3D对象。在多材料的情况下，我们直接进行。注意，这种仪器在真实照片上是不可行的。5. 结果5.1. 议定书在这里，我们评估我们的深层外观表示（第二节）。5.2），以及它在学习中8734旧观点.4新视图秩秩.4旧观点新视图秩秩表示学习到学习分割和估计.4.4.400 1000 001000 01000 001000 08801000Pointlight其他我们Envmap其他我们图6.每个任务的成对误差图在每一对中，第一个是旧视图，第二个是新视图。每条曲线都是通过对数据集中所有样本的DSSIM进行排序（越少越好）而产生的蓝色用于点光源照明，红色用于环境贴图。暗色调是我们的竞争对手，浅色调是我们的。外观（Sec. 5.3）和联合材料估计和分割（第5.4）。所有任务的仪器都是使用我们的多视图、多材料数据集以类似的方式进行的4）.特别地，我们考虑其POINTLIGHT和ENVIRON-MENTMAP变体。根据任务的不同，我们可以使用单一材料或多材料。主要的quan--我们评估的是图像相似性误差（DSSIM，越少越好）相对于路径跟踪的参考。我们考虑两项任务：从SAMEV IEW（训练视图）以及从N OVEL V IEW（测试视图）重新合成。我们将使用每个样本的32个视图中的10个进行训练，并预测22个新视图。10个视图形成随机但连续的角度范围ca。240度在每个应用程序中，我们也考虑一个特定于应用程序的竞争对手来解决任务.我们使用完美的经典反射图来表示外观[13]，这是一个可以估计的上限[28]。SGD是学习外观的常见解决方案。为了在真实数据上进行测试，我们需要为RM选择单个2D输入图像。我们使用一个oracle来选择2D图像，从而产生最低的错误。这是一个神谕，在实践中是不可能的，因为选择需要知道参考。对于材料分割，没有明确的基线我们用Bell等人的方法[2]，但得出结论，它是在语义形状上训练的（椅子意味着木头等）。这并不能转化为我们所研究的抽象形状（参见补充材料中的示例）。因此，受内在图像的启发，也找到了反射率的一致补丁[9]，我们简单地在RGB-法线空间中使用k均值聚类来进行联合材料估计和分割。我们现在将研究这三个具体应用。5.2. 外观表示我们研究如何以及我们的方法可以代表出现本身。最明显的是，我们建议使用一个4D的外观- ance地图，而其他作品使用2D图像表示的反射率地图。为了量化差异，我们将数据集的SINGLEMATERIAL变体表示为常见的反射率图，以及使用我们的外观图。为了模拟在视图空间中定义的公共反射率图，我们将来自训练集的最近视图的输入图像新视图中的每条法线都将转换为新视图的摄影机空间，旧视图中的法线也将如此。然后，我们将RGB值从旧视图图像复制到具有最相似法线的新视图图像注意，RM的这种多视图扩展已经超过了将使用单个视图的现有技术我们称之为RM++。TBL. 1，顶部，将结果显示为整个数据集的平均误差。我们看到，对于所有数据集，我们的方法在具有较低的DSSIM误差方面NOVEL VIEW的误差差异比SAMEVIEW更明显。 误差分布的详细曲线图见图1。6号，左边。这是因为经典的反射率图捕捉固定观察者位置的外观，用于改变几何体，但当观察者移动时不会泛化。可以说，经典RM在没有参考的情况下看起来在质量上是 合理的，但 在新观点中 只有低定 量相似性（SSIM）。5.3. 学习学习外观模型在这里，我们也遵循第二节中描述的协议。第5.1条在上一节中确定了深度外观图相对于经典反射图的优越 性 之 后 ， 我 们 将 其 用 作 学 习 学 习 的 竞 争 对 手（SGD）。最好的情况下，我们的学习到学习网络产生的网络与运行完整的SGD通行证一样好。TBL的中间部分1总结了在测试数据集上执行结果φ时的结果我们看到，这两种方法都忠实地再现了外观。对于点光源，SGD的平均DSSIM为.144，而基于网络的DSSIM为1，中间部分）。当然，让网络进行学习会降低质量，但只是边际量，在这种情况下是14.1%。对于环境贴图照明，平均DSSIM从.164增加到.173，仅下降5%。虽然稍微差一点，但它快了两个数量级。图6显示了整个数据集的误差分布。.4旧观点新视图秩秩误差误差误差误差误差误差8735表1.合成数据的定量结果。任务和方法的不同组合（三个应用程序，两个视图协议，我们的两个方法）。列是不同的数据。误差被测量为整个数据集的平均DSSIM（越少越好）。任务视图方法错误PNT ENV同一个OUR.105 .123代表RM++.143 .160（第二节）3.2）小说《我们》 .144 .164RM++.181 .193同一个OUR.106 .131学习学习SGD.105 .123（第二节）3.3）小说《我们》 .165 .173SGD.144 .164同一个OUR.113 .122分割KMEANS.132 .136（第二节）3.4）小说《我们》 .161 .154KM EANS .172 .164我们在这里与竞争对手进行比较，其中图像首先使用法线和RGB（相同的权重，因为两者具有相似的范围）上的k均值聚类进行分割，并在连续中为每个片段估计材料。TBL. 1，底部显示定量结果和图。九是质量效益。平均而言，我们对POINT LIGHT和 ENVI-RONMENTMAP分别实现了.133和.122的DSSIM误差。greedy方法的性能更差（. 161、154），因为它的部分突出到单独的部分。虽然该方法可以理解高光属于材料的“其余部分”，但有时它们最终会出现在不同的簇中，如图所示。8、图的底部中间少。9 .第九条。5.5. 讨论典型的故障模式如图所示。8.为了表示图。8、左，网络可以过冲e。例如，在一个实施例中，对于未观察到的方向，变得比期望的更暗。更多的输入图像或更有效的GAN可以抑制这种情况。清晰的细节不能用一个小网络的级联函数来表示。可能需要使用更多参数来拟合网络。对于学会学习图。8，对，SGD可能产生正确的网络，但学习的网络过冲。类似地，高光往往更模糊（未示出）。对于分割图8，中间，在字符后面的边缘高光是纯白色的，显然看起来不足以像蓝色上的其他高光被理解。因此，它被指定为金属材料，这是不正确的。当 材 料 接 近 任 意 组 合时，图7.我们使用随机梯度下降训练的DAM表示的结果（第1列），我们的学习到学习网络产生的DAM（第2列）以及新视图任务中的参考（第3列）视觉比较见图。7 .第一次会议。我们看到了替换-在 镜 子 中 看 到 的 复 杂 照明，没有网络可以捕捉所有的4D变化了。这一关系如插图所示（图1）。10）其中垂直轴表示er-.1250高光泽低通过网络进行几分钟的SGD计算，可以产生与SGD结果以及参考值在性质上相似的DAM。总的来说，强度和清晰度的亮点，已经是具有挑战性的DAM本身，似乎遭受更多的学习学习，也看到图。8.而在下降的时候，镜面反射也沿水平轴减小。5.6. 其他应用图10.光泽度与再现误差的关系5.4. 接缝材料估计和分割最后，我们量化的联合材料和分割任务从SEC。三点四分。我们执行相同的分裂作为在adjacent- ous部分，但是，现在的多个多边形的变体。对于新视图的重新合成，我们在新视图中使用地面真值分割（我们的方法仅在所有旧视图中产生分割）。DAM还可以用于其他任务，例如超分辨率，其中我们以低像素分辨率提取DAM，其可以被转移到高分辨率正常图像和蒙特卡洛路径跟踪的去噪，其中我们从噪声观测中提取DAM并从DAM重新生成图像，去除噪声。与最先进的MC去噪器[3]和超分辨率[20]相比，详细的评估见补充材料。测试总火车DSSIM8736图8. 所有三项任务的失效模式：模糊高光、分割高光分割和过冲DAM。图9.两个样本（行）的接缝材料分割和估计结果。在每一部分中，我们展示了一个重新合成，以及两个估计的材料和由此产生的面具。最后一行的插图显示，虽然不是所有的反射细节都被再现，但我们的高光周围没有颜色偏移，而且大部分是反射环境的低频近似6. 真实世界评估我们收集了第二个具有复杂外观的球形物体（自然光下的光泽物体）的照片数据集。特别是，我们使用3种不同的材料和5种不同的照明，每种照明都有5幅来自配准视图的图像（图1）。11）用于培训，70用于测试。请看动画的补充视频。从真实世界的图像序列捕捉到的外观转移到其他复杂的几何形状如图所示。12个。图11.真实世界的照片数据和我们从多个视图（V）在多个照明（L）中对多种材料（表示为M）表2. DSSIM（less is better）错误。同一个视图新颖的视图OUR RM++ OURRM++ RMDSSIM错误.069.001.079.090.127TBL. 2总结了先前仅针对合成数据探索一个示例结果见图。1、更多的在补充材料中显示。与RM/RM++不同，我们的方法可以从一个小的训练集估计视图相关的源大坝（我们的）图12.从真实视频序列（左）到新的3D形状（右）的外观转移7. 讨论和结论我们提出并探索了一种新的外观处理，既不适用于像素级IBR表示，也不通过提取经典的显式反射和照明参数。相反，我们致力于对外观本身的深层表示，定义在反射图的泛化上，该反射图适用于观测覆盖所有方向的世界空间。我们已经证明，通过学习和联合材料估计和分割，可以实现有效的再现、估计。在未来的工作中，我们希望推广我们的方法，以允许独立控制照明和反射率（BRDF）[10，21，16，7]，提供改进的编辑体验。同样，我们还没有探索学习的对称任务-如何学习分割外观（第二节）。3.3）。8737引用[1] 安娜·阿尔佩洛维奇和巴斯蒂安·戈德卢克。本征光场分解的变分模型在ACCV，第66-82页3[2] Sean Bell，Paul Upchurch，Noah Snavely，and KavitaBala.野外材料识别与上下文数据库中的材料在CVPR，第3479-87页，2015年。二、六[3] Benedikt Bitterli ， Fabrice Messelle ， Bochang Moon ，Jose 'A.Iglesias-Guit ia'n ， D a vidAdle r ， Ken nyMitchell，Wojciech Jarosz和JanN ova'k。非线性加权一阶回归用于蒙特卡洛渲染去噪。 Comp. Graph.论坛（Proc. EGSR），35（4）：107-17，2016. 7[4] Blender基金会。Blender-3D建模和渲染包，2018年。5[5] Paul Debevec 、 Tim Hawkins 、 Chris Tchou 、 Haarm-Pieter Duiker、Westley Sarokin和Mark Sagar。获取人脸的反射场SIGGRAPH，第145- 156页，2000年2[6] Paul E Debevec，Camillo J Taylor，and Jitendra Malik.从照片中建模和渲染建筑：一种基于几何和图像的混合方法。在Proc. SIGGRAPH，第11-20页，1996中。一、二[7] ValentinDeschaintre，MiikaAittala，Fre'doDurand，GeorgeDrettakis，and Adrien Bousseau.使用渲染感知深度网络捕获单图像SVBRDF。ACM Trans.Graph.（Proc. SIGGRAPH），37（128），2018. 二、八[8] 李飞飞，罗伯·费格斯，皮埃特罗·裴罗纳。对象类别的一次性PAMI，28（4）：594-611，2006. 2[9] 埃琳娜·加尔塞斯阿道夫·穆尼奥斯豪尔赫·洛佩斯·莫雷诺和迭戈·古铁雷斯通过聚类的内在图像 Comp. Graph.Forum（论坛）EGSR），31（4）：1415-24，2012。6[10] Stamatios Georgoulis 、 Konstantinos Rematas 、 TobiasRitschel、Mario Fritz、Tinne Tuytelaars和Luc Van Gool。相机周围是什么？InICCV，2017. 二、三、八[11] Dan B Goldman，Brian Curless，Aaron Hertzmann，andSteven M Seitz. 来 自 光 度 立体 的 形 状 和 空 间 变 化的BRDF。IEEE PAMI，32（6）：1060-71，2010年。3[12] Yannick Hold-Geoffroy 、 Kalyan Sunkavalli 、 SunilHadap、EmilianoGambaretto和Jean-FrancoisLalonde。深度室外照明估计。在CVPR，第6页，2017年。二、三[13] Berthold KP Horn和Robert W Sjoberg。正在计算反射图应用光学，18（11）：1770-9，1979年。一、二、三、六[14] Xu Jia，Bert De Brabandere，Tinne Tuytelaars，and LucV Gool.动态过滤网络。在NIPS，第667-675页，2016中。二、三、四[15] 扬·考茨、帕欧·瓦兹奎兹、W·L·G·海德里希和汉斯·彼得·赛德尔.一个统一的方法来预过滤环境地图。在渲染技术中，第185-196页。2000. 2[16] Kihwan Kim ， Jinwei Gu ， Stephen Tyree ， PavloMolchanov，Matthias NieBner，and Jan Kautz.一种用于实时反射率估计的轻量级方法InICCV，2017. 二、八[17] Brenden M Lake ， TomerD Ullman ， Joshua BTenenbaum，and Samuel J Gershman.制造像人一样学习和思考的机器。行为与脑科学，40，2017。二、三[18] Hendrik Lensch，Jan Kautz，Michael Goesele，WolfgangHeidrich，and Hans-Peter Seidel.基于图像的空间外观和几何细节重建。 ACM Trans. Graph. ，22（2）：234-257，2003. 3[19] Marc Levoy和Pat Hanrahan。光场渲染。 在procSIGGRAPH，第31-42页，1996年。2[20] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在CVPR研讨会，第1367[21] Guilin Liu，Duygu Ceylan，Ersin Yumer，Jimei Yang，and Jyh-Ming Lien.使用基于物理的渲染网络进行材质编辑。InICCV，2017. 二、八[22] 斯蒂芬·隆巴迪和西野光反射率和自然照明从一个单一的形象。在ECCV，第582-95页，2012年。2[23] Stephen R Marschner ， Stephen H Westin ， Eric PFLafortune，Kenneth E Torrance和Donald P Greenberg。基于图像的BRDF测量，包括人体皮肤。在渲染技术中，第131-144页。1999. 2[24] Wojciech Matusik，Hanspeter Pfister，Matt Brand，andLeonard McMillan. 数 据 驱 动 的 反 射 率 模 型 。SIGGRAPH，2003年。2[25] AbhimitraMeka、MaximMaximov、MichaelZollhoefer 、 Avishek Chatterjee 、 Hans-Peter Seidel 、Christian Richardt和Christian Theobalt。石灰：活的内在物质估计。在计算机视觉和模式识别（CVPR）会议记录中，2018年6月。2[26] OliverNalbach 、 ElenaArabadzhiyska 、 DushyantMehta、Hans-Peter Seidel和Tobias Ritschel。深阴影：卷积神经网络用于屏幕空间着色。 Comp.Graph.论坛（Proc. EGSR），36（4），2017年。2[27] Matt Pharr，Wenzel Jakob，and Greg Humphreys.基于物理的渲染：从理论到实施。摩根·考夫曼，2016年。一、二[28] Konstantinos Rematas ， Chuong H. Nguyen ， TobiasRitschel，Mario Fritz，and Tinne Tuytelaars.从单个图像获得对象的新颖视图。IEEE PAMI，39（8）：1576二、六[29] Konstantinos Rematas ， Tobias Ritschel ， Mario Fritz ，Efstra- tios Gavves，and Tinne Tuytelaars.深层反射图。在CVPR，2016年。2[30] 任沛然，董岳，林志颖，童欣，郭柏宁。使用神经网络的 基 于 图像 的 重 新 照 明。 ACM 事 务 处 理图 表 ，34（4）：111，2015. 2[31] Thomas Richter-Trummer、Denis Kalkofen、Jinwoo Park和Dieter Schmalstieg。即时混合现实照明从休闲扫描。InISMAR，2016. 2[32] Jiibo Shi和Jitendra Malik。归一化切割和图像分割。IEEE PAMI，22（8）：888-905，2000。2[33] Peter-Pike Sloan， Jan Kautz， and John Snyder. 用于 动态、低频照明环境中实时渲染的预先计算的辐射传递。在ACM事务图中。，第21卷，第527-36页，2002。2[34] Sebastian Thrun 和 Lorien Pratt 学 会 学 习 。 Springer8738Science Business Media，2012. 二、三、四8739[35] 团风Y.Wang，Tobias Ritschel，and Niloy J.米特拉联合材料和照明估计从照片集在野外。在2018年3DVision国际会议上发表选择口头陈述。3[36] David H Wolpert和William G Macready。搜索没有免费的午餐定理。圣达菲研究所，1995年。三、四[37] 丹尼尔·N·伍德、丹尼尔·I·阿祖玛、肯·阿尔丁格、布赖恩·库尔莱斯、汤姆·杜尚、大卫·H·萨莱辛和沃纳·斯图泽尔。三维摄影的表面光场在proc SIGGRAPH，第287-96页，2000年。2[38] 吴宏志，王兆天，周坤。同时定位和外观估计与消费RGB- d 相 机 。 IEEE TVCG ， 22 （ 8 ） ： 2012-2023 ，2016。2[39] Tinghui Zhou，Shubham Tulsiani，Weilun Sun，JitendraMalik ， and Alexei A Efros. 按 外 观 流 查 看 合 成 。 在ECCV，第286-301页，2016年。2