对抗性SVBRDF估计：SurfaceNet基于单幅图像，通过补丁生成对抗网络（GAN）实现高质量、高分辨率的表面反射率地图重建...

12840SurfaceNet：从单幅图像进行对抗性SVBRDF估计Giuseppe Vecchio Simone Palazzo Concetto SpampinatoPeRceiVe Lab意大利卡塔尼亚大学电气、电子和计算机工程系giuseppe. phd.unict.it，{simone.palazzo，concetto.spampinato}@ unict.it摘要在本文中，我们提出了SurfaceNet，从一个单一的图像估计空间变化的双向反射我们提出了一个图像翻译任务的问题，并提出了一种新的基于补丁的生成对抗网络（GAN），能够产生高质量，高分辨率的表面反射率地图。GAN范式的使用具有双重目标：1）允许模型恢复比标准翻译模型更精细的细节; 2）以无监督的方式减少合成和真实数据分布之间的域偏移。在不同光照条件下对合成图像和真实图像的公共基准进行的广泛评估表明，SurfaceNet在定量和定性方面都大大优于现有的SVBRDF重建方法此外，SurfaceNet在训练时无需任何监督即可从真实样本生成高质量地图方面表现出显著的能力。源代码可在https://github.com/perceivelab/surfacenet上获得。1. 介绍计算机生成图像（CGI）和3D图形在各种应用中发挥重要作用，包括视觉效果、建筑建模、模拟器、文化遗产、视频游戏、虚拟或增强现实和自动驾驶设计。专业和消费类硬件的计算能力不断提高，导致人们对高质量CGI的兴趣不断增长，其创建逼真图像的基本要求是定义和实现描述真实世界材料如何与光相互作用的强大数字模型[12，13]。这项任务很容易由人类完成，他们能够通过分析光在到达观察者的眼睛之前如何反射，传输和吸收来直观地识别材料的物理特性。人工模拟这一过程将需要一个物理上准确的模拟如何通用的ma-made。材料与光相互作用，但是这种任务的复杂性和所需的表面细节水平使得这种方法在计算上不可行。在实践中，用于在表面上渲染反射的大多数近似通过定义描述光如何与数字图像中描绘的材料的像素级元素相互作用的模型来简化任务：性能通过空间变化的双向反射分布函数（SVBRDF）对材料的反射率进行建模，所述空间变化的双向反射分布函数通过编码颜色、平面变形和反射率的一组属性来参数化。然而，即使测量这种近似也是计算机图形学中的主要挑战。随着计算机视觉中深度学习方法的成功，材料反射特性的估计越来越多地被视为一项学习任务[8，15，9，10，16]。遵循这一趋势，我们提出了SurfaceNet，这是一种用于从单个输入图像估计SVBRDF的全卷积网络。与从多个输入图像[9，15]估计材料属性的方法不同，我们的方法更适合非专业应用场景，在这些场景中，无法获得具有足够稳定视点的表面的可靠采集更具体地说，我们将SVBRDF估计作为图像到图像的翻译任务，并引入了一个深度生成对抗架构，该架构由一个采用全卷积多头编码器-解码器网络的生成器和一个基于补丁的鉴别器组成，该网络预测一组SVBRDF映射，该鉴别器经过训练以区分估计的映射和地面实况映射。我们建议使用生成对抗损失来补偿通常由L1或L2损失引入的模糊。这是最近的方法的替代方法，该方法执行神经渲染[8，15]以从估计的反射率图产生输出图像作为监督信号。此外，GAN框架还允许我们在训练过程期间与合成图像一起使用真实世界的图像，对于这些图像，没有反射率图可用。因此，我们的生成器学习提取可以在合成图像和真实图像之间共享的特征，执行隐式的局部自适应机制并减少分布12841来自两种模态的输入图像之间的间隙最后，在生成器和基于补丁的鉴别器内的跳过连接的组合使用允许模型聚焦并恢复小补丁的详细特征。我们认为，这些特性是特别适合的SVBRDF估计的现实世界的材料，在高分辨率的表面细节的工作能力是必不可少的，其中图案结构一般是本地的。我们评估我们的方法对各种各样的材料，从公开的SVBRDF库和现实世界的图片的表面;在我们的实验单图像输入，把我们的方法在很大程度上优于以前的作品，无论是定性和定量。总而言之，所提出的方法引入的贡献如下：• 我们提出了一个用于单图像SVBRDF估计的深度网络，该网络利用GANs在以无监督方式生成高频细节和学习数据分布方面的特性，能够从真实世界的照片中预测高质量的反射率图;• 我们的基于块的鉴别策略允许我们的模型在输出地图中恢复精细的局部特征，即使在高分辨率（2048× 2048）下也是如此;• 在不同光照条件下的多个数据集上的实验结果表明，我们的模型在定量和定性上都大大优于现有的单图像估计方法，在任务上设置了新的最先进的性能。2. 相关工作表面反射率模型通过数学方程描述光如何在不透明表面点上反射，该数学方程是入射方向和出射辐射的函数。对于非均匀材料的这种现象的近似由空间变化双向反射分布函数（SVBRDF）定义，其通常由编码材料或表面的特定性质的一组2D图参数化，例如：dif-融合反照率，镜面反射率，正常，粗糙度，环境遮挡[11]。传统上，表面反射率模型与特定的重建算法相关联，这些算法能够通过采用基于分布先验的手工启发式方法[2，23，4，27]来估计仅某些材料的反射率特性。这将这些技术的适用性限制到更一般的上下文。最近基于深度学习的数据驱动方法已被应用于通过提供输入图像并使模型提取表面反射特性来从数据自动学习这种启发式。我们因此集中于单图像估计器，尽管在文献中也提出了多视图方法（例如，[1，9，3]）。在[20]中，采用U-网络架构来提取空间变化的漫射反照率和正常图，而更简单的卷积架构估计均匀的镜面反照率和粗糙度。[21]中的方法还通过假设存在主导闪光，通过多解码器卷积架构和材料分类器，然后通过CRF优化进行细化来估计空间变化的在[8]中，作者引入了一个渲染损失函数，该函数将训练与所采用的表面反射率模型的特定参数化分离，并通过估计参数渲染图像并将其与目标进行比较来直接监督学习过程在[22]中提出了这种想法的扩展，其中采用了cased估计和渲染架构来更好地对全局照明进行建模。在[15]中提出了一种深度逆渲染模型，其中表面反射图上的自动编码器（通过最先进的模型初始化并通过神经渲染估计）被训练以学习潜在表示，而不是直接学习SVBRDF参数。现有作品与我们作品的关键区别在于如何重建细节：[8，22，15]集成神经渲染方法用于重构详细特征;相反，我们使用GANs的表示能力来学习高频局部视觉组件，补充通过优化标准L1损失而学习的全局特征。此外，对抗性训练通过鼓励我们的生成器处理合成图像（用于监督训练）和真实世界数据之间的代表性转变，实现了从未注释的真实图像的无监督学习也采用GAN用于SVBRDF的相关方法估计包括[14]和[16]，但以与我们的方法显著不同的方式进行。Zhao等人[14]为每个要分析的单个图像训练GAN，减少了数据集要求，但需要几个小时来估计一个输入图像的映射。Guo等人最近提出了一种生成方法MaterialGAN [16]，该方法经过训练，从学习的潜在空间生成合理的材料，并通过迭代优化渲染损失，将训练的生成器用作SVBRDF估计的先验。虽然这种方法与我们的对抗训练范式相同，但我们直接从表面照片中估计反射率图。此外，我们充分利用了GAN范式的潜力，将未注释的真实图像纳入训练循环，并展示了它们对重建精度的积极影响。3. 方法我们的工作的目标是估计像素级的空间变化的材料的反射特性12842××图1.SurfaceNet框架概述。输入图像被馈送到生成器，生成器估计SVBRDF参数图。鉴别器接收SVBRDF图的补丁，并尝试区分估计图（来自真实图像和合成图像）和地面实况图（仅用于合成图像）。监督损失项（基于L1范数和MS-SSIM相似性）使用地面实况SVBRDF映射在生成器的输出映射上计算。相反，针对补丁鉴别器计算对抗性无监督损失项带圆圈的单个输入图像。我们假设所考虑的表面主要是平面的，并且非平面表面细节可以通过法线映射来建模。在我们在此呈现的实现中，我们使用GGX微面分布通过Cook-Torrance模型来近似每个点处的表面反射率[24]。然而，我们的方法可以无差别地应用于任何反射率模型，其属性可以估计的空间地图。众所周知，在监督信号包括整个图像的任务图像合成、图像到图像转换或手头的任务），L1和L2重建损失能够在低频处加强正确性，但往往产生模糊的结果并错过高频细节[18，19]。我们克服了这一限制，通过补充重建损失与adversarial损失，并训练一个鉴别器网络，以区分输入的一组材料图是否由生成器产生或从训练集采样。同时，生成器还被训练以最大化鉴别器相信估计的图具有与地面实况相同的质量的概率。因此，这两个模型同时改善，特别是generator被推-超出L1损失的限制-产生尽可能真实的输出地图。此外，我们用两组数据训练整个模型：一组带注释的合成图像，用于监督地增强整体估计质量;以及一组不带注释的真实图像，用于允许模型以非监督的方式学习如何在真实世界输入图像的情况下正确地估计反射图。我们将我们的方法SurfaceNet设计为生成对抗框架内的图像到图像的翻译问题，其中平面材料的图像被翻译成相应的SVBRDF映射集。我们的方法的概述如图所示1.一、生成器网络接收输入图像并通过提供表面反射率图作为输出来充当我们的SVBRDF估计器。然后将这些地图馈送到鉴别器网络，该网络旨在将它们与来自训练集的地面实况地图区分开。在训练期间，生成器和鉴别器进行对抗性竞争，前者试图通过生成越来越多的真实地图来误导后者，而后者学习识别哪些地图是由生成器生成的。在下文中，我们介绍和描述所提出的框架的每个各层的建筑细节包含在补充材料中。3.1. 生成器架构SurfaceNet中的生成器网络，如图所示。2，受到DeepLabV 3 [ 6 ]架构的启发，DeepLabV 3是一种基于ResNet-101 [ 17 ]的编码器-解码器语义分割模型。模型的输入是任意大小的RGB图像，因为架构是全卷积的;在我们的实验中，我们在大小为256 256的图像上训练我们的模型。我们的生成器的编码器由ResNet-101的变体组成，然后是Atrous空间金字塔池（ASPP）[5]以提取多尺度特征。DeepLabV3模型的输出大小为3232：为了恢复图像的原始大小，我们附加一个12843、、、××--×LLLPut特征图被减少了18倍。作为结果，一组256 256个映射被减少到大小为14 14的1通道映射。我们把这个输出地图作为一组补丁级标量预测的鉴别器。这允许鉴别器独立地工作在重叠块上，返回每个块的预测，并专注于局部细节的重建。然后对每个贴片的响应集进行平均以提供鉴别器的最终输出。基于分块的鉴别器特别适合于材料表面重建，其需要识别和恢复精细细节，但其中总体结构通常缺乏，并且可以通过关联标准L1损失来重新覆盖。贴片鉴别器的架构在补充材料中详细描述。3.3.培训战略形式上，给定表示某种材料的真实表面或合成图像的渲染的输入图像I，以及对应的反射图M1，M2，. . . ，M，k（其中k取决于所采用的表面反射率模型），并且给定神经网络G（即，我们的生成器），其估计一组近似反射率图M（1，M（2，. . . ，MkfromI，训练过程的目标是优化神经模型G的参数θ并最小化对近似误差进行编码的损失函数argmin ΣL（Ii，Mi，1，. . . ，Mi，k）（1）θ我图2.SurfaceNet生成器的体系结构概述正面的数量是可变的，并且取决于要预测的地图的数量。上采样块的级联，实现为与残差层交替的每个上采样块还通过跳过连接接收输入的对应下采样副本，以便提供对重构精细细节有用的信息。在上采样阶段之后，模型产生一组256个特征图，每个特征图的大小为256 256。通过将这些共享特征图馈送到独立预测头来获得最终反射率图。注意，由模型执行的大部分计算由所有输出图共享，从而提高效率，鼓励特征重用并允许模型跨不同反射率参数关联信息。3.2. 补丁程序架构博物馆的建筑灵感来自Isola等人的原创作品。[18 ]第10段。该网络由6个卷积层组成，使得输出其中i在训练数据集上迭代。培训战略包括两个不同的流程：一种是有监督的，在向模型提供合成数据和相应的地面实况图时应用，另一种是无监督的，其中我们向模型提供真实数据并且不使用任何注释。因此，总损失由两个术语组成-监督损失（其作为重建损失）和对抗性无监督损失：L=Lsup+αLunsup（2），由超参数α加权。监督 损 失仅在SVBRDF图在训练时可用的图像上计算，并且包括重建损失，其评估地面实况图和由生成器预测的图之间的全局相似性。supis具体由以下组成：1）独立地比较每个像素的L1损失项，以及2）保留高频对比度但对均匀偏置不敏感的MS-SSIM [ 25 ]损失项，可能导致亮度或颜色的变化[26]。因此，监督损失计算如下：12844ΣΣ··LL×LLר·、、、Lrec=ΣΣ¨MkK马克1 +βMS-SSIM。Mk，Mk（三）stance 分 享 收 藏 1. 整 个 数 据 集 由 大 约 200 ， 000 个SVBRDF组成，每个SVBRDF由具有对应的漫反射、法线、镜面反射和粗糙度图的渲染表面组成。其中k在反射图上迭代，MS-SSIM（k）计算一对图之间 的 MS-SSIM 相 似 性 ， β 用 作 加 权 因 子 。 和M1，. . . ，Mk=G（I）。作为无监督损失adv，我们使用补丁级别的标准GAN对抗损失，其旨在推动预测器G将与地面实况不可区分的补丁合成到鉴别器D，同时训练相同的鉴别器以改善分离两个数据源。假设输出D（M1，. . .，Mk）是标量似然值，计算为补丁级预测的平均值，我们可以将对抗损失sup定义为对抗损失盘和发生器损失gen的总和，其可以分别针对单个样本计算如下：L盘= log D（M1，. . . ，Mk）+log（1-D（G（I）））（4）Lgen=logD（G（I））（5）我们将对抗性损失应用于具有地面实况的合成数据和未注释的真实数据两者。 因此，在本发明中，生成器在估计反射率图方面改进高频细节，同时通过学习同样适用于两个数据源的输入特征表示来填补合成图像和真实图像之间的域间隙。4. 实验结果在本节中，我们首先介绍我们工作中使用的数据集：与SVBRDF注释的合成数据集，和真实的数据集，我们采用无监督域适应。然后，我们在两个不同的训练设置上评估我们的方法的准确性。首先，我们评估模型在合成数据集上的表 现 ; 其 次 ， 我 们 评 估 我 们 的 方 法 从真实图像的SVBRDF估计，包括真实世界的数据时，在一个无监督的方式，到训练过程。一个彻底的实验协议之后，建议的架构的每个组件的影响进行评估。培训和实施细节，以及额外的视觉例子（包括高分辨率图像到2048 - 2048）在补充材料中报告4.1. 数据集和指标4.1.1合成数据集我们采用的SVBRDF数据集介绍Deschain- tre等人。”[8]这是一个比喻。我们使用[ 8 ]中提供的数据集分割来训练和测试我们的模型，以及将我们的结果与最新技术进行比较的通用基准。应当注意的是，该数据集的原始渲染是通过在固定距离和中心位置处假定类似电话的闪光照明来执行的。为了在具有自然照明的设置中测试我们的模型[20]，我们通过使用来自库2的随机环境照明重新渲染相同的图像来生成数据集的测试分割的变体。4.1.2真实世界数据集虽然合成数据能够容易地收集大型注释数据集，但它们往往与真实世界的示例不同，导致可用性差的模型。 为了将天然材料纳入我们的训练过程，我们收集了真实世界表面的大型数据集，分为14个不同的类别 ： 沥 青 、 树 皮 、 砖 、 混 凝 土 、 织 物 、 地 板 、foliage、花岗岩、地面、大理石、金属、镶木地板、沙子、石头。该数据集由来自3DJungle3的几个手工挑选的样本，可描述纹理数据集[7]和用智能手机拍摄的图片组成。整个数据集包括80个图像，每个类别，512- 512，共1120材料。我们将数据集分为910个样本的训练集（每个类65个）和210个图像的测试集（每个类15个）。4.2. 模型训练与评估我们使用小批量梯度下降来训练我们的网络学习率设置为4 10-5，训练进行250，000次迭代。将衡量对抗性损失贡献的α超参数设置为0.2-我们发现较大的值抵消了重建损失的影响;将衡量MS-SSIM项在重建损失中的重要性的β超参数设置为0.84，如[26]所建议的那样;当少量修改该值时，我们没有发现显著根据文献中的惯例，为了与用于单图像SVBRDF估计的最先进方法进行定量比较，我们计算合成图像上的 预 测 和 地 面 真 实 反 射 率 图 之 间 的 均 方 根 误 差（RMSE）我们还评估RMSE之间的5个渲染的估计地图，获得与手机一样的闪光灯照明的图像的不同区域（左上角，右上角，左下角，右下角，中心），和相同的5个渲染的地面实况地图。1https://share.substance3d.com/2https://hdrihaven.com/3https://3djungle.net/textures/−12845由于缺乏SVBRDF地图的地面实况集，通过在多个自然光照条件下渲染估计的地图，通过视觉检查定性地进行对真实图像的评估。我们比较我们的方法与国家的最先进的单图像SVBRDF估计方法。为了公平评估并避免实现和训练偏差，我们与提供源代码和预训练模型的方法进行了比较，这些方法具有与每个模型训练时相同的光照条件：具体地，我们比较了[8，15，9]在移动电话闪光灯照明下单图像SVBRDF估计，以及[20]在自然照明下的估计。图3. 在闪光灯照明下对合成图像进行定性分析。从左到右，原始渲染图像和四个SVBRDF贴图。4.3. 综合采集结果在合成材料的评估中，我们报告了仅在合成数据上训练时通过我们的模型获得的性能在选项卡中。1，我们展示了在用手机闪光灯照明的图像上实现的结果，表明我们的方法比分析中的方法实现了更高的全局精度图3呈现了估计的SVBRDF图和所产生的原始图像的渲染的一些示例，用于更好地评估模型预测。我们的方法和[8]都能够以令人满意的精度和细节水平检索法线和粗糙度贴图，但[8]倾向于过度照亮漫射贴图，并且在法线贴图中缺乏精细细节。[9]，相反，增强了法线贴图的更多细节，但它突出了对比度并使粗糙度贴图变平。最后，由[15]估计的法线映射也是图4.在自然光照下对合成图像进行定性分析。从左到右，呈现的图像和两个SVBRDF映射由比较中的方法共享由于Li[20]假设两种贴图都是齐次的，因此未报告粗糙度和镜面贴图。方法差异嗯。啊。规格撕裂。[八]《中国日报》0.035 0.129 0.0500.083[9]第一章0.081 0.057 0.1080.187[第十五条]0.050 0.062 0.1190.108SurfaceNet2017年12月31日至2019年12月31日0.058表1. 合成图像上的定量结果，带闪光灯。在预测的和地面实况图之间，以及在原始图像和对应的渲染之间的RMSE方面报告值。列缩写对应于最好的结果。对细节敏感，过度强调图像中的噪声分量。此外，[15]主要受到影响粗糙度图的照明的错误解释的影响，而我们的方法正确地将光源与材料属性分离。总体而言，SurfaceNet在定量和定性方面都优于然后，我们使用具有自然照明的合成图像进行额外的评估，如在第12节中所述。4.1，并比较我们的方法李等人。[20 ]第20段。选项卡. 图2示出了在SVBRDF参数和渲染上的RMSE方面的结果。注意，由于Li etal.[20]假设均匀的镜面反射率和粗糙度，我们还通过计算每个图中像素的平均值将相应的图减少到标量值。在定量比较中，我们的模型在所有四个参数上都优于[20]这一点也可以通过图1所示的直观例子来证明。4，示出了由两种方法产生的漫射图和法线图两者的实质性差异特别地，Li等人预测的法线图[20]不仅缺乏12846图5. 对真实图像进行定性分析，使用闪光灯照明。从左到右，四个估计的SVBRDF图，相应的重新渲染和原始图像。方法Diff.嗯。啊。规格撕裂。[20个]0.0930.0810.3310.1810.106SurfaceNet0.0330.0550.0940.0410.078表2. 在自然光照下合成图像的定量结果。 值被报告在预测和地面实况图之间，以及原始图像和相应的重新渲染之间的RMSE方面。最佳结果以粗体显示。对比度，但也倾向于误解光。4.4. 真实采集结果在这个实验中，我们使用合成图像和真实图像（后者以无监督的方式使用），并对从真实世界图像（用手机摄像头和闪光灯照明捕获）估计的SVBRDF图进行定性分析图5示出了我们的方法和[8，9，15]之间的真实图像上的估计图的定性比较。与合成评估场景类似，SurfaceNet估计SVBRDF图的效果明显优于现有方法，但显示出一些缺点：[8]没有重建一些精细的细节，特别是在法线贴图中;[9]能够恢复这些精细的细节，但平滑粗糙度贴图，并没有正确估计镜面反射贴图;[15]产生了一个质量良好的法线贴图，但过度对比其他贴图。相反，我们的方法能够生成更平滑的粗糙度图，同时保留边缘和细节。最后，我们再次将我们的方法与Li等人[20]在具有自然照明的真实图像上进行比较。图6示出了我们提出的方法能够非常好地捕获扩散和正常信息，如通过渲染图像与源图像的相似性超过[20]所证明的。图6. 在自然光照下对真实图像进行定性分析。从左到右，比较中的方法共享的两个估计的SVBRDF图，对应的重新渲染和原始图像。此外，我们的方法的主要优势之一是它的能力，以扩大到高分辨率，具有良好的估计质量。图中给出了真实世界1024×1024 图像上SVBRDF 估计的定性示例。7 .第一次会议。4.5. 消融研究我们在合成图像数据集上执行消融研究，以证实我们的架构设计和训练策略选择。我们先进行一些控制前-12847×Disc. 将军LLLLLLL LLDiff.嗯。啊。规格撕裂。基地0.2070.1560.3220.1380.185+ 12月0.0860.0930.1300.0420.087+跳过0.0730.1220.2530.0840.073图7.对真实世界材料进行高分辨率（1024 1024）SVBRDF估计（放大以查看详细信息）。这张照片是在自然光照下用智能手机摄像头拍摄的。图 8. 仅 使 用 合 成 数据 进 行 训 练 时 真 实 数 据 的 SurfaceNetSVBRDF估计的定性比较（第一行）+图像0.021 0.037 0.065 0.022 0.067+贴片0.017 0.030 0.029 0.014 0.058表3. 设计选择的消融研究。我们通过向我们的模型的“基础”变体（没有跳过连接，通过插值进行上采样，没有对抗性损失）添加以下块来消除生成器：1）可学习的上采样层（“解码器”）; 2）跳过具有下采样输入的连接（“跳过”）; 3）鉴别者网络和对抗性损失（“完全”）。当进行基于块或基于图像的鉴别时，我们还消融了神经网络。损失差异嗯。啊。规格撕裂。实验来证实SurfaceNet架构。作为基线，我们使用DeepLab-v3编码器和插值特征来输出分辨率;然后，我们（按顺序）添加具有可学习上采样层的解码器网络，并跳过与下采样输入的连接。然后，我们评估的影响，基于补丁的鉴别器w.r.t. 一个标准的基于图像的鉴别器训练adversarially使用的完全训练损失中描述的节。三点三选项卡中的结果。3表明，对基线的所有架构更改都会积极影响估计的准确性。然而，最高的贡献，最终的性能时，在补丁级添加最后，我们评估的重要性，在培训过程中采用的不同损失条款。选项卡. 图4示出了当单独使用监督损失（首先简单地L1，然后添加MS-SSIM以获得sup）、未监督损失（即，对抗性的）单独损失（unsup），以及当仅使用合成图像时（“synth”）和当包括真实数据时（“real”）的整体损失结果见表1。3证实了所有的对抗损失的包含显着提高了我们的方法值得注意的是，当真实图像被包括在训练中时，具有完全损失（仅使用合成图像。这是预期的，因为在训练期间包括真实图像充当防止模型学习特定于合成图像的特征的正则化器然而，当在真实图像上测试我们的模型时，这种正则化效应会提高准确性：图中的示例8显示，在这种情况下，在真实图像上的训练显著改善了SVBRDF估计。我不吃L（合成）0.017 0.030 0.029 0.014 0.058L（real）0.022 0.033 0.043 0.022 0.064表4. 使用损耗的消融研究。我们评估了我们的方法在仅使用监督损失（L1和sup），仅使用非监督损失（unsup）和我们的完全损失（）时，仅在合成数据上训练时（“synth”）以及包含时的性能。ing real images（5. 结论在本文中，我们提出了一个对抗性的学习为基础的方法，SurfaceNet，估计的SVBRDF材料的反射率参数从单一的图像。所提出的方法具体地利用生成对抗网络（GAN）来重建高质量、高分辨率SVBRDF图，以及通过迫使模型学习适用于合成数据和真实数据两者的域独立特征来实现实验结果表明，我们的模型定量和定性优于国家的最先进的方法。更有趣的是，它表明，通过所提出的非监督训练过程包含真实样本显着影响真实图像的反射率参数估计的因此，所提出的对抗策略在填补合成数据分布和真实数据分布之间的差距方面表现出了值得注意的能力，允许深度模型在真实世界图像中表现良好，尽管仅使用合成数据进行监督训练。和（第二行）具有真实数据。放大以查看详细信息。L10.162 0.147 0.335 0.1840.134我补充2019年12月31日星期一2019年12月31日0.0880.12812848引用[1] Miika Aittala，Timo Aila，and Jaakko Lehtinen.神经纹理合 成 的 反 射 率 建 模 。 ACM Transactions on Graphics（ToG），35（4）：1-13，2016. 2[2] Miika Aittala，Tim Weyrich，and Jaakko Lehtinen.频率域中的实用svbrdf捕获 ACM Trans. Graph. ，32（4）：110-1，2013. 2[3] Sai Bi ， Zexiang Xu ， Kalyan Sunkavalli ， DavidKriegman，and Ravi Ramamoorthi.深度3D捕获：稀疏多视图图像的几何和反射。在IEEE/CVF计算机视觉和模式识别会议论文集，第5960-5969页，2020年。2[4] Guojun Chen，Yue Dong，Pieter Peers，Jiawan Zhang，and Xin Tong.反射扫描：利用广义线性光源估计阴影帧和BRDF。ACM Trans-actions on Graphics（TOG），33（4）：1-11，2014。2[5] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence，40（4）：834-848，2017。3[6] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。重新思考语义图像分割的atrous卷积。arXiv预印本arXiv：1706.05587，2017. 3[7] M. Cimpoi，S.马吉岛Kokkinos，S. Mohamed，和A.维达尔迪描述野外的纹理。在IEEE Conf. 计算机视觉和模式识别（CVPR），2014年。5[8] Valentin Deschaintre 、 Miika Aittala 、 Fredo Durand 、George Drettakis和Adrien Bousseau。使用渲染感知深度网 络 的 单 图 像 svbrdf 捕 获 。 ACM Transactions onGraphics（ToG），37（4）：1-15，2018。一、二、五、六、七[9] ValentinDeschaintre ， MiikaAittala ， Fre´doDurand ，GeorgeDrettakis，and Adrien Bousseau.使用多图像深度网络进行灵活的SVBRDF捕获。在Computer GraphicsForum，第38卷，第1Wiley在线图书馆，2019年。一、二、六、七[10] Valentin Deschaintre ， George Drettakis ， and AdrienBousseau.大规模物料输送的引导微调。在ComputerGraphics Forum，第39卷，第91Wiley在线图书馆，2020年。1[11] 岳东。深层外观造型：一个调查。Visual Informatics，3（2）：59-68，2019。2[12] 朱莉·多尔西和霍莉·拉什米尔。材料外观的数字建模ACM SIGGRAPH 2005课程，第1-es页。2005. 1[13] 朱莉·多尔西，霍莉·拉什梅尔，弗朗索瓦·西利安. 材料外 观 的 数 字 化 建 模 。 摩 根 · 考 夫 曼 出 版 公 司 SanFrancisco，CA，USA，2007. 1[14] Zhao等人联合SVBRDF恢复和合成从一个单一的图像，使用无监督的生成对抗网络。2020. 2[15] 段高、小李、岳冬、彼得·皮尔斯、昆旭、辛桐。从任意数量的图像进行高分辨率svbrdf估计的深度逆绘制ACM事务处理图表，38（4）：134-1，2019. 一、二、六、七[16] Yu Guo ， Cameron Smith ， Milosˇ Hasˇan ， KalyanSunkavalli，and Shuang Zhao.材质：使用生成SVBRDF模型的反射率捕获。arXiv预印本arXiv：2010.00114，2020。一、二[17] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。3[18] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集，第1125-1134页，2017年。三、四[19] Anders Boesen Lindbo Larsen ，Søren Kaae Sønderby，Hugo Larochelle，and Ole Winther.使用学习的相似性度量对像素之外的像素进行自动编码。国际机器学习会议，第1558-1566页。PMLR，2016. 3[20] 小李、岳东、皮特·皮尔斯、心彤。使用自增强卷积神经网络从单张照片建模表面外观。ACM Transactions onGraphics（ToG），36（4）：1-11，2017。二五六七[21] 李正勤，Kalyan Sunkavalli，Manmohan Chan- draker.体量材料：用手机采集单个Svbrdf图像。在欧洲计算机视觉会议（ECCV）的会议中，第722[22] Zhengqin Li，Zexiang Xu，Ravi Ramamoorthi，KalyanSunkavalli，and Manmohan Chandraker.学习从单个图像重建形状和空间变化的反射率。ACM Transactions onGraphics（TOG），37（6）：1-11，2018。2[23] 斯蒂芬·隆巴迪和西野光单图像多材料估计。在2012年IEEE计算 机视觉和 模式识别 会议上， 第238-245页IEEE，2012。2[24] Bruce Walter，Stephen R Marschner，Hongsong Li，andKen- neth E Torrance.粗糙表面折射的微面模型。渲染技术，2007：第18期，2007。3[25] Zhou Wang，Eero P Simoncelli，and Alan C Bovik.多尺度 结 构 相 似 性 图 像 质 量 评 价 。 在 The Thrity-SeventhAsilomar Conference on Signals ， Systems Computers ，2003，第2卷，第1398IEEE，2003年。4[26] Hang Zhao，Orazio Gallo，Iuri Frosio，and Jan Kautz.用于图像 处理的神经网 络的损失函 数。arXiv预印本arXiv：1511.08861，2015。四、五[27] Zhiming Zhou，Guojun Chen，Yue Dong，David Wipf，Yong Yu，John Snyder，and Xin Tong.尽可能稀疏的svbrdf获取。ACM Transactions on Graphics（TOG），35（6）：12