CNN-PS：基于CNN的一般非凸表面池畑聪日本东京国立信息学研究所sikehata@nii.ac.jp抽象。大多数常规的光度立体算法逆求解基于BRDF的图像形成模型。然而，由于非凸表面上的全局光传输，实际成像过程通常要复杂得多。本文提出了一种光度立体网络，直接学习光度立体输入和场景的表面法线之间的关系。为了处理无序的、任意数量的输入图像，我们将所有输入数据合并到称为观察图的中间表示中，该中间表示具有固定的形状，能够被馈送到CNN中。为了改善训练和预测，我们考虑了从各向同性约束导出的观测图的旋转伪不变性。为了训练网络，我们创建了一个合成的光度立体数据集，该数据集由基于物理的渲染器生成，因此考虑了全局光传输。我们在合成和真实数据集上的实验结果表明，我们的方法优于传统的基于BRDF的光度立体算法，特别是当场景是高度非凸的。关键词：光度立体，卷积神经网络1介绍在3-D计算机视觉问题中，输入数据通常是非结构化的（即，输入图像的数量是变化的并且图像是无序的）。一个很好的例子是多视点立体问题，其中场景几何从非结构化的多视点图像中恢复由于这种非结构性，除了一些结构化的问题，如双目立体视觉[1]和两视图SfM [2]，其输入图像的数量总是固定的，从多个图像的3-D重建较少依赖于基于监督然而，深度卷积神经网络（CNN）的最新例如，Karet al. [3]提出了一个端到端的学习系统的多视图立体视觉，而金等人。[4]提出了一种基于学习的表面反射率估计从多个RGB-D图像。这两种工作都智能地将所有非结构化输入合并为结构化的中间表示（即，3-D特征网格[3]和2-D半球图像[4]）。这项工作得到了JSPS KAKENHI资助号JP17H07324的支持2S. 池幡光度立体是另一个三维计算机视觉问题，其输入是非结构化的，其中场景的表面法线从不同照明下的光度立体算法通常解决基于双向反射分布函数（BRDF）的逐点图像形成模型的逆问题。虽然有效，但基于BRDF的图像形成模型通常不能考虑全局照明效应，诸如阴影和相互反射，这对于恢复非凸表面是很有问题的一些算法尝试鲁棒离群值拒绝来抑制非朗伯效应[5-这种限制不可避免地发生，因为光和表面的多个相互作用难以以数学上易于处理的形式建模。为了解决这个问题，本文提出了一种端到端的基于CNN的photometric立体算法，学习表面法线和它们的外观之间的关系，而无需物理建模的图像形成过程。为了更好的可扩展性，我们的方法仍然是逐像素的，而是从传统的鲁棒方法[5-8]继承的，这意味着我们学习网络，该网络几乎“不需要”网络中的全局效应，并且从该网络中的“不需要”来定义我们的正常功能。为了达到这个目标，我们将在尽可能多的输入合成模式上训练我们的网络，这些模式是通过全局效应“校正”的。 图像是在不同的材料和光照条件下，通过不同的组件实现的。我们的挑战是将深度神经网络应用于输入为非结构化的光度立体问题。与最近的作品[3，4]类似，我们将所有的光度立体数据合并到一个称为观察图的中间表示中，该中间表示具有固定的形状，因此自然地被馈送到标准CNN。由于许多光度立体算法，我们的工作也主要涉及各向同性材料，其反射是不变的旋转下的表面法线。我们将表明，这种各向同性可以采取的优势，在观测地图的旋转伪不变性的形式，既增加输入数据，减少预测误差。为了训练网络，我们通过利用基于物理的Cycles渲染器[9]来模拟复杂的全局lig htransp或t，创建了一个合成的光度立体数据集（CyclesPS）。对于图像处理，我们采用了Disney的原则性BSDF [10]，该BSDF [10]是为艺术家提出的我们在DiLiGenT光度立体数据集[11]上评估我们的算法，该数据集是包含图像和校准照明的真实基准数据集。我们将我们的方法与传统的光度立体算法[12-贡献摘要如下：(1) 我们首先提出了一种基于监督CNN的校准光度立体算法，该算法以非结构化图像和照明信息作为输入。CNN-PS3(2) 我们提出了一个合成的光度立体数据集（CyclesPS），仔细注入的全局照明效果，如投射阴影，相互反射。(3) 我们的广泛评估表明，在各种常规算法中，我们的方法在DiLi-GenT基准数据集[11]上表现最好，特别是当表面高度非凸和非朗伯时。此后，我们依赖于光度立体问题的经典假设（即，固定的线性正交摄影机和已知的定向照明）。2相关工作真实世界物体的不同外观可以通过BRDFρ编码，其将观察到的强度Ij与相关联的表面法线n∈R3、第j个入射照明方向lj∈R3、其强度Lj∈R以及出射观察方向v∈R3通过以下方式相关联：Ij=Ljp（n，lj，v）max（nlj，0）+j，（1）其中，对于所访问的had_w和d_j，max（n=l_j，0）是对模型的附加描述。当量（1）一般称为图像形成模型。大多数光度立体算法假设ρ的特定形状，并通过逆求解方程来恢复场景（1）从m个不同光照条件（j ∈1，···，m）下的观察结果的集合。 所有未由BRDF（图像噪声、投射阴影、相互反射等） 表 示 的 效 果 都 将 被 具 体 地 记 录 在 该 图 像 中 。 在B_R_D_F为L_m且去除了加性误差的情况下，将其简化为传统的朗伯成像模型[12]。自从Woodham首次提出Lambertian光度立体算法以来，将其工作扩展到非Lambertian场景一直是一个令人感兴趣的问题。处理非朗伯效应的光度立体方法主要分为四类：（a）鲁棒方法，(b)（c）基于实例的反射率建模和（d）基于学习的方法。许多光度立体算法通过简单的漫反射建模（例如，Lambertian），同时将其他效应视为异常值。例如，Wuet al. [5]提出了一种基于秩最小化的方法来将图像分解为低秩朗伯图像和非朗伯稀疏损坏。Ikehata等人通过限制秩-3朗伯结构[6]（或一般扩散结构[7]）扩展了他们的方法，以获得更好的计算稳定性。最近，Queau等人[8]已经提出了一种用于不准确照明以及各种非朗伯破坏的鲁棒变分方法。虽然有效，但该方法的缺点是，如果不是针对密集扩散内点，则估计失败。尽管它们的计算复杂性，各种算法布置非朗伯BRDF的参数或非参数模型。近年来，人们一直强调用少量的数字来表示一种材料4S. 池幡基本的BRDF Goldman等[22]已经通过Ward模型[23]和Alldrin等人近似了每个基本BRDF。[13]后来扩展了它非参数表示。由于高维不适定问题可能导致估计的不稳定性，Shiet al. [18]提出了一个紧凑的双二次表示的各向同性BRDF。 另一方面，Ikehataet al. [17]引入了波瓣和各向同性反射模型[24]来考虑各向同性观测中的所有频率。为了提高优化的效率，Shen等。[25]提出了一种核回归方法，它可以转化为一个特征分解问题。这种方法工作得很好只要所得到的图像形成模型是正确的而没有模型异常值。少量的光度立体算法被分组为基于实例的方法，其利用在与目标场景相同的照明环境下捕获的具有已知形状的物体的表面反射率。最早的基于示例的方法[26]需要一个参考对象，其材料与目标对象的材料完全相同。Hertzmann等人[27]已经通过假设材料可以被表示为少量的基本材料来缓解这种限制，以处理未校准的场景和空间变化的材料。最近，Huietal. [20]提出了一种基于实例的方法，利用不同材质渲染的虚拟球体，无需物理参考对象。虽然有效，但是该方法也遭受模型异常值的影响，并且具有参考场景的照明配置必须被确定的缺点。在目标现场机器学习技术已经应用于一些非常近期的照片度量立体作品[21，19]。Santo等人[19]提出了一种基于监督学习的光度立体视觉方法归一化向量，其中每个元素对应于特定照明下的观察。通过将矢量馈送到一个dropout层和相邻的六个致密层来预测表面法线虽然有效，但该方法具有在训练和测试阶段之间照明保持相同的限制，使得其不适用于非结构化输入。Taniai和Mae-hara [21]的另一项工作提出了一种无监督学习框架，其中表面法线和BRDF由通过使用渲染方程最小化观察图像和合成图像之间的虽然他们的网络对图像的数量和排列是不变的，但渲染方程仍然基于逐点BRDF并且不容忍模型异常值。此外，他们报告说运行时间很慢（即，1小时为每个场景做1000 SGD迭代）。总之，在光度立体算法的设计中，在其复杂性、效率、稳定性和鲁棒性之间仍然存在持续的斗争我们的目标是解决这个难题。我们的端到端基于学习的算法建立在对合成数据集进行训练的深度CNN之上，放弃了建模复杂的图像形成过程。我们的网络接受非结构化输入（即，我们的网络对于输入图像的数量和顺序都是不变的），并且适用于非朗伯反射与全局照明效果混合的各种真实世界场景。CNN-PS5（a）SPHERE中像素的观测图（b）PAPERBOWL图1.一、我们将成对的图像和照明投射到固定大小的观察图上，该观察图基于从半球到垂直于观察轴的2-D坐标系的光方向的双射映射该图示出了（a）光滑凸表面上的点和（b）粗糙非凸表面上的点的观测图我们还将该点处的真实表面法线投影到观测图的相同坐标系上以供参考。3该方法我们的目标是恢复（a）空间变化的各向同性材料和（b）全局照明效果（例如，阴影和相互反射）（c）其中场景被未知数量的光照亮为了实现这一目标，我们提出了一个CNN架构的校准光度立体问题，这是不变的输入图像的数量和顺序。全局照明效果的容差是从使用基于物理的渲染器渲染的非凸场景的合成图像中学习的。3.1用于非结构化光度立体输入的我们首先提出的观察地图，这是由一个像素的半球形投影的观察的基础上已知的照明方向。由于照明方向是单位半球上的向量，因此存在双射mappingfromromlj，[ljl jlj]∈R3to[ljlj]∈R2（s. t.，l2+l2+l2=1）x y x y x y z通过将矢量投影到垂直的x-y相对于观看方向（即，v=[0 0 1]）。2然后我们定义一个观测图O∈Rw×wasOint（w（lx+1）/2），int（w（ly+1）/2）=αIj/Lj<$j∈1，· · ·，m，（ 2）其中“i int”是一个操作，用于围绕一个浮动值对一个整数进行归一化，并且是一个缩放因子以归一化数据（即，我们简单地使用α= maxLj/Ij）。一旦所有的观测和光照都存储在观测图中，我们就将其作为CNN的输入尽管它很简单，但这种表示有三个2我们初步尝试了球面坐标系（θ，φ）上的投影，但性能比标准x-y坐标系上的投影差。镜面反射目标像素目标像素1/1，，/投射阴影+ 内反射6S. 池幡密集块（×）输出(a)（b）第（1）款图二. (a)各向同性保证了从v开始的曲面的外观不随l和n围绕视轴的旋转而变化。(b)我们的网络架构是DenseNet [28]的变体，它从32 × 32的观测图输出归一化的表面法线。过滤器的编号显示在每层下方。主要好处。首先，它的形状与输入图像的数量和大小无关。第二，观测的投影是与阶数无关的（即，当交换第i个和第j个图像时观察图不改变）。第三，不需要明确地将照明信息馈送到网络中。图1示出了两个对象即SPHERE和PAPERBOWL的观察图的示例，一个是纯凸的，另一个是高度非凸的。图1-（a）表明目标点可能在凸表面上，因为随着光的方向远离真实表面法线（nGT），观察图的值逐渐减小到零。大强度值的局部集中也指示光滑表面上的窄镜面反射。另一方面，图1中的值的突然变化。图1-（b）证明在非凸表面上存在投射阴影或相互反射。由于不存在强度值的局部集中，因此表面可能是粗糙的。以这种方式，观察图合理地编码在表面点周围的光的几何形状、材料和行为。3.2各向同性约束的旋转伪不变性观察图O在一般光度立体设置中是稀疏的（例如，假设w= 32并且我们具有100个图像作为输入，O中非零条目的比率约为10%）。缺失的数据通常被认为是CNN输入的问题，并且经常被插值[4]。然而，我们根据经验发现，平滑地内插缺失条目会降低性能，因为观察图通常是不平滑的，并且零值具有重要的含义（即，阴影）。因此，我们可选择地尝试通过考虑材料的各向同性来改善当曲面沿曲面法线旋转时，许多真实材质会显示完全相同的外观这种行为的存在被称为各向同性[29，30]。各向同性BRDF根据三个值进行参数化0101输入161616=1=21010148过渡80 12832密块×221616正常化密集密集展平ConvDropout（0.2）Conv（3x3）丢弃（0.2）转换（3x3）ReLUDropout（0.2）Conv（3x3）Dropout（0.2）Conv（3x3）卷积Ave.合并丢弃（0.2）转换（1x1）ReLUCNN-PS7而不是四个[31]ρ=f（n<$l，n<$v，l<$v），（3）其中f是任意反射率函数。3合并等式(3)等式(1)得到了如下的成像模型。I= Lf （ nl ， nv ， lv ） max （ nl ， 0 ） .（四）不仅如此，还可以轻松地进行数据交换和改进，以满足业务需求。Let视轴 ） 为 n′= [ （ R[nxny]<$ ） <$nz]<$ ， l′= [ （ R[lxly]<$ ） <$lz]<$ ， 其 中 n ，[nxnynz]<$，R∈SO（2）是任意旋转矩阵。然后，n′l′= [（R[nxny]）nz][（R[lxly]）lz]（5）=[nxny]RR[lxly]+nzlz=nl，n′v′= [（R[nxny]）nz][0 0 1]=nz=nv，（6）l′v′= [（R [lxly]）lz][0 0 1]= lz= lv.（7）将它们馈送到Eq. (4)给出以下等式，I=Lf（n′l′，n′v，l′v）max（n′l′，0）（8）=Lf（nl，nv，lv）max（nl，0）。因此，照明和表面法线围绕z轴的旋转不会改变外观，如图1B所示。2-（a）.注意，该定理甚至对于通过围绕观看轴旋转所有几何和环境照明的非凸场景中的间接照明也成立。这一结果是重要的，我们的CNN为基础的算法。我们假设一个神经网络是一个映射函数g：x→g（x），它映射x（即一组图像和照明）到g（x）（即，表面法线），并且r是围绕z轴以相同角度的照明/法线的旋转算子。从等式(8)，得到r（g（x））=g（r（x））。我们将这种关系称为旋转伪不变性（标准旋转不变性是g（x）=g（r（x）。注意，该旋转伪不变性也应用于观察图，因为照明围绕观察轴的旋转导致观察图围绕z轴4的旋转。我们以与实现旋转不变性类似的方式用旋转伪不变性来约束网络在CNN框架内，通常采用两种方法来编码旋转不变性。一个是对输入图像应用旋转[33]，另一个是对卷积核应用旋转[34]。我们采用第一种策略，因为它简单。具体地说，我们用许多旋转版本的光照和表面法线来增强训练集，这允许网络学习不变性，而无需明确地强制执行。在我们的实现中，我们以从0到360的10个规则间隔旋转向量3请注意，各向同性BRDF还有其他参数化[32]。4严格地说，我们旋转的是照明方向，而不是观察图本身。因此，我们不需要像标准旋转数据增强那样遭受边界问题8S. 池幡222333输入图像二维观测图通过CNN进行表面法线预测恢复表面法线贴图图三.预测模块的说明。对于每个表面点，我们生成K个观测图，同时考虑到旋转伪不变性。每个观测图都被馈送到网络中，并且所有输出法线都被平均。3.3架构细节在本节中，我们将描述训练和预测的框架。给定图像和照明，我们产生观察图，然后是等式。（二）、通过围绕观察轴旋转照明和表面法向量来增强数据注意，彩色图像被转换为灰度图像。应仔细选择观察图的大小（w随着w的增加，观测图变得稀疏。另一方面，较小的观察图具有较小的可表示性。考虑到这种权衡，我们根据经验发现w=32是一个合理的选择（我们尝试了w= 8， 16， 32， 64，当图像数量小于一千时，w密集连接卷积神经网络（DenseNet [28]）架构的变体网络架构如图所示。2-（b）.该网络包括两个2层密集块，每个块由一个激活层（relu）、一个卷积层（3× 3）和一个丢弃层（20%丢弃）组成，并与前几层连接。在两个密集块之间，存在过渡层以通过卷积和池化来改变特征图大小。我们没有插入一个批量归一化层，这在我们的实验中被发现会降低性能。在密集块之后，网络有两个密集层，然后是一个归一化层，将特征转换为单位向量。该网络使用预测和地面真实表面法线之间的简单均方损失进行训练。使用Adam求解器[35]最小化损失函数我们应该注意到，由于我们的输入数据大小相对较小（即，32×32× 1），网络架构的选择不是我们框架中的关键组件。55我们比较了AlexNet，VGG-NET和densenet的架构以及只有两个或三个卷积层和密集层的更在我们测试的架构中，当前的架构稍好一些。1111213122CNN123CNN3平均法线113==14CNN4=123CNNCNN⋯CNN-PS9θkθk原则性BSDF(a)（b）第（1）款见图4。(a)原则性BSDF [10]中每个参数的范围受三种不同材料配置（漫射、镜面反射、金属）的限制。(b)材质参数以二维纹理贴图的形式传递给渲染器。预测模块如图所示。3.给定观察图，我们根据训练好的网络预测曲面法线。由于实际上不可能训练完美的旋转伪不变网络，因此不同旋转的观测图的估计表面法线不相同（典型地，每两个不同旋转之间的角度误差的差异小于其平均值的10%-20%）。为了进一步强调旋转伪不变性，我们再次通过以特定角度θ∈θ1，· · ·θK旋转照明矢量来增加输入数据，然后将输出合并为一个。假设表面法线（nθ）是从旋转了Rθ的输入数据中预测的，那么我们简单地对反向旋转的表面法线进行平均，如下所示：n<$=1KΣKk=1Rn，（9）n= n¯/n¯。3.4训练数据集（CyclesPS数据集）在本节中，我们将介绍我们的CyclesPS训练数据集。DiLiGenT[11]是最大的真实光度学立体数据集，仅包含具有固定照明配置的十个场景。一些作品[18，17，19]试图用MERL BRDF数据库[29]合成图像，但只有100个测量的BRDF不能覆盖大量的真实世界材料。因此，我们决定创建自己的训练数据集，它具有不同的材料，几何形状和照明。为了渲染场景，我们从互联网上收集了高质量的3-D模型，这些模型都是免版税6我们仔细选择了15个模型用于训练，3个模型用于测试，其表面几何形状足够复杂，可以覆盖不同的表面正态分布。请注意，我们根据经验发现ShapeNet [36]中的3-D模型通常过于简单（例如，模型通常是低多边形的，大部分是平面的）来训练网络。反射率的表示对于使网络对各种真实世界材料具有鲁棒性也是重要的由于其代表性，6每个三维模型的参考资料均包含在补充资料中。对象基本颜色粗糙度渲染图像参数值基本颜色0.0至1.0金属0.0（漫反射、镜面反射）或1.0（金属）镜面0.0到1.0（漫反射、金属）或0.0到4.0（镜面反射）粗糙度0.0到1.0（漫反射、镜面反射）或0.3到0.7（金属）光泽0.0至1.0光泽色调0.0至1.0IOR2/（1−0的情况。0 8sr）−110S. 池幡WechooseDis ney的princ i cled B S D F [ 10]，其具有由11个参数（基色、次表面、金属、镜面、镜面着色、粗糙度、各向异性、光泽、光泽着色、透明涂层、透明涂层光泽度）控制的五个不同的B R D F。由于我们的目标是没有次表面散射的各向同性材料，因此我们忽略了诸如次表面和各向异性的参数。我们还忽略了对镜面反射进行艺术着色的specularTint以及不会强烈影响渲染结果的clearcort和clearcoatGloss虽然原则性BSDF是有效的，但我们发现有一些我们想要跳过的不切实际的参数组合（例如，金属= 1且粗糙度= 0，或金属= 0.5）。为了避免这些不切实际的参数，我们将整个参数集分为三个类别，（a）漫射，（b）镜面反射和（c）金属。我们分别生成三个数据集，并在训练网络时均匀合并它们。每个参数的值是在每个参数的特定范围内随机选择的（见图11）。4-（a））。为了实现空间变化的材料，我们将渲染图像中的对象区域划分为P（即，5000）超像素，并且在超像素内的像素处使用相同的参数集（参见图1B）。4-（b））。为了模拟复杂的光传输，我们使用Blender [37]中捆绑的Cycles已指定正交摄影机和平行光对于每个渲染，我们选择一组对象、BSDF参数映射（每个参数一个）和照明配置（即一旦大约1300个灯光均匀分布在半球上，就会向每个灯光添加小的随机噪声一旦图像被渲染，我们通过逐像素地生成观察图来创建CyclesPS数据集。为了使网络对任何数量的图像的测试数据具有鲁棒性，从像素上不同数量的图像生成观察图。具体地，当生成观察图时，我们挑选数量在50到1300之间并且其对应的光方向的仰角大于20到90度内的随机阈值的图像的随机子集。7训练过程对于150个图像集花费10个时期（即，对于旋转伪不变性，15个对象X10次旋转）。每个图像集包含大约50000个样本（即，对象掩模中的像素数4实验结果我们评估我们的方法在合成和真实的数据集。所有实验均在具有3×GeForce GTX 1080 Ti和64GB RAM的机器上进行。对于训练和预测，我们使用具有Tensorflow背景的Keras库[38]并使用默认学习参数。训练过程大约花了3个 小时。4.1数据集我们在三个数据集上评估了我们的方法，两个是合成的，一个是真实的。7为了避免太稀疏的观察图，图像的最小数量是50，并且我们仅选取仰角大于20度的灯，因为实际上从侧面照亮场景的可能性较小。CNN-PS11121086420氧化铝（1.7）铬钢（10.0）涂脂钢（9.6）聚四氟乙烯（1.1）碳化钨（7.0）图五. MERLSphere数据集的评价。在MERL BRDF数据库中使用100个测量的BRDF渲染球体[29]。我们的基于CNN的方法与基于模型的算法（IA14 [7]）进行了比较，该算法基于预测的表面法线的平均角度误差。我们还展示了一些渲染图像和观察图的示例，以供进一步分析（参见第4.2节）。MERLSphere是一个合成数据集，其中图像使用MERL数据库[29]中的一百个各向同性BRDF进行渲染，从漫射到金属。我们生成了一个球体（256× 256）的32位HDR图像，其中包含地面真实表面法线贴图和前景蒙版。没有投射阴影和相互反射。CyclesPSTest是一个由三个对象组成的合成数据集：SPHERE、TURTLE纸碗。TURTLE和PAPERBOWL是非凸对象，其中相互反射和投射阴影出现在渲染图像上。该数据集以与CyclesPS训练数据集相同的方式生成，除了参数图中的超像素数量为100并且材料条件为镜面反射或金属（注意，CyclesPSTest中的对象和参数图不在CyclesPS中）。每个数据包含16位整数图像在17或305个已知均匀照明下，分辨率为512× 512DiLiGenT[11]是具有一般反射率的10个真实对象的公共基准数据集每个数据提供来自96个不同已知照明方向的分辨率为612×512的16位整数图像还提供了正交投影和单视图设置的地面实况曲面法线。4.2MERLSphere数据集评价我们比较了我们的方法（在等式中K= 10）。(9))与MERLSphere数据集上的一种最先进的各向同性光度立体算法（IA14 [17]8）进行在没有全局照明效应的情况下，我们简单地评估了我们的网络与IA14中引入的叶总和BRDF [24]相比表示各种材料结果如图所示。5.我们观察到，我们的基于CNN的算法表现相当不错，虽然不是。8我们使用[17]的所有时间点的实施例，其中N1=2，N2=4，并且继续进行回射处理。附加的阴影被删除一个简单的阈值。注意，我们的方法考虑了所有输入信息，与[17]不同。IA14OURS（K=10）Ave.角误差（度）铝青铜氧化铝砂金石米黄色织物黑织物黑黑曜石黑色氧化钢黑色酚醛黑色软塑蓝色亚克力蓝色织物蓝色金属漆蓝色金属漆2蓝色橡胶黄铜樱桃-235铬钢colonial-maple-223变色漆1变色漆2变色漆3深蓝色漆暗红色漆深色镜面织物迭尔林果木-241金金属漆金色金属漆灰塑涂脂钢绿亚克力绿色织物绿色金属漆绿色金属漆2绿色塑料赤铁矿ipswich-pine-221浅棕色织物浅红色漆栗色塑料天然-209氯丁橡胶镍尼龙橙漆珠光漆pickled-oak-260pink-fabricpink-fabric 2pink-feltpink-jasperpink-plasticpolyethylene聚氨酯泡沫纯橡胶紫色漆二元pvc二元 红 布红布2红色金属漆红色酚醛红色塑料红色镜面塑性氮化硅银金属漆银金属漆特殊-核桃-224镜面-黑色-酚醛镜面-蓝色-酚醛镜面-绿色-酚醛镜面-栗色-酚醛镜面-橙色-酚醛镜面-红色-酚醛镜面-紫色-酚醛镜面-白色-酚醛镜面-黄色-酚醛ss440钢 聚四 氟乙烯碳化钨双层金双层银紫亚克力紫橡胶白亚克力白色-漫反射-球白色-织物白色-织物白色-大理石白色-油漆黄色-哑光-塑料黄色-油漆黄色-酚醛黄色-塑料12S. 池幡表1. CyclesPSTest数据集上的评价。这里m是每个数据集中的输入图像的数量，并且{S，M}是材料的类型，即，镜面（S）或金属(M)（见图）4详情）。对于每个单元格，我们以度为单位显示平均角度误差m=17m=305对象球体（S）球体（M）海龟（S）海龟（男）纸碗（S）纸碗（M）球体（S）球体（M）海龟（S）海龟（男）纸碗（S）纸碗（M）OURS（K=1）4.911.912.920.222.236.81.62.04.26.56.811.1OURS（K=10）3.39.09.917.820.134.20.91.43.35.76.09.5IA14 [17]2.741.013.439.137.243.12.850.716.539.041.742.0IW12 [6]1.631.09.035.127.742.01.641.79.337.827.639.6IW14 [7]1.423.110.528.436.944.21.220.510.225.937.439.5ST14 [18]4.436.312.040.631.441.11.019.019.925.551.050.3基线[12]4.635.412.339.729.439.35.044.512.640.228.837.0表2. DiLiGenT数据集上的评价。我们示出了每个对象内和所有对象上的平均角度误差。（*）我们的方法丢弃了BEAR中的前20个图像，因为它们被损坏了（我们在补充中解释了这个问题球熊佛猫牛杯状收获POT1POT2阅读Ave. ERR秩OURS（K=10）2.24.1*7.94.68.07.314.05.46.012.67.21OURS（K=1）2.74.5*8.65.08.27.114.25.96.313.07.62简体中文1.35.68.54.98.27.615.85.26.412.17.62TM18 [21]1.55.810.45.46.311.522.66.17.811.08.84IW14 [7]2.04.88.45.413.38.718.96.910.212.09.05SS17 [20]2.06.312.76.58.011.316.97.17.915.59.46ST14 [18]1.76.110.66.113.910.125.46.58.813.610.37SH17 [25]2.25.39.35.616.810.524.67.38.413.010.37IA14 [17]3.37.110.56.713.19.726.06.68.814.210.69GC10 [14]3.26.614.98.29.614.227.88.57.919.112.010基线[12]4.18.414.98.425.618.530.68.914.719.815.4-除了IA14之外，对于大多数材料，其中Disney所提出的BSDF [10]覆盖了各种现实世界的材料。我们应该注意到，正如在[10]中所评论的，一些非常有光泽的材料，特别是金属（例如，铬钢和碳化钨），表现出不对称的高光，暗示透镜光斑或可能的各向异性表面划痕。由于我们的网络是在纯各向同性材料上训练的，因此它们不可避免地会降低性能。4.3CyclesPSTest数据集评价为了评估我们的方法在恢复非凸表面的能力，我们在CyclesPSTest上测试了我们的方法。我们的方法与两个鲁棒算法IW12 [6]和IW14[7]9，两个基于模型的算法ST14 [18]10和IA14 [17]以及BASELINE [12]进行了比较当运行除我们的算法之外的算法时，我们在16位整数图像中丢弃强度值小于655的样本以用于阴影去除。在这个实验中，我们还研究了预测中的图像数量和旋转合并的影响。11具体地，我们在17或305个图像上测试了我们的方法，其中K= 1和K= 10在等式11中。（九）、9.我们使用了[ 6 ]在λ = 0，σ = 1的条件下的最佳实施和最佳方案。0−6和[7]的参数为λ = 0，p = 3，σa= 1。0.10我们使用[18]的实现并设置Tlow= 0。25.11我们仍然在训练步骤中通过旋转来增加数据。CNN-PS13角度误差（度）GT我们的（K=1）我们的（K=10）IA14 IW12 IW14 ST14基线90(4.2)（3.3）（16.5）（9.2）(a) TURTLE（S），统一305照明0GT我们的（K=1）我们的（K=10）IA14IW12IW14ST14基线(6.8)（6.0）（41.7）（27.6）（37.4）（51.0）（28.8）(b) 纸碗（S），统一305照明见图6。恢复表面法线和错误地图（a）海龟和（b）纸碗镜面反射材料.在均匀的305光照下绘制图像我们将结果显示在表1和图2中。6.我们观察到，所有的算法工作良好的凸镜面SPHERE数据集。然而，当表面是非凸的，所有的算法，除了我们失败的估计，由于强烈的投射阴影和相互反射。有趣的是，即使是鲁棒算法（IA12 [6]和IA14 [7]）也无法将全局效应作为离群值处理我们还观察到，基于旋转伪不变性的旋转平均确实提高了精度，尽管不是很大。4.4DiLiGenT数据集评价最后，我们对DiLiGenT数据集进行了并排比较[11]。我们收集了校准的光度立体算法的现有基准结果[12 -15，5，6，16，7，17，18，8，19-21]。请注意，我们比较了[11]中报告的[12-15，5，16-18]的平均角度误差，在其自己的w或k中报告的平均角度误差[ 19-21]以及来自我们的x射线测量的平均角度误差[ 6- 8]。12结果如表2所示。由于空间限制，我们仅示出了关于总体平均角度和基线的前10个算法13[12]。我们观察到，我们的方法实现了最小的误差平均超过10个对象，最好的分数为6的10个对象。值得注意的是，其他排名靠前的算法[20，21]是耗时的，因为HS17[20]需要针对每个不同的光配置进行字典学习，并且TM18[21]需要针对每个估计进行非监督训练，而我们的推理时间对于CPU上的每个数据集小于5秒（当K = 1时）。仔细观察每一个12至于[8]，我们使用了他们软件包的默认设置，除了我们给出了[11]提供的相机内部函数，并将噪声方差更改为零。13请在我们的补充资料中找到完整的比较。14S. 池幡GT我们的（K=10）TM18 IW14 ST14基线（14.0）（22.6）（18.9）（25.4）（30.6）(a) 收获900GT我们的（K=10）TM18 IW14 ST14基线（12.6）（11.0）（12.0）（13.6）（19.8）(b) 阅读图7.第一次会议。在DiLiGenT数据集中恢复的（a）HARVEST和（b）READ- ING的表面法线和误差图对象，图7提供了一些重要的见解。HARVEST是DiLiGenT中最不凸的场景，其他最先进的算法（TM18 [21]，IW14[7]，ST14 [18]）由于强烈的阴影和相互反射而无法估计“袋子”内的法线我们基于CNN的方法估计了更合理的表面法线，这要归功于基于精心创建的CyclesPS数据集训练的网络。另一方面，我们的方法对于另一个非凸场景的READING并没有最好的效果（尽管还不错）。我们的分析表明，这是因为在我们的训练数据集中很少观察到的高强度窄镜面反射的相互反射（窄镜面反射仅在原则性BSDF中的粗糙度接近零时出现5结论在本文中，我们提出了一种基于CNN的光度立体方法，适用于各种各向同性的场景与全球照明效果。通过将光度图像和照明信息投影到观察图上，非结构化信息自然地被馈送到CNN中。我们详细的实验结果表明，我们的方法的合成和真实数据，特别是当表面是非凸的最先进的性能。为了更好地处理窄互反射，训练集是我们未来的发展方向。角度误差（度）CNN-PS15引用1. Kendall ， A. ， Martirosyan ， H. ， Dasgupta ， S. ， Henry ， P. 肯 尼 迪 河Bachrach，A.，Bry，A.：深度立体回归的几何和上下文的端到端学习ICCV（2017）2. Vijayanarasimhan，S.，Ricco，S.，施密德角Sukthankar河Fragkiadaki，K.：Sfm- net：从视频中学习结构和运动arXiv预印本arXiv：1704.07804（2017）3. Kar，A.， Ha？e，C.， Malik，J. ：Learningmulti-viestemachine.Pr oc. 电影NIPS（2017）4. Kim K顾，J.，Tyree，S.，Molchanov，P.Niessner，M.，Kautz，J.：一种用于实时反射率估计的轻量级方法。ICCV（2017）5. 吴，L.，Ganesh，A.，施，B.，Matsushita，Y.，王玉，Ma，Y.：通过低秩矩阵完成和恢复的鲁棒光度立体In：Proc.ACCV。（二零一零年）6. Ikehata，S.，Wipf，D.，Matsushita，Y.，Aizawa，K.：使用稀疏回归的鲁棒光度立体In：Proc. CVPR. （2012年）7. Ikehata，S.，Wipf，D.，Matsushita，Y.，Aizawa，K.：一般漫反射表面使用稀疏贝叶斯回归的光度立体。IEEE传输模式分析马赫我告诉你。36（9）（2014）18168. Quau，Y.，吴，T.，Lauze，F.，Durou，J.D.，Cremers，D.：非精确照明下光度立体的非凸变分方法In：Proc.CVPR。（2017年）9. 自行车. 电子邮件www.cycles-renderer.org/10. 伯利，B.：迪斯尼的物理阴影，电影和游戏制作中实际物理阴影的一部分。02 The Dog（2012）11. 施，B.，Mo，Z.，吴志，D.Duan，Yeung，S.K.，Tan，P.：非朗伯和未校准光度立体的基准数据集IEEE传输模式分析马赫内特尔（2018）（出现）12. Woodham，P.：从多个图像确定表面取向的光度法。 OPT。Engg19（1）（1980）13913. Alldrin，N.，Zickler，T.，Kriegman，D.：具有非参数和空间变化反射率的光度立体。In：Proc. CVPR. （2008年）14. 戈德曼，D. B. Curless，B.，Hertzmann，A.，Seitz，S.M.：形状和空间变化brdfs从光度立体。IEEE传输模式分析马赫内特尔32（6）（2010）106015. Higo，T.，Matsushita，Y.，Ikeuchi，K.：一致光度立体。In：Proc.CVPR. （二零一零年）16. 施，B.，Tan，P.，Matsushita，Y.，Ikeuchi，K.：反射单调性的仰角。见：Proc. ECCV。（2012年）17. Ikehata，S.，Aizawa，K.：一般各向同性表面使
我的内容管理
展开
