学习缩小光度立体：使用深度学习框架减少图像数量的方法

17568学习缩小光度立体李俊轩1、2安东尼奥·罗伯斯-凯利3、游少迪1、2松下康之4、1澳大利亚国立大学工程学院和Comp.科学，澳大利亚，ACT 2601，2Data61-CSIRO，Black Mountain Laboratories，Acton，ACT 2601，Australia3迪肯大学理学院Eng. 和Built Env.Waurn Ponds，VIC 3216，澳大利亚4大坂大学研究生院情报科学技术研究科，大坂565-0871摘要光度立体估计表面法线给定的一组图像下获得不同的照明条件。为了处理图像形成过程中涉及的各种因素，最近的光度立体方法需要大量的图像作为输入。我们提出了一种方法，可以通过学习在不同光照条件下信息量最大的图像，大大减少对图像为此，我们使用深度学习框架来自动学习输入时所需的关键照明条件。此外，我们提出了一个遮挡层，可以合成铸造阴影，这有效地提高了估计精度。我们评估了我们的方法在具有挑战性的现实世界条件下，我们优于文献中其他地方的技术与显着减少数量的光照条件。1. 介绍光度立体是一种从固定视点在不同照明条件下拍摄的大量照片中估计物体表面法线的技术。由于现实世界中的材料的多样性外观，一种方法来处理一般的反射率是必要的。朝着这个方向的最新方法通过以增加图像数量为代价的鲁棒估计来提高估计精度，例如[21];然而，它使数据采集设置和校准过程复杂化。最近，基于深度学习的方法出现在光度立体的背景下[16，8，3]。这些方法被证明是有效的表面与不同的反射率，表明，从输入图像到表面法线的映射可以很好地建立，即使与多样性。与这些主要关注估计精度的方法不同，我们研究了减少所需IM的数量的问题GT我们PS-FCNCNN-PS图1.对于我们的方法，PS-FCN [3]和CNN-PS [8]在DiLiGenT[ 17 ]的“pot 1”上只有8个请注意，我们的表现优于其他选择。年龄，以缩小光度立体输入。我们通过学习不同光源方向的相对重要性来解决这个问题，这为轻量级数据采集提供了最佳选择输入光源方向的然而，在不损失性能的情况下减少输入光源方向的数量是一项重要的任务，因为表面辐射率由照明强度、光源方向、表面法线和BRDF函数确定例如，Argyriouet al. [2]使用照明的稀疏表示，在朗伯曲面的假设下，将所需的灯数减少到5。由于存在投射阴影、镜面反射和相互反射，该任务进一步复杂化。在本文中，我们提出了一种深度学习方法，该方法应用连接表，该连接表可以选择与表面正常预测过程最相关的那些illuminant方向。为此，我们采用了一个连接表，以便引入一个可训练的输入映射。该映射是通过使用N1范数和稀疏损失来训练的。一旦模型被训练，它可以有效地估计表面法线，只需要输入图像的数量大大减少，而不会损失准确性。为了我们的方法的可扩展性，在这里，我们利用观察图[8]选择照明方向，并以像素方式估计表面法线。17569此外，为了考虑全局照明的影响，我们明确地处理了阴影问题。具体来说，通过将投射阴影视为观察图上的局部零模式，我们在网络中引入遮挡层来处理投射阴影。总的来说，我们的贡献是：1. 我们提出了一个连接表，在网络输入到一个合适的损失函数和排名选择过程，以便选择那些最相关的表面正常预测过程的照明方向。2. 我们提出了一个遮挡层，可以模拟物体投射阴影。此遮挡层可应用于增强数据集和真实世界数据集，并增强阴影区域的性能。3. 我们用于光度立体的端到端深度神经网络可以预测表面法线，光源方向的数量大大减少。这与我们在DiLiGenT基准上的结果一致[17]，其中我们可以用少至8个输入图像来预测表面法线。2. 相关工作光度立体的文献是巨大的，但是，它可以分为以下几组：最小二乘法：由Woodham [20]引入的最小二乘方法旨在解决朗伯假设下的问题，即，像素强度与照明方向和表面法线之间的角度的余弦成比例。此外，他们通常假设表面是凸的，没有均匀的朗伯反射率的阴影。朗伯假设是重要的，因为它允许将图像形成模型转换成可以以封闭形式的方式求解的线性方程组。强有力的方法：这些方法可以通过将非朗伯区域视为异常值来处理镜面反射并在所研究的对象上投射阴影。Wu等[21日]将附加项添加到图像形成模型，以便自然地表示误差，这说明了偏离朗伯假设的那些像素，并且使用秩最小化来解决光度立体问题。许多其他技术也用于解决上述假设下的问题，例如RANSAC [14]，期望最大化[22]，稀疏回归[9]和变分优化方法[15]。基于示例的方法：这些方法以材料和表面几何的实例为参考，估计实例集中具有相同或相似BRDF函数的未知物体的表面法线。Hertzmann和Seitz [5]提出了一种方法，首先将物体上的材料最近，Hui和Sankaranarayanan [7]使用虚拟渲染球体而不是物理球体进行正常估计。深度学习：这些方法是那些，最近，已经取得了最佳性能的光度立体。Santo等人[16]提出了第一种基于深度网络的像素估计方法在他们的模型中它们假设光方向都是已知的并且在训练和预测阶段之间是一致的。尽管有效，但这种对训练集和测试集一致性的假设极大地限制了Ikehata [8]提出了一种深度网络，它采用非结构化光度立体输入的观察图。该贴图旨在说明每个表面像素处的每个光源方向。尽管effec-tive，作者假设一个密集的照明地图，使该方法容易腐败与较少量的照明方向在输入。在另一种方法中，Taniai和Maehara [18]提出了一种无监督网络，可以在输入时获取整个图像，并以端到端的方式预测稠密然而，该方法具有计算成本非常高的缺点。最近，Xuetal.[23]提出了一个深度网络来学习基于图像的重新照明的最佳样本。3. 预赛在本节中，我们首先提供有关光度立体的基本3.1.反射辐照度假设光源从方向l∈S2（三维单位向量空间）照射表面点，其辐照度为e。并且，该表面的反射辐射率分别表示为r。曲面法线记为n∈S2. BRDF函数为表示为ρ（l，v，n），即，事件的功能，并重新-反射辐射矢量L、V和表面法线N。由于法线和光源方向的变化，阴影可能会出现在反射表面。如果法线与光的方向相反，即，l·n≤0时，出现附着阴影。如果表面被物体本身遮挡，投射阴影也会出现，如图所示。二、因此，观察到的反射辐射率r（v）可以写为：r（v）=Q（eρ（l，v，n）max（l·n，0）），（1）其中，Q∈ {0，1}是在投射阴影处具有0值的二进制变量，假设在阴影区域中不存在因此，只要照明是如果被物体遮挡，则指示器变量Q将被设置为零遵循常规校准的光度立体问题，我们假设光方向l和17570e∆θw−1光源相机观测图投射阴影附影图2. DiLiGenT [ 17 ]数据集“收获”上的阴影区域注意投射阴影是由遮挡引起的，而附着的阴影区域相对于光源是向后的。在图的右侧，我们显示了从投射阴影获得的两个观测图观察图上的红色虚线表示遮挡灯光的形状。在每个照明条件下给出强度E。此外，我们假设光源在图像上的距离。为了简化随后的方程，我们认为相机处于正交位置，因此v为[0，0，1]。最后，在这里我们使用相对强度m=r来重写方程，而没有任何一般性损失。（1）作为不同光源方向下物体反射特性之间的关系。如图图2上的每个值自然地编码表面反射率r、照明方向l和强度e的信息。此外，该映射还可以看作是法线n、BRDFρ和投影指示变量Q的一组函数。3.3.光源方向选择现在，我们将注意力转向学习那些与photometric立体过程最相关的照明方向，以便大大减少计算表面法线所需的视图数量。从数学上讲，如果我们有k个方向不同的光照L=[l（1），l（2），···，l（k）]<$∈Rk×3，并且对于每个方向其中，在表面点上的相对强度由m=[m（1），m（ 2）， ···，m（ k ） ]∈Rk 给 出 。然后对于每个表面点，我们有一个方程组，由下式给出：m=Q<$ρ（l，v，n）<$vmax（Ln，0），（3）其中Q∈ {0，1}k是对不同光照下的投射阴影信息进行编码的矢量，λ表示Hadamard积，即，逐元素乘法运算符，并且类似地，vmax是逐元素max运算符。如下.电冰箱因此，我们的目标是求解这个方程组，m= Q ρ（l，v，n）max（l·n，0）.（二）3.2. 观测图计算我们遵循Ikehata [8]并采用观察图。回想一下，观测图是三维半球中所有照明方向的二维投影更正式地，假设光方向在x，y，z坐标系中由向量l=[lx，ly，lz]n给出。与Ikehata [8]相比，我们不直接使用笛卡尔坐标，而是通过首先将笛卡尔向量l投影到a中来计算观测图极坐标系，其分量为ntsaregivenbyk越小越好。4. 该方法在这里，我们提出了一个神经网络，可以稀疏照明作为输入，并预测表面法线的精度边际损失。如图3.观察图可以将不同的照明方向编码到特征图中，使得在输入空间上的选择是可行的。然后，遮挡层使系统鲁 棒 地 投 射 阴 影 。 对 于 网 络 本 身 ， 我 们 使 用 了DenseNet [6]架构的变体。为了选择相关的照明方向，√θ=arcsin（l/2 22 2tions，我们在输入处使用可学习的连接表，xlx+lz），x=arcsin（ly/1y+1z）。在这里，我们的深层网络 随着网络的训练，我们的我们使用了不同尺寸的观测图作为对比，Ikehata [8]，并指出，极坐标的性能优于笛卡尔的，这是该方法可以通过在输入处采用比文献中其他地方的其他方法显著更少数量的光源方向来准确地预测表面法线。观察地图的大小。索引为int的条目。θ+b，int.Σ+b∆ϕ的观察，4.1. 连接表对于窗口大小为w的映射O∈Rw×w，则设置为m。在上面的索引中，b是θ和φ的范围的上界和下界，int（·）是一个运算符，该运算符是一个舍入运算符，它将最接近的整数传递给它的参数，而θ和φ是每个映射索引之间的间隙，由θ=φ=2b给出。以这种方式，观测图将无序输入到一个有意义的特征地图，捕捉重新-据我们所知，没有基于学习然而，与深度网络相关，Alvarezet al. [1]使用稀疏约束规则化深度神经网络的训练过程。Ko- ray等。[11]使用二进制连接表来17571w−12C不同照明下的物体照明方向观测图计算图3.我们的网络概述给定物体在不同光照下的图像，我们可以计算出每个像素处对应的观测图然后，我们应用一个遮挡层，它作为一个二进制过滤器掩码，以便将观察图的一个区域归零然后，我们采用一个学习的连接表来衡量输入的特征图。经过训练后，我们的网络只需要对应于连接表的非零权重的几个照明来预测表面法线。Wei等[19]采用一维连接表来执行成像光谱中的频带缩减。这些对比与我们的方法，其目的是恢复一个二维稀疏的输入连接表与非二进制权重的观察地图。4.1.1稀疏表计算让输入连接表用C表示。此表应用于遮挡层之后的观测图。现在，我们集中讨论连接表，并将在本文后面进一步详细介绍遮挡层通 过 角 度 间 隔 来 细 化 即 ， 相 对 于 光 源 方 向 ，θ=θ=2b。这是一个重要的问题，因为连接表也可以被解释为与光源方向的相应范围相关，这使得该方法对光源方向的小变化更鲁棒4.1.2连接表培训这里，为了使连接表稀疏，我们采用正则化函数give。n由C2该表有效地充当输入选择器，由此在训练时学习连接权重注意到g（C）=i、j2Ci，j−i，j2α、（五）连接表具有与观察图相同的大小，哪里 α是 的 最大 值 的 的 地图，即，C∈Rw×w，其所有参数均大于或等于零，α=最大值（Ci、j）J.Ci，j>0。然后，稀疏观测图在被遮挡层“过滤”之后通过与观测图的逐元素乘积来这将生成稀疏观测图作为网络的输入请注意，上述函数是最小值，因为连接表权重趋于零。此外，在反向传播的每个步骤，可以使用由下式给出的导数以直接的方式更新连接表：然后，网络的损失函数由两个给出届第一项用于表面法线预测，其中我们使用均方误差。第二（C）i，j=2 −Ci，j .（六）α项是连接表上的正则化项这些损失由下式给出：L=<$n−n′<$2+λg（C），（4）其中，n和n′是预测的和地面实况表面法线，g（·）表示正则化函数，λ是控制贡献的超参数。对整体损失的调整因此，较大的λ将强制更稀疏的连接表，相反，较小的λ将产生更密集的连接表。注意，以这种方式，连接表可以用于在输入处选择最相关的发光体方向。在观测地图中的这些方向被有效地去-由于连接表根据定义是非负的，导数f（C）取[1，2]范围内的值。i、j有了连接表，我们就可以应用一个自...选择策略，用于选择网络的k个最重要的输入为此，我们使用循环训练方案，并且在每个训练操作中，我 们 应 用 具 有 指 数 衰 减 的 秩 选 择 ， 即 ，k=int（c+τe−βt），其中t={0，1，2，. . . }是训练操作指数，并且c，β和τ是标量参数。顺便说一下，我们选择非空的表项的数量的指数衰减，这让人想起文献中其他地方的退火方法和秩选择方法中的观测图闭塞层连接表CNN块输出1757242λ=10！4MAE=6。88λ=10！3MAE=7。78λ=10！$MAE=9。19遮挡层随机零图4.与随机归零相比，由遮挡层处理的观察图[16]。请注意，遮挡层有效地模拟了由投射阴影引起的观察贴图中的图案4.2. 闭塞层回想一下，投射阴影是光度立体中最具挑战性的问题之一当输入发光体方向的数量很小时，情况尤其如此。Santo等人[16]，通过在他们的网络中使用阴影层来解决这个问题，该阴影层将一些输入随机设置为零。尽管有效，但他们的方法没有考虑到投射阴影通常相对于光源方向是一致的，而不是随机发生的。为了说明这一点，我们显示，在图。2从“收获”物体的阴影区获得的观测图。投下的阴影是由布上的褶皱造成的，并显示出具有相对尖锐边界的一致图案。局部地，平滑或平坦的遮挡导致直线边界，而对象几何形状的突然变化产生更陡峭的边界。因此，这里我们采用了一个遮挡层，它可以通过在观察图上随机绘制一条线来有效地模拟投射阴影，以获得一个遮罩，然后可以使用该遮罩将观察图的相应条目设置为零。具体来说，该层随机选择地图的两侧，并在每一侧随机选取一个点。然后连接这两个点的线将地图分成两个区域。然后将这两个区域中较小的区域设置为零。这示于图4.第一章通过使用该遮挡层训练网络，我们提出的方法可以有效地学习投射阴影的模式，并更鲁棒地预测5. 执行观察图参数对于观察图，我们将窗口大小w设置为14。以及θ和π的上下界。有了这些参数，然后我们随机选择5%的观察图通过我们的遮挡层，这模拟了投射阴影的效果此外，我们还随机将观察图中约5%的点设置为零。我们将在第二节中进一步讨论这部分观测图的选择6.2.λ=10！1MAE=10。87λ=1MAE=11。03λ=10MAE=11。06图5.连接表（裁剪）和验证集上的平均角度误差的可视化，作为λ的函数。55 30 16 10 8 6图6.等级选择后的连接表（裁剪）。从左到右，每个面板显示非零值的数量减少到6时的表格。最上面一行显示了使用一个范数为1的正则化器生成的映射。第二行示出了使用等式中的正则化函数获得的映射。（五）、对于连接表，如前所述，我们在递归训练网络时执行秩选择。为此，我们将表初始化为全1，并进行预训练。对于预训练，我们使用由下式给出的替代损失函数：L=<$n−n′<$2+λf（C），（7）其中f（·）是given的，由r的<$1-范数正则化.在预训练时使用 R1范数并且稍后使用正则化器g（·）的原因是由于以下事实：与g（·）的行为相反，R1范数随着连接表条目的大小趋于零而减小因此我们已经采用了Eq1-范数来为训练提供良好的初始化，并采用了等式中的正则化器（5）倾向于表中接近1或接近0的值。此外，尽管λ可以控制连接表的稀疏性，但当使用λ 1范数时，它很快就会变得无效。为了说明这一点，我们显示，在图。 5、在预训练时用不同的λ值获得的连接表。从图中我们可以看出，当λ增加到10−1以上时，连接表几乎没有变化。如上所述，我们从预训练网络开始在这里，我们为预训练操作设置了λ= 10−3，然后在一组后续的循环训练步骤中将秩选择应用于连接表。如前所述g（#）L1-N$r&17573培训方法0%的百分比百分之五百分之十百分之十五合成闭塞层随机调零11.4210.4210.7510.6810.8710.5710.94真的-闭塞层8.287.998.047.858.37表2.我们的遮挡层和随机归零的比较[16] DiLiGenT数据集上的10个照明方向。表1.DiLiGenT数据集上的性能，具有不同数量的输入光方向（参见第6.1更多详情）。以这种方式，我们选择前k个最大权重，其中k在训练过程中从数据集（96）中的所有照明稳定地减小到k中的序列55、30、16、10、8、6之后的6。图 6.在秩选择受到影响之后，我们在每个训练步骤中呈现连接表。 在左侧面板中，我们显示了在第一个训练步骤中获得的连接表，其中选择了学习表中55个最重要的元素，其余元素设置为零。第二个面板，从左到右，显示了在第二次训练操作之后已经选择了30个最重要的条目的表格，依此类推。 对于所有训练操作，我们设置λ = 10−3。请注意，这与我们的预训练操作一致5.1. 数据集为了训练我们的网络，我们使用来自Blobby ShapeDataset [10]的10个形状和来自MERL BRDF数据集[13]的100个反射率生成合成数据集为此，我们随机选择8个BRDF，使用144个随机分布的光线方向重复渲染为了保持一致性，我们使用了与DiLiGenT [17]数据集中相同的光方向范围。我们选择9个形状进行训练，剩下的一个用于验证 。 因 此 ， 我 们 的 合 成 数 据 集 包 括 大 约9×104×8=720，000个用于训练的观察图和大约80，000个用于验证的图对于测试，我们使用DiLiGenT[17]数据集，这是一个真实世界的公共基准，包含10个不同对象的图像每个物体都在96个不同的已知光线方向下观察，其中水平方向的范围从-45° C到45°C，垂直方向从-30° C到30° C，以观察方向为中心的地面实况表面法线已经使用激光扫描仪获得，并且可用于定量评估。6. 实验对于我们所有的实验，我们都使用Adam [12]优化器使用默认设置训练我们的网络。该网络由Keras实现，Tensorflow作为工作站上的后端，使用Ubuntu-14和NVIDIA GTX 1080Ti11 G。为了量化误差，在我们所有的实验中，我们使用平均角误差（MAE）进行表面正常评估。在这里，我们将我们的方法的结果与使用可用于稀疏输入的许多替代方案[16，3，8，9]获得的结果进行我们还说明了我们的损失函数和遮挡层的有效性，并显示了像素正常估计的结果。6.1. 正则化函数的有效性为了说明我们的正则化函数g（·）在损失函数中的有效性在表1中，函数g（·）描述在等式 （五）、我们的网络在使用n-1-范数正则化器作为g（·）的替代时所产生的结果。最后，包括的，并且损失函数和连接表被随机初始化而不是预先训练。所有其他方法都是用随机选择的输入进行测试的，所有显示的结果都是10次试验的平均值从表中可以看出，我们的稀疏正则化模型函数g（·）的性能最好，明显优于1-范数和随机初始化。6.2. 闭塞层的评价现在我们将注意力转向遮挡层的效果为此，我们用我们的遮挡层和Santo等人提出的遮挡层来训练网络。[16]并设置k=10，即，在输入处使用10个光方向。在这里，我们已经在我们的合成数据集和DiLiGenT上训练了网络。在表2中，我们展示了我们的遮挡层和Santo等人提出的遮挡层的效果。[16 ]第10段。请注意，在我们的合成数据集中没有投射阴影。这与DiLiGenT数据集中的真实世界对象形成鲜明对比，后者表现出阴影和相互反射的多样性。这里显示的比较的目的不仅是显示我们的遮挡层与[16]相比的好处，而且还表明它可以使真实世界和合成数据集的训练受益。此外，请注意，表中的百分比对于两种方法具有不同的含义。对于我们的遮挡层，百分比表示在训练过程中有多少观察图被虽然随机归零的百分比遵循输入方法96161086我们的-g（·）8.439.6610.0210.3912.16我们的L110.2911.0611.3312.57我们的随机10.5011.3911.8512.58PS-FCN [3]8.399.3710.5111.4212.54美国有线电视新闻网[8]7.2010.4914.3419.5030.28L1-RES [9]14.0815.4716.3716.8418.451757425（更差）0 [deg.]-25（更好）图7.我们的遮挡层相对于随机调零的性能比较[16]。面板中的蓝色对应于遮挡层优于随机归零的区域。相反的情况适用于红色区域。我们可以看到，在“猫”图像中在所有这些区域都对应于投射阴影。方法球猫POT1熊pot2佛杯状阅读牛收获Avg.10输入我们3.976.697.308.739.7411.3610.4614.3710.1917.3310.02PS-FCN[3]4.028.3010.147.189.859.7911.5815.0310.5118.7010.51美国有线电视新闻网[8]9.1111.7113.2314.0814.6514.5815.4816.9914.0419.5614.34L1-RES[9]4.929.6810.699.5817.6414.5318.3918.2327.0133.0516.37基线[20]5.099.6611.3211.5918.0316.2519.9719.8627.9033.4117.318输入我们3.657.078.118.919.9212.0310.6715.2710.1418.1510.39PS-FCN[3]5.149.4710.659.1610.059.6612.3916.4711.1420.0511.42美国有线电视新闻网[8]22.7421.0618.8716.8919.1819.9518.6217.7716.0423.9019.50L1-RES[9]4.709.5711.9610.1017.3315.6219.0718.9628.2332.8216.84基线[20]5.509.8912.0111.5717.4916.5319.7320.4128.6432.9617.47表3.DiLiGenT数据集上的结果，具有10个和8个输入照明方向。所有的备选方案都是用随机选择的输入进行测试的所示的所有平均角度误差对应于10次试验的平均性能。在[16]中设置，指示每个输入映射中有多少像素被随机设置为零。正如我们从表中看到的，当5%的输入贴图被遮挡时，我们的遮挡层表现得更好。对于随机归零策略，最佳性能似乎也在5%左右。尽管如此，无论使用的百分比，最低的错误总是由我们的遮挡层实现。最后，我们在图中显示了DiLiGenT数据集中一些样本对象的误差图。7.第一次会议。所示的误差图对应于由我们的遮挡层和随机归零产生的MAE。因此，消极的领域，即，图中的蓝色区域7是我们的遮挡层优于替代方案的从图中可以清楚地看到，遮挡层在大多数凹凸不平和褶皱的区域表现得更好，这些区域的投射阴影更强。这与我们的遮挡层可以帮助网络处理投射阴影的概念一致6.3. 稀疏输入我们首先使用DiLiGenT数据集将我们的方法与其他最先进的方法进行对于稀疏照明中的替代方案所产生的结果，与我们的方法相比，我们随机选择了输入光源方向，直到所考虑的k请注意，这与作者提出的稀疏输入设置一致。10次试验数据集的MAE如Ta所示表1.请注意，在表1中，除了PS-FCN [3]之外的所有方法都以像素方式估计表面法线。由于逐像素方法自然地丢弃像素和形状之间的连接，因此预计像这里使用的稀疏输入设置会显著降低性能。正如我们所看到的，CNN-PS [ 8 ]的性能从7. 20到30岁28个输入。相比之下，我们的方法没有表现出这样的性能损失，优于其他像素方式的方法。我们可以看到，从16个输入开始，我们的方法开始显示其选择光源方向的能力，以避免过度的性能损失。在10和8个输入方向，我们的方法显示出相对于其他方法的性能有很大的改善。此外，我们的方法显示出低至1的性能下降。MAE从96度上升到25度到16个输入方向，只有0. 从16到10个输入3度。此外，请注意，PS-FCN [3]是一种考虑整个图像的密集正态估计方法。因此，PS-FCN [3]自然具有稀疏输入的优势，因为它可以利用跨像素的结构信息。尽管如此，我们的方法在具有10个或更少光源方向的高度稀疏照明设置中可以比PS-FCN [3]执行得更好。在表 3 中 ， 我 们 还 显 示 了 我 们 的 方 法 的 性 能 以 及DiLiGenT数据集中10个和8个输入的每个对象的替代方案 在图8中，我们显示了DiLiGenT的“Goblet”物体的表面法线和误差图17575GT Ours PS-FCN CNN-PSL1-RES基线90 [deg.]0 [deg.]图8. DiLiGenT数据集中的“高脚杯”性能Light-Config我们PS-FCN[3]美国有线电视新闻网[8]L1-RES[9]基线[20]随机10.0210.5114.3416.3717.31我们11.3513.0215.8317.12最佳[4]8.7313.3515.5016.57表4. DiLiGenT基准上的平均角度误差，使用相同的10个灯光方向，使用随机采样（随机），我们的方法（我们的）和[4]中的方法获得。90 [deg.]0 [deg.]表4显示了在类似的光配置下，我们和其他方法的平均角度误差。第一行（随机）显示从半球上的均匀分布中随机采样10个灯光时的结果。第二行（Ours）是在光线方向下的结果，该光线方向对应于通过我们的方法学习的连接图的非零条目。第三行（最佳）对应于Drbohlav和Chantler [4]提出的最佳光配置。请注意，这些光方向与DiLiGenT中提供的光方向不完全匹配，我们使用DiLiGenT数据集中最接近的光方向进行测试。在最佳光配置下，我们的方法优于除PS-FCN [3逐像素正态估计最后，我们提出了一个像素的方式和密集的正常估计之间的比较。在图9中，我们展示了我们的方法和PS-FCN [3]在一个具有挑战性的合成物体上产生的结果。 在 图9，我们使用Blobby [10]中的一个对象，该对象已从我们的训练数据集中排除，并通过为每个像素随机选择MERL [13]中的BRDF函数来然后，我们只使用8个输入来测试这两种方法。请注意，PS-FCN [3]受到BRDF和对象几何形状之间的关系的影响，而我们的方法，图9.当显示8个输入光源方向时，我们的方法和PS-FCN对于空间变化的BRDF的性能。尽管有一些噪音，仍然恢复了表面正常的良好根据对象本身，优于PS-FCN [3]。7. 结论在本文中，我们提出了一种深度学习方法，该方法应用连接表，该连接表可以选择与表面正常预测过程最相关的那些illuminant方向。 为此，我们聘请了一个连接表，并显示了如何，一旦模型被训练，它可以有效地估计表面法线只给出了一个大大减少的输入图像的数量，而不损失准确性。此外，我们还通过在网络中引入遮挡层来解决阴影问题。我们已经说明了我们的光度立体的方法的实用性，通过比较我们的结果与产生的一些替代品。致谢：这项工作的一部分得到了日本JST CREST资助号JP 17942373的支持。10.4611.2115.4118.9218.9010.6712.2918.6018.8119.56输入GT Ours 错误：13.77PS-FCN错误：18.0310输入8输入17576引用[1] Jose M Alvarez和Mathieu Salzmann。学习深度网络中的神经元数量。神经信息处理系统的进展，第2270-2278页，2016年。3[2] VasileiosArgyriou ， StefanosZafeiriou ， BarbaraVillarini，and Maria Petrou.光度立体中确定最佳照明方向的稀疏表示方法Signal Processing，93（11）：3027-3038，2013. 1[3] Guanying Chen，Kai Han，and Kwan-Yee K Wong.Ps-fcn：一个灵活的光度立体学习框架在欧洲计算机视觉会议上，第3Springer，2018. 一、六、七、八[4] 昂德雷·德博拉夫和迈克·钱特勒。论光度立体中的最佳光 形 。 在 第 十 届 IEEE 国 际 计 算 机 视 觉 会 议（ICCVIEEE，2005年。8[5] Aaron Hertzmann和Steven M Seitz。基于示例的摄影立体 ： 用 一 般 变 化 的 brdfs 进 行 形 状 重 建 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，27（8）：1254-1264，2005。2[6] Gao Huang，Zhuang Liu，Laurens van der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在计算机视觉和模式识别（CVPR），2017年IEEE会议上，第2261-2269页IEEE，2017年。3[7] Zhuo Hui和Aswin C Sankaranarayanan。从虚拟实例中估计形状和空间变化的反射率。IEEE Transactions onPattern Analysis and Machine Intelligence，39（10）：2060-2073，2017。2[8] 池畑聪Cnn-ps：用于一般非凸曲面的基于Cnn的光度立体。欧洲计算机视觉，第3Springer，2018.一二三六七八[9] 池田聪，大卫·威夫，松下康之，相泽喜小春.使用稀疏回归 的鲁 棒光 度立 体。 在计算 机视 觉和 模式 识别（ CVPR ） ， 2012 年 IEEE 会 议 上 ， 第 318-325 页 。IEEE，2012。二、六、七、八[10] Micah K Johnson和Edward H Adelson。自然光照下的形状 估 计 。 在 Computer Vision and Pattern Recognition（CVPR），2011 IEEE Conference on，第2553-2560页中。IEEE，2011年。六、八[11] KorayKavukcuoglu，Pierre Sermanet，Y-Lan Boureau，Karol Gr e go r，Micha eülMathieu，andYannLCun. 学习用于视觉识别的神经信息处理系统的进展，第1090-1098页，2010年。3[12] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[13] Wojciech Matusik，Hanspeter Pfister，Matt Brand，andLeonard McMillan. 数 据 驱 动 的 反 射 率 模 型 。 ACMTransactions on Graphics，22（3）：759-769，2003年7月。六、八[14] 向井川康弘，石井康典，和石永武.基于光度线性化的光度因素分析。JOSA A，24（10）：3326-3334，2007.2[15] YvainQue'au ， TaoWu ， Franc oisLauze ， Jean-DenisDurou，and Daniel Cremers.一种非凸变分方法17577在不准确的照明下的光度立体。在计算机视觉和模式识别（CVPR），2017年IEEE会议上，第350-359页。IEEE，2017年。2[16] Hiroaki Santo，Masaki Samejima，Yusuke Sugano，Boxin Shi，and Yasuyuki Matsushita.深光度立体网络。计算机视觉研讨会（ICCVW），2017年IEEE国际会议，第501IEEE，2017年。一、二、五、六、七[17] 施博信，莫志鹏，吴哲，段定龙，杨世杰，谭平。一个基准数据集和评估非朗伯和未校准的光度立体 。 IEEE Transactions on Pattern Analysis andMachine Intelligence，2018。一、二、三、六[18] Tatsunori Taniai和Takanori Maehara。一般反射光度立体的神经逆绘制国际机器学习会议，第4864-4873页2[19] RanWei，AntonioRobles-Kell y，andJo se'A'lvarez. 使用卷积神经网络的连续自由带减少。在关于模式识别（SPR）和结构和语法模式识别（SSPR）中的统计技术的联合IAPR国际研讨会中，第86-96页。Springer，2018. 4[20] 罗伯特·J·伍德汉姆从多个图像确定表面取向的光度测定方法。光学工程，19（1）：191139，1980.二、六、七、八[21] Lun Wu ， Arvind Ganesh ， Boxin Shi ， YasuyukiMatsushita，Yongtian Wang，and Yi Ma.通过低秩矩阵完成和恢复的鲁棒光度立体。在亚洲计算机视觉会议上，第703施普林格，2010年。一、二[22] 吴大鹏和唐志强。通过期望最大化的光度立体。IEEE transactions on pattern analysis and machineintelligence，32（3）：546-560，2010。2[23] Zexiang Xu，Kalyan Sunkavalli，Sunil Hadap，andRavi Ramamoorthi.基于深度图像的最佳稀疏样本重光照。ACM Transactions on Graphics（TOG），37（4）：126，2018。2