43213107人脸图像中高光的去除陈莉1林瑞麟2周坤1池内胜21浙江大学CAD CG国家重点实验室2Microsoft Research摘要我们提出了一种方法来消除镜面高光反射的面部图像，可能包含不同的照明颜色。这是通过使用人体皮肤和面部的物理和统计特性来准确实现的。我们采用基于黑色素和血红蛋白的模型来表示面部皮肤中的漫射颜色变化，并利用该模型以即使对于部分饱和像素也有效的方式来约束高光去除解决方案。通过估计面部上的方向性变化的照明颜色来进一步促进高光的去除，这是在利用面部几何的基于几何的近似的同时完成的。所提出的方法的一个重要的实用功能是，皮肤的颜色模型是利用的方式，不需要颜色校准的相机。此外，这种方法不需要假设通常需要在以前的高光去除技术，如均匀的照明颜色或分段恒定的表面颜色。我们通过与现有的去除镜面高光的方法进行比较来验证这种技术。1. 介绍人脸通常表现出镜面反射高光，这是由其油性皮肤表面的光的急剧反射引起的。出于美学增强的目的或为了促进计算机视觉任务（诸如可能受到这些照明相关的外观变化阻碍的面部识别），通常期望去除或减少照片中的这些高光。此外，镜面高光层的提取可以提供用于推断场景属性（诸如表面法线和照明方向）的有用信息。镜面高光去除是一项具有挑战性的任务，因为对于每个像素，要估计的数量（镜面反射颜色和漫射颜色）是要观察的数量（图像颜色）的两倍。为了解决这个问题，以前的方法通常需要简化对成像条件的假设，例如白色照明[33，34，41，40]、分段均匀的表面颜色[13，1]、重复的表面纹理[31]或暗通道先验[11]。这些骗局-然而，在面部图像中通常不存在条件，面部图像通常在自然照明环境中捕获并且不表现出假定的表面特性。为了解决这个问题，我们提出了一种高光去除方法，该方法利用人体皮肤和面部的物理和统计特性，并联合估计光照环境的近似模型。准确估计照明及其颜色对于重新移动高光是必不可少的，因为高光反射具有照明的颜色。大多数先前的高光分离技术简单地假设照明颜色是均匀的和/或已知的，但是对于真实世界的照片通常不是这种情况。相反，我们在利用人脸先验知识的同时，将其与高光去除一起解决。通过这种方式，我们的方法不仅能够在估计照明时考虑高光信息和面部先验，而且还可以估计具有经常存在于日常场景中的方向变化颜色的环境地图，例如具有明亮的天花板灯和来自窗户的阳光的办公室。除了环境贴图，更好地了解对象的漫反射颜色对于有效地分离镜面反射高光也很重要。在这项工作中，我们利用基于物理的人类皮肤颜色的模型来更好地约束高光去除解决方案。人类皮肤是一种浑浊的介质，含有黑色素和血红蛋白作为其两种主要色素。皮肤表皮层中含有的黑色素量的空间变化导致皮肤特征，如雀斑或痣。血红蛋白是血液中的一种蛋白质，在真皮层中流动，形成血液循环的外观。皮肤颜色的变化主要是由这两种色素的密度不同引起的。深色的皮肤是黑色素浓度较高的结果，而粉红色的脸颊表明血红蛋白浓度较高。我们使用基于这两种颜料的肤色模型作为对估计的漫射颜色的约束，以及有效地处理导致测量的颜色值的部分饱和的高光，这是在以前的技术中被忽视的问题。当照明色度与漫反射色度相似时，将镜面高光与漫反射分离时会43213108的对象。在这种情况下，很难区分两个反射分量。为了处理面部的这个问题，我们另外利用面部几何形状的基于几何学的近似来帮助推断漫反射的幅度，从而减少上述模糊性。通过这种方法，我们的方法获得了与最先进的高光去除技术相一致的结果，特别是对于包含不同类型光源的场景。这项工作的一个值得注意的特点是，皮肤颜色的模型采用的方式，不需要颜色校准的相机。我们评估我们的方法在实验室捕获的图像，允许定量比较，并在自然成像条件下拍摄的真实图像。2. 相关工作在本节中，我们简要回顾了以前的工作，单图像高光去除和照明估计。从单个输入图像中去除高光是一个已经研究了几十年的问题。早期的方法旨在通过分析恢复漫射和镜面颜色，在分段恒定表面颜色的假设下，颜色直方图分布的SIS[13，1]。这种颜色空间方法后来被扩展到图像空间配置，这使得能够处理可以修复的表面纹理[32]或具有重复结构[31]。最近的一种方法是首先导出一个伪漫射图像，它表现出与输入图像的漫射分量相同的几何轮廓[33，34]。然后通过迭代地将漫射分量的最大色度传播到相邻像素来去除高光。这种方法的变体在生成伪漫射图像时采用了暗通道先验[11]。已基于双层滤波提出了实时实现[41]。与这些以前的技术相比，我们的工作推导和利用额外的约束条件的基础上先验知识的一个特定的对象的极大兴趣，即人脸。这些物理和统计约束允许我们的方法避免先前对表面纹理的限制，并且使得能够处理部分饱和的高光像素、变化的照明颜色以及由类似的照明色度和漫反射色度引起的模糊性，这些先前的方法没有解决。光照估计在计算机视觉中也有很长的历史。对这一问题的研究主要集中在估计光的方向分布或照明颜色，而不是两者。相比之下，在我们的工作中，颜色和方向都需要利用人脸的物理和统计先验。用于恢复光的方向分布的方法已经分析了阴影[42，44，38]，投射阴影[25，26，27，28，22，12]，以及已知几何形状的表面上的镜面反射[21，17]。我们的方法也利用表面形状恢复照明分布，但估计未知的几何形状以及照明颜色的帮助下，统计数据的人脸。来自人眼的反射也被用于估计照明增强[20，37]，但需要眼睛的特写视图，并且虹膜纹理可能会显著降低估计值对于照明颜色的估计，有两种主要的方法。一种是采用基于表面颜色先验模型的颜色恒常性[6，8，19，10，4，2]。与我们的工作最密切相关的是利用一组完整的测量肤色的方法[4，2]。然而，颜色恒常性方法不适合我们的工作，因为它们既不能恢复方向分布，也不能区分漫反射的光的颜色（即，从表面点的上半球）和镜面高光（即，从镜面反射角度），这对于高光去除是必要的。另一种方法是基于镜面反射模型[29]从镜面反射[35，5，16，30，9]估计照明颜色。在此模型下，单色表面的像素被限制在RGB颜色空间中的二色平面。为了确定该平面上对应于光源颜色的点，这些方法中的一些方法找到了二色平面与普朗克轨迹的交点[5，16]，该轨迹将白炽黑体辐射器发出的光的颜色建模为其温度的函数。而普朗克轨迹是这是一个强有力的物理约束的光的颜色估计，它需要的颜色校准的相机，这是避免在我们的工作，使该方法更广泛的适用。我们的方法也采用了二色模型，但使用它与面部和皮肤属性，约束颜色估计。与这些技术不同，我们的方法还恢复了光的方向分布。3. 反射模型如前所述，二色反射模型[29]通常用于镜面高光分离。根据该模型，非均匀介质物体的图像由两个反射分量组成，即漫射和镜面反射：I（p）=Id（p）+Is（p），（1）其中p表示像素索引，并且Id和Is分别表示漫反射和镜面反射给定入射在面部上的远距离照明环境L，其一部分直接被皮肤表面反射43213109LM产生镜面反射：∫Is（p）=fs（p，np，ωo，ωi）L（ωi）dωi， （2）L其中fs是镜面反射的双向反射分布函数（BRDF），np是像素p的表面法线，ωi是光的入射方向我们对坐标系进行定向，使观察方向ωo在方向（0，0，1）T上，并且在本文的其余部分中不需要引用。其余的光进入人体皮肤体积并作为漫反射Id离开：(a)（b）（c）（d）图1。基于黑色素-血红蛋白的皮肤模型的图示。(a)两层皮肤模型。(b)一种扩散的皮肤斑。(c)黑色素成分的颜色和密度ρm。(d)血红蛋白组分的颜色和密度ρh。Id（p）=D（p）A（p），（3）其中，A（p）是像素p处皮肤的漫反射，D（p）是几何体相关漫反射着色：∫直接用于每个像素p处的漫射阴影D（p）。光谱分量Is（p）可以通过仅考虑其镜像反射来近似为：∫D（p）=fd（p，np，ωi）L（ωi）dωi（4）LIs（p）=fs（p，np，ωo，ωi）L（ωi）dωiL其表示根据漫射BRDFfd的照明L和皮肤体积之间的相互作用。代入Eq. (2)，方程式 (3)和等式 (4)进入Eq. （一）和L（ωp）ms（p），（7）2np−ωo产生以下反射模型：ωp=π 2n、（8）-ωo其中，ms是镜面反射系数，而表面非-I（p）=A（p）fd（·）L（ωi）dωi+Lfs（·）L（ωi）dωi. （五）L马尔np是ωp的半角方向和ωo。3.1. 光照建模在先前的镜面分离方法中的典型假设是照明颜色是均匀的。然而，这种假设通常不适用于现实世界的场景，因为许多照明环境包含不同类型的光源。为了处理不同的照明颜色，我们使用球谐函数对照明环境进行建模，球谐函数是球体上与线或圆上的傅立叶基的模拟：ΣL（ωi）=Llm Ylm（ωi）我很LTYlm（ωi），（6）其中Ylm表示球谐函数（SH），Llm是SH系数，l≥0且−l≤m≤l。SH系数Llm分别针对R、G、B颜色通道估计为Llm={Llm，R，Llm，G，Llm，B}，以便对变化的照明颜色进行建模。均匀照明因此，色度是一种特殊情况，其中SH系数在三个颜色通道之间仅相差一个标量因子。漫射和镜面反射表示为在Eq.（五）、为了便于优化，我们避免通过求解空气表皮黑色素、真皮血红蛋白、=p43213110Mh基于单图像的3D人脸重建算法[39]利用可变形模型上的方向图恢复出一个近似的正规方向图N_p，并由此得到了n_p的值。3.2. 肤色模型一些先前的工作[34，41，11]利用伪无镜面反射图像来估计A（p）的漫射色度，但不估计A（p）本身。当我们专注于面部图像的镜面高光去除时，我们可以在人类皮肤的先验知识的帮助下直接处理A（p）而不是其色度。这种差异将允许我们的方法准确地处理部分饱和像素。示于图如图1所示，皮肤反射可以物理地表示为两层模型，其由含有黑色素的表皮层和含有血红蛋白的真皮层组成。该模型在[36]中用于皮肤纹理合成，以实现某些视觉效果，例如酒精消耗或晒黑的外观。根据修正的Lambert-Beer定律[7]，其根据一维线性传输理论对分层表面中的次表面散射进行建模，皮肤的漫反射为：R（p，λ）= exp{ρm（p）σ′（λ）lm（λ）+ρh（p）σ′（λ）lh（λ）}R（p，λ），（九）其中λ表示波长，R和R是入射光谱辐照度和反射光谱辐射亮度。ρm（p），43213111MHMhρh（p），σ′，σ′分别为色素密度和光谱互平滑项ES、各向异性平滑项EH，以及Mh黑色素和血红蛋白的切片。lm和是表皮层和真皮层中光子的平均路径长度。在[36]中使用的简化之后，我们以RGB通道的分辨率处理波长相关的黑色素和血红蛋白散射项σ′，σ′，lm，lh：全局阴影项EG. 每一项都是 在下面的小节中。4.1. 数据项数据项EO测量了σ′（λ）lm（λ）为{}m，R<$lm，R，σ′m，G？lm，G，σ′m，B′lm，B}（，10）皮肤反射率模型方程（5）观察输入图一：σ′（λ）lh（λ）为{σ<$′h，R<$lh，R，σ<$′h，G<$lh，G，σ<$′h，B<$lh，B}.（十一）我们将黑色素和血红蛋白的相对吸光度向量σm、σh定义为：ΣEO（Llm，ρ，D，ms）=p∈Iems （p）<$A（p）D（p）+L（ωp）ms（p）−I（p）<$2，（十六）σm=exp{σ<$′m，R<$lm，R，σ<$′m，G<$lm，G，σ<$′m，B<$lm，B}，（12）σh=exp{σ<$′h，R<$lh，R，σ<$′h，G<$lh，G，σ<$′h，B<$lh，B}.（十三）通过结合Eq. (9)，方程式(12)，方程式(13)并且R=AR，皮肤反射率A（p）可以表示为A（p）=σρm（p）σρh（p）。（十四）其中，根据等式（1）计算ΔA（p）。(14)而p，则是在等式中定义（八）、 由于我们的方法专注于去除镜面高光，因此我们通过自适应权重将更多的重点放在包含更大镜面反射的像素上。4.2. 各向同性光滑项Mh如[36]中所报告的，并在补充材料中进行了经验验证，相对吸光度矢量σ，各向同性平滑项ES约束漫反射阴影D和镜面反射系数Mσh在典型人脸的有限范围内变化。基于这一观察，我们假设人与人之间的σm、σh是相同的，肤色的变化归因于色素密度ρm和ρh的差异。利用独立分量分析（ICA）对中性光照下采集的一组人脸图像进行σm和σh的计算补充材料中提供了关于该ICA的更多详细信息。相机颜色滤波器的效果通常可以与表面反射率和照明颜色的估计混合。在我们的情况下，表面的曲率由σm和σh限定，这两个性质都是已知的并且与照明无关。因此，相机色彩滤镜的效果将与估计的照明颜色交织在一起，对此我们不做任何假设。因此，我们的方法不需要相机的颜色校准，不像使用普朗克轨迹作为照明约束的技术[5，16，18]。4. 面部高光去除我们的目标函数，以消除镜面高光下不同的照明颜色是m是局部光滑的。类似的制约因素还包括在先前的工作中使用，以增加高光去除的稳定性[11，32]。我们将此先验定义为各向同性TV-12正则化子：ΣES（D，ms）=（D（p）2+ms（p）2），（17）p∈I其中，n是梯度算子。4.3. 各向异性平滑项我们还将色素密度ρ正则化为局部平滑，同时考虑皮肤纹理。在以前的工作[41，11]中，使用引导双边滤波或TV-11项来获得漫射色度的平滑但保留边缘的估计。由于在我们的例子中，我们求解的是颜料密度ρ，它是产生漫射色度的物理量，因此我们对它们施加各向异性平滑：ΣEH（ρ）= （e− <$ρm（p）<$$>ρ m（p）<$2+e− <$ρh（p）<$$> ρ h（p）<$2）。p∈I（十八）argminLlm，ρ，D，msEO+λSES+λHEH+λGEG（15）4.4. 全局着色项当ρm（p）≥0，ρh（p）≥0时，其中，我们在等式中定义照明环境图L的SH系数Llm（6）、颜料密度ρ={ρm，ρh}在方程中（14），等式（15）中的漫射阴影D（3），以及43213112公式中的镜面反射系数ms（七）、λS、λH、λG是正则的。用于平衡数据项EO，各向同性的larization权重当照明色度与漫反射色度相似时，镜面高光分离中出现模糊性。在这种情况下（可能发生在面部），很难将特殊反射和漫反射的贡献分开。为了解决这种模糊性，我们利用了关于人脸的额外先验信息，其形式是基于几何的近似，43213113pLL LLHpm mhM面部几何形状此先验用于约束漫反射着色的估计，这反过来又决定了镜面反射高光的大小。虽然照明分布可以是任意的，但是漫射阴影的外观可以由低维模型来描述。朗伯反射函数充当照明环境的低通滤波器，并且可以建模为表面法线方向的二次多项式[23]：D（p）=nTMnp，（19）其中np=（x，y，z，1）T是像素p{Llm，ρ，D，ms}是在其他未知数的值固定的情况下顺序估计的。迭代优化，直到目标能量的变化低于一个门槛 我们设置正则化权重的值{λS，λH，λG}到{0. 1，0。1，0。001在我们的实验中我们将Llm初始化为均匀白色照明2，使用[41]的结果。通过将输入图像I投影到log-RGB空间中的σm-σh平面来初始化D和ρ（在补充材料中进一步描述）：⎛ ⎞logD（p）。Σ⎝ρ （p）=1，logσ，logσ−1logI（p），（22）M是对照度分布进行编码的对称4×4矩阵。根据[23]，M由Llm的前九个系数确定为：ρh（p）其中1=（1，1，1）T是log-RGB中的阴影方向⎛22c1升2−2c1L21c2L11空间M= 1L2−2−c1L22c1L2−1c2L1−1c121c12−1c320c210c2L 11c 2L1−1c 2L 10c 4L 00−c 5L 20cl= 0。429043，c2= 0. 511664，c3= 0。743125，c4= 0。886227，c5=0。247708⎟⎠（二十）更新ρ和D：我们首先估计ρ和D，Ll m和ms。为了满足ρ的界限：ρm（p）≥0，ρh（p）≥0，（23）我们将ρ的估计简单地表示为基于此，我们将全局着色项定义为′=logρm，ρ′=logρh并优化目标函数-ΣEG（D）=p∈ID（p）−nTMnp在Eq。(15)高斯-牛顿法为了正确处理具有饱和图像值的像素，我们在计算其中，使用[39]的基于几何的单图像3D面部重建算法来获得。尽管人类皮肤的漫反射率并不完全符合朗伯模型，但我们发现该全局阴影项有助于提供良好的近似解，特别是在上述模糊的情况下。我们注意到，相关的阴影约束已被用于各种低级视觉问题，包括3D重建[43，15]和内在图像分解[16，14]。在[14]中，表面法线1的空间被划分为小的bin，并且根据它们已知的重构表面方向将像素分配给它们数据项EO。对于部分饱和像素对于两个非饱和通道，尽管观察I是不完整的，但是仍然可以基于它们与等式（1）中的皮肤呼吸模型的相交从非饱和通道准确地估计正确的皮肤呼吸A。(14)（其形成如补充材料中所述的log-RGB空间中的平面），以及平滑度项EH，其传播来自非饱和区域的估计的色素密度ρ更新Llm：然后我们通过优化EO+EG来固定ρ，D，ms以更新SH近似Llm。EO可以表示为二次能量Kinect摄像头一种非局部平滑约束ΣE=ems（p）m（p）LTY（ω）+A（p）D（p）−I（p）<$，应用于同一面元内像素的漫射系数，这是基于以下假设：Op∈IslmLM p2（二十四）反应表明相似的扩散系数。 我们的工作就像-WISE将非局部约束置于漫反射上，但是利用面部几何形状的统计模型，而不是依赖于深度传感器。4.5. 优化我们最小化Eq的目标函数。(15)使用 交替优化方案，其中参数1极角和方位角（θ，φ），θ∈[0，2π]，φ∈[0，π/2]。其中A（p），D（p），ms（p）和Ylm（ωp）已被固定。类似于E0，等式（1）中的全局着色项E0(21)也可以表示为具有固定D的二次能量。因此，该优化问题可以以封闭形式求解为：ALlm−I2除L 00 = 3外，所有值的初始球谐系数均为零。5448811、ρCL⎞43213114其中A和B是两个P×K矩阵，P表示图像中的人脸像素数，K表示SH系数Llm的数量。更新ms：第三，我们用固定的Llm，ρ和D解argminEO+ λSES。（二十六）Ms该能量函数也是用高斯-牛顿法优化的.5. 结果在本节中，我们评估所提出的方法。通过在使用主动外观模型[3]检测到的面部标志上应用Grab- cut [24]来自动分割面部区域。不遵循所提出的皮肤模型的面部特征，例如牙齿和眼睛，被从使用界标的分割区域中排除。使用实验室捕获的图像进行定量比较和使用真实自然图像进行定性比较来评估面部图像的镜面高光去除的结果。补充材料中提供了其他图像的结果，其中还包括照明色度估计的实验，这是我们方法的副产品。我们将我们的方法的镜面高光去除结果与四种现有技术进行比较[34，41，11，16]。 ILD [34]使用伪漫射图像来生成无镜面反射图像，然后通过无镜面反射图像与输入图像之间的比较来去除镜面反射。MDCBF [41]将伪漫射图像作为应用边缘保持滤波器来估计最大漫射色度的指南。在我们的工作中，我们使用MDCBF [41]的结果来初始化ms DarkP [11]在初始化伪漫射图像之前利用暗通道。FacePL [16]将普朗克轨迹视为软约束以及皮肤反射的统计属性，以去除镜面高光。ILD [34]、MDCBF [41]和DarkP [11]假设校准的均匀照明颜色，并且FacePL [16]在未知的均匀照明颜色下工作。5.1. 实验室图像图2给出了镜面高光去除的定量评估，其中地面真实结果如图2所示。2（h）是通过交叉极化获得的。在图1中的输入图像中考虑了三种不同的照明配置。2（a），即校准的均匀白色照明，三个3000K色温灯，一个3000K灯+2个6000K灯。在均匀的白色照明下， [34]和[11]因为他们的伪，分散的假设，即漫射色度是局部均匀的[34]并且漫射分量的暗通道是零[11]，这对于面部图像不成立。MDCBF[41]和FacePL [16]的结果较好，但仍存在特殊反射，特别是在鼻部周围区域;（f）中的结果显示，通过考虑漫射肤色模型，与以前的方法相比，有了显著的改进，并且我们在（g）中的结果通过引入全局阴影项E G显示出进一步的改进。对于第二输入图像中的未校准但均匀照明的情况，由于未知的照明色度，大多数其他方法的结果在质量上降级。我们的方法在没有全局着色项的情况下执行得不好，因为3000K灯的色度接近皮肤的色度，这增加了镜面反射和漫反射分量之间的模糊性。在考虑全局阴影项后，我们的方法更好地估计照明颜色，这导致改进的镜面高光分离。对于第三种照明配置（包括不同颜色的光源），来自前方和右侧的6000K照明会产生灰色，具有镜面反射的皮肤像素。因此，假设校准的白色照明的方法高估了镜面分量，因为当它们具有相似的色度时，它们不能区分镜面反射和漫反射。由于我们的黑色素-血红蛋白皮肤颜色和定向照明的模型，（f）的结果显示出改善，除了来自3000 K灯的高光之外，其仍然存在。在（g）中通过利用全局阴影项来去除该高光，该全局阴影项利用了其他面部像素的漫射阴影估计。最后两种照明配置的估计照明环境和使用镜像球体捕获的对应地面实况环境图（并表示为4阶SH）在对应镜面高光分量的右上角呈现用于定性比较。5.2. 自然图像图3显示了在不同照明环境下捕获的面部图像上与[34，41，11，16]的几个定性比较。我们注意到，由于光源的数量和空间范围（例如，窗户的光线）。补充材料中提供了其他图像的结果。第一行和第二行中的输入图像在均匀校准的照明颜色下捕获;第三和第四行中的图像是用统一但未校准的照明颜色捕获的;第五行和第六行中的图像是具有方向变化的照明颜色的示例。43213115(a) 输入（b）ILD [34]（c）MDCBF [41]（d）DarkP [11](e)FacePL [16]（f）Oursw/o EG（g）Ours（h）Ground truth图2.镜面高光去除的定量评估（a）输入图像。（b-h）通过（b）ILD [34]，（c）MDCBF [41]，（d）DarkP [11]，（e）FacePL [16]，（f）我们的方法，没有全局阴影项EG，（g）我们的方法，以及（h）来自交叉偏振的地面真实值分离的漫射和镜面分量。三幅输入图像的照度分别为：校准后的均匀白色;三盏色温为3000 K的灯;一盏3000 K的灯和两盏6000 K的灯。在分离的镜面反射分量的右上角分离的镜面反射分量的RMSE（为了更好地查看，重新缩放了100）在右下角给出我们的方法的优点之一是，它可以更准确地处理部分饱和的像素，例如第一张图像中鼻子和前额周围的像素，与其他方法相同。除了部分饱和的区域，我们的方法也优于其他人，即使在校准照明下，如第二个图像所示。虽然我们的皮肤模型没有对面部毛发进行建模，但是我们的方法在这些区域中仍然表现得很好，因为面部毛发包含很少的镜面反射并且具有低像素强度。由于缺乏光照校准，以前的方法在第三和第四幅图像上的漫射结果包含大量的镜面反射。注意，由于利用了全局阴影项EG，因此即使在非线性情况下，我们的方法也获得了良好的结果。第三图像的发光色度类似于皮肤颜色。由于DarkP [11]中的暗通道先验在大多数面部图像中不成立，因此该方法通常过度估计镜面反射，除了第四图像，其深红色照明导致蓝色通道几乎变为零，从而满足暗通道先验。第五张和第六张图像是在不同的照明颜色下捕获的，如结果所示，这对于先前的技术是有问题的。请注意，我们的方法完全去除了第六幅图像中前额右侧的镜面高光，这是由于全局阴影约束，由色度类似于皮肤的照明引起的。5.597.969.383.824.853.876.812.8210.43.454.076.022.543.932.962.001.982.3143213116(a) 输入（b）ILD [34]（c）MDCBF [41]（d）DarkP [11]（e）FacePL [16]（f）我们的图3.自然光照环境下的镜面反射高光去除效果（a）输入图像。（b/c/d/e/f）通过以下方法估计的漫射图像(b) ILD [34]，（c）MDCBF [41]，（d）DarkP [11]，（e）FacePL [16]和（f）我们的方法。6. 结论提出了一种消除人脸图像中高光反射的方法。通过联合分离镜面高光和估计照明环境，同时利用人脸上的物理和统计先验，我们的方法证明了相对于传统的最先进方法的明显改进，特别是对于处理部分饱和像素，变化的照明颜色和模糊。由照明色度和漫射色度之间的相似性引起的。确认这项工作是陈莉在微软研究院实习时完成的.作者感谢所有出现在我们测试图像中的模型。昆明市部分得到中国国家重点研究&发展计划（2009年第106号）的支持 。 2016YFB1001403 ） 和 国 家 自 然 科 学 基 金（U1609215）。43213117引用[1] R.巴伊奇Lee和A. Leonardis用彩色图像分割检测扩散和镜面反射界面反射和互反射。计算机视觉国际杂志，17（3）：241[2] S. Bianco和R. Schettini使用面孔的自适应颜色恒定性IEEE Trans. 帕特Anal. 还有Mach英特尔，36（8）：1505[3] T. F. Cootes，G. J. Edwards和C. J·泰勒主动应用模型。IEEE传输模式分析马赫内特尔，23（6）：681[4] S. Crichton，J.Pichat，M.Mackiewicz，G.Y. Tian和A.C.赫尔伯特用于照明恢复的皮肤色度色域。第六届欧洲会议关于图表中的颜色，Imaging，and Vision，CGIV2012，Amsterdam，the Netherlands，May 6-9，2012，pages 266 -271，2012.[5] G. D. Finlayson和G.谢弗使用约束二色反射模型求解颜色恒常性Int. Journal of Computer Vision，42：127[6] D.福赛斯一种新的颜色恒常性算法。Int. Journal ofComputer Vision，45（1）：5[7] Hanrahan和W.克鲁格由于次表面散射引起的分层表面的反射。ACM事务处理图表，1993年。[8] T. Hansen，M.Olkkonen，S.沃尔特和K.R. Gegenfurtner记忆调节颜色外观。Nature Neuroscience，9（11）：1367[9] Y. Imai，Y.加藤H. Kadoi，T. Horiuchi和S.富永。基于高光检测的多光源估计。In R. Schettini，S.富永，A. Trameau，编辑，计算彩色成像，第6626卷，第85-98页2011年。[10] H. R. V. Joze和M. S. Drew.基于示例的颜色恒定性和多重照明。IEEE Trans. Patt. Anal.还有Mach英特尔，36（5）：860[11] H. Kim，H.Jin，S.Hadap和我。奎恩使用暗通道先验的镜面反射分离在CVPR，第1460[12] T. Kim和K.洪一种实用的基于单幅图像的阴影光照分布估计方法.在Proc. Intl.计算机视觉会议，第I：266 -271页，2005年。[13] G. Klinker，S. Shafer和T.卡纳德彩色图像中高光的测量 Int. Journal of Computer Vision，2（1）：7 -32，1988。[14] K. J. Lee，Q. Zhao，X. Tong，M.贡，S. Izadi，S.联合Lee，P. Tan，and S.是林书从图像#43;深度视频估计本征 图 像 序 列 。 在 Proceedings of the 12 th EuropeanConference on Computer Vision -计算机视觉第12届欧洲会议第六，ECCV史普林格出版社[15] C. Li，S. Su，Y. Matsushita，K. Zhou和S.是林书带阴影约束的贝叶斯散焦景深算法。图像处理，IEEETransactions on，25（2）：589[16] C. Li，K. Zhou和S.是林书具有人脸先验的内在人脸图像分解。在ECCV（2014年5月[17] Y. Li，S. Lin，H. Lu和H.- Y.沈纹理场景中的多线索照明估计。在Proc. Intl. Conf. 计算机视觉，第1366-1373页，2003年。[18] B. Mazin，J.Delon和Y.古索从普朗克轨迹上的投影估计照度 IEEE传输图像处理。，24（6）：1944[19] A. 莫雷诺湾费尔南多湾Kani，S.Saha和S.卡拉奥卢颜色校正：一种基于记忆颜色的加权vonkries模型。在计算彩色成像中，计算机科学讲义第6626卷，第1652011年。[20] K. Nishino，P. Belhumeur和S.纳亚尔利用人眼反射进行变光照条件下的人脸识别。在Proc. Intl.计算机视觉会议，第I：519-526页，2005年。[21] K.西野Z. Zhang和K.池内从稀疏图像集确定视相关图像合成的反射率参数和照明分布。在proc 国际机场Conf.计算机视觉，第599-606页，2001年。[22] T. 冈部岛Sato和Y.佐藤球谐函数与Haar小波：从阴影中恢复光照的基础。正在进行IEEE会议计算机视觉和模式识别，第I：50-57页，2004年。[23] R. Ramamoorthi和P.汉拉汉辐照度环境贴图的有效表示。在第28届计算机图形和交互技术年会的会议记录中，SIGGRAPHACM。[24] C. Rother ， V. Kolmogorov ， and A. 布 莱 克 ”grabcut”:Inter- active ACM事务处理图表，23（3）：309-314，Aug. 2004年[25] I.佐藤，澳-地Sato和K.池内来自阴影中亮度的照明分布：阴影区反射特性未知时照度分布的自适应估计。在Proc. Intl.计算机视觉会议，第875-883页，1999年。[26] I.佐藤，澳-地Sato和K.池内来自阴影的照明分布。 在proc IEEE会议 计算机视觉和模式识别，第306-312页，1999年。[27] I.佐藤，澳-地Sato和K.池内从阴影中的亮度恢复照明分布的稳定性问题 在proc IEEE会议 计算机视觉和图案识别，第II：400-407页，2001年。[28] I. 佐藤，澳-地Sato和K.池内阴影的照明IEEE Trans. 模式分析和机器智能，25：290 -300，2003。[29] S. A. 谢弗用颜色来区分反射成分。颜色Res. Appl，10：210 -218，1985.[30] M. Storring，E. Granum和H. J·安德森。利用人类皮肤的高光估计光源颜色 In In Int. 图形和图像处理中的颜色会议，第45-50页，2000年。[31] P. Tan，S. Lin和L.权纹理表面上高光反射的分离在CVPR，第2卷，第1855[32] P. 谭，S.林湖，澳-地Quan和H.-Y. 沈通过照明约束修复去除高光。载于ICCV，2003年。43213118[33] R. Tan和K.池内用线性基函数分解纹理表面的反射分量。在CVPR，第1卷，第125-131页，第1卷。1，2005年。[34] R. Tan和K.池内利用单一图像分离纹理表面的反射分量IEEE Trans. Patt. Anal.还有Mach英特尔，27（2）：178[35] R. T.谭，K. Nishino和K.池内通过反强度色度空间的颜色恒常性。光学学会杂志Am. A，21（3）：321 -334，2004年3月。[36] N. Tsumura，N. Ojima，K.佐藤M.白石H.清水H. Nabeshima，S.Akazaki，K.Hori和Y.三宅通过提取皮肤中的血红蛋白和黑色素信息进行基于图像的皮肤颜色和纹理分析/合成。ACM事务处理图表，22（3）：770[37] H. Wang，S. Lin，X. Liu和S. B.康分离虹膜图像中的反射用于照度估计。在proc 国际机场Conf. 计算机视觉，第1691-1698页，2005年。[38] Y. Wang）和雅江翠雀花（D.萨马拉斯从任意已知几何形状的单个图像估计多个在Proc. European Conf.计算机视觉，LNCS 2352，第272-288页，2002年。[39] F. 小杨，J.小王， E. 谢赫特曼L. 布尔德夫 和D. Metaxas 用于3d感知人脸组件转移的表情流程。ACM Trans. Graph. ，30（4）：60：1[40] J. 扬湖，澳-地Liu和S.Z. 李在hsi色彩空间中分离镜面反射和在计算机视觉研讨会（ICCVW），2013年IEEE国际会议上，第891-898页[41] Q. Yang，S. Wang和N.阿胡佳使用双边滤波实时去除高光。ECCV，第6314卷，第87-100页。2010年。[42] Y. Yang和A. L.尤尔。来源于shading正在进行IEEE会议计算机视觉和模式识别，第534-539页，1991年。[43] L- F. 余，S.-K. 杨英W. Tai和S.是林书rgb-d图像的基于阴影的形状细化。在IEEE计算机视觉和模式识别会议（CVPR），2013年。[44] Y. 张和Y.-H. 杨多光源方向检测及其在图像合成中的应 用 。 IEEE Trans. on Pattern Analysis and MachineIntelligence，23：915
我的内容管理
展开
