从单一图像中的人脸进行相机辐射校准的方法与皮肤颜色特性无关的实验验证

43213117图像中人脸的辐射定标陈莉1林瑞麟2周坤1池内胜212浙江大学CAD CG国家重点实验室微软研究院摘要我们提出了一种方法，从一个单一的图像，其中包含一个人的脸的相机辐射校准。该技术利用了由于皮肤内的颜料而存在于某些皮肤渐变中的低秩属性。该属性在用非线性相机响应函数捕获的图像中变得失真，并且我们通过求解最佳地恢复图像中的该低秩属性的逆响应函数来执行辐射校准。虽然这项工作利用了皮肤色素的颜色特性，但我们表明，这种校准不受场景照明颜色或相机滤色器灵敏度的影响。我们的实验验证了这种方法对各种图像包含人脸，并表明，人脸可以提供一个重要的来源，现有的辐射校准技术执行不佳的图像中的校准数据。1. 介绍在许多计算机视觉算法中，图像强度被假定为与场景辐射度线性相关。 然而，为了动态范围压缩的目的，大多数成像设备的相机响应函数（CRF）引起这两个量之间的非线性映射。为了解决这个问题，辐射定标的目的是反转图像中的这种非线性映射，从而恢复图像强度和场景辐射之间的线性关系。辐射校准通常使用包含相对辐射值的各种已知差异的图像来执行，例如来自校准目标[24，28]，使用不同曝光设置捕获的图像序列[3，6，20，25，35]，或在不同的照明[10，21，29]。如果相机在手边并且可以拍摄适当的图像，则可以容易地应用这些方法。但是在许多情况下，人们希望处理由未知相机捕获的图像，以用于单个任意图像作为输入。现有的单图像技术都依赖于找到表现出某些属性的图像区域，例如局部平面辐照度[26]，各种强度水平的均匀区域[32，33]，或边缘处均匀区域之间的颜色混合[18，30]或由模糊引起[31，36]。然而，在许多图像中，可以利用这些场景属性可靠地提取的区域的数量可能相当有限，从而降低了这些技术的有效性。为了帮助处理这个问题，我们建议在这项工作中，利用频繁出现的人脸照片，利用他们的辐射校准。人们发现，人脸存在于大部分的手机相机图像[8]和Flickr1照片[1]中。我们表明，类似于校准目标，人脸包含已知的辐射特性，可以利用辐射校准。人类皮肤的颜色来自两种独立的色素的组合，即表皮层中的黑色素和真皮层中的血红蛋白。从黑色素和血红蛋白的空间分布，我们发现，存在一个低秩的性质，在某些皮肤梯度。然而，当强度值被相机响应函数非线性变换时，这些梯度集在图像中失去了它们的低秩属性。对于辐射校准，我们解决了一个逆响应函数，恢复这种低秩属性，从而撤销非线性映射。为了分析皮肤纹理梯度，我们的方法通过本征图像分解从图像中提取皮肤纹理值，本征图像分解是一种用于分离图像的反射层和阴影层的技术。虽然在这项工作中利用了人类皮肤的颜色特性进行辐射校准，但我们表明皮肤梯度的低秩特性对场景照明和相机的颜色滤波器灵敏度是不变的。进一步证明了具有低秩性质的校准对于弱镜面反射是稳定的，该镜面反射通常存在于大部分面部上并且难以去除。通过这种方法，我们的方法可以可靠地进行辐射校准的图像是具有挑战性的其他单图像技术。这些校准图像是不可用的。这种需要已经激发了辐射校准的工作，只用了一个1Flickr：http://www.flickr.com/。43213118表皮真皮(a)（b）（c）（d）一个人皮肤颜色的变化。根据修改的朗伯-比尔定律[9]，其通过一维线性传输理论对分层表面的漫反射率进行建模，像素p处的肤色可以表示为如下[34]：图1.皮肤结构和色素组合ponents。（a）两层皮肤结构（借用自http://www.health.auckland.ac.nz/courses/dermatology/1-intro/structure-function-kp.html）。（b）原始（线性）面部图像。(c)它的黑色素成分。（d）其血红蛋白成分。R（p，λ）= exp{ρm（p）σm（λ）lm（λ）+ρh（p）σh（λ）lh（λ）}R（p，λ），（一）其中λ表示光的波长，R和R是入射光谱辐照度和反射光谱辐射度。diance。lm和lh是光子在表皮层和真皮层中的平均路径长度。 ρm（p），ρh（p），σ′，米2. 相关工作最常用的辐射校准方法σh是颜料密度和光谱截面，黑色素和血红蛋白。我们用RGB通道表示波长相关的黑色素和血红蛋白散射项σ′、σ′、lm、lh，如所做的Mh振动拍摄具有变化曝光作为输入[3，6，20，25，35]。通过此输入，在[34]中，′¯′¯¯′¯¯′¯通过检查如何恢复相机响应功能σm（λ）lm（λ）={σm，Rlm，R，σm，Glm，G，σm，Blm，B}，（2）′¯′¯¯′¯¯′¯图像强度相对于序列中相应像素的曝光而改变。代替变化的曝光，图像序列可以等效地以变化的照明拍摄[10，21，29]。通过图像对齐可以消除对固定摄像机位置的需求。因此，图像序列可以由同一场景的不同视图组成[5，11，19，22]或从照片集合中编译[4，27]。与这些方法不同的是，我们专注于更广泛适用的解决方案，只需要一个单一的图像作为输入。σh（λ）lh（λ）={σh，Rlh，R，σh，Glh，G，σ h，Blh，B}.（三）然后，我们将黑色素和血红蛋白的相对吸光度向量σm、σh定义为：σm=exp{σ<$′m，R<$lm，R，σ<$′m，G<$lm，G，σ<$′m，B<$lm，B}，（四）σh=exp{σ<$′h，R<$lh，R，σ<$′h，G<$lh，G，σ<$′h，B<$lh，B}.（五）由于R=AR，我们可以将其与Eq. (1)，方程式(4)和等式（5）将皮肤弹性A表示为A=σρmσρh，（6）Mh用于辐射校准的单图像方法各自基于图像先验，其不针对用非线性相机响应函数捕获的照片而被维护。这些图像先验包括均匀着色区域之间的颜色线性混合[13，18，30，31，36]，噪声分布的各种属性[23，32，33]，以及局部平面辐照点的线性强度分布[26]。为了辐射校准图像，这些方法求解逆响应函数，该逆响应函数在将其应用于捕获的图像之后重新建立它们各自的图像先验。在这个单一图像方法的一般框架内，我们提出了一种新的图像先验的基础上，某些皮肤纹理梯度的低秩结构。与使用已知颜色和图案设计的人工校准目标[24，28]相比，人脸自然出现在许多照片中，使这种梯度先验成为辐射校准的有用线索。3. 肤色模型如示于图如图1（a）所示，人体皮肤可以由两层结构物理建模，该两层结构由含有黑色素作为其主要色素的上表皮层和含有血红蛋白作为其主要色素的下真皮层组成。这两种色素的不同密度导致了人与人之间的肤色差异和空间差异。43213119其中σm和σh都是RGB向量。一个校准的面部图像的黑色素和血红蛋白成分的图示如图12所示1（c）和（d）段。4. 算法公式我们用R表示图像辐照度，也称为场景辐射度，用I表示测量的图像强度。相机响应函数f将图像辐照度R映射到图像强度I，I（p）=f（R（p）），（7）其中p是像素索引。辐射定标的目的是求逆响应函数g=f−1（8）从图像强度I的观察。在许多以前的工作[10，11，18，30，23，33，32]之后，我们使用[7]中提出的相机响应的PCA模型来表示逆响应函数gg=g0+Hc，（9）其中g0是平均逆响应，H是一个矩阵，其列由前N=5个特征向量组成，c是PCA系数的N43213120M4.1. 皮肤色素先验图像辐照度R可以由其固有图像分量的组成来表示：R=A×D，（10）10.90.80.70.60.50.40.30.20.10相机响应函数00.10.20.30.40.50.60.70.80.91归一化场景辐射度皮肤色素先验Ep曲线合成相机响应函数10.90.80.70.60.50.40.30.20.10其中，A是反射率（λ），D是阴影。合并等式（10）Eq.（7）和等式（8）我们有A×D = g（I）.（十一）方程的一阶偏导数(11)是在垂直和水平方向上拍摄的。对于水平方向，偏导数表示为<$A×D+A×<$D=g′（I）<$I.（十二）∂x ∂x ∂x(a)（b）（c）图2. 各种相机响应函数和逆响应函数的皮肤色素先验Ep的能量分布。（a）中的原始面部图像用于合成具有（b）中的响应函数的非线性图像。（c）中的能量分布表明，当逆响应函数（y轴）与合成相机响应函数（x轴）正确匹配时，E p最小。响应函数g，因此我们将皮肤色素先验定义为以下秩最小化问题：E（g）=κm2+κh2，（16）然后除以Eq. (12)由等式(11)并删除符号x以简化符号，我们有pκmκh1A+（十三）A、D、g（I）根据等式(6)皮肤色素可用两种主要色素的组合表示为A=σρmσρh。为了计算CRAA，我们确定了其中，κm1，κm2，κh1，κh2是前两个奇异值矩阵M和N分别。对于秩最小化的测量，奇异值的比率已经被显示出比其他度量更鲁棒，例如奇异值之和[13]。关于仅针对单一色素识别具有密度变化的皮肤位置的细节在第2.2节中给出。5.1中，并且在Mh只有一种颜料的密度在相邻的颜料之间变化，ing像素。对于黑色素密度变化的情况，其中黑色素密度的差异是1/2，我们有Aσρm+秒五点二。该皮肤先验的有效性用以下来说明：图中的示例。2，其中，(a)有15种不同的相机响应函数{f，f，. f}，如（b）所示。 相机响应函数-=m hmh1 2 15Aσρmσρh项是所有伽马函数（I=Rγ），Mh=σ− 1。（十四）并入等式(14)进入Eq. (13)并在两侧进行对数运算，得到以下结果：logσ= log（（十五）mg（I）D让我们在等式中表示<$Ig′（I）− <$D+ 1（15）P（I）。范围γ∈[0. 三一0]。 对于这些响应函数，在相应的逆响应函数{g1，g2，.图15示出了（c）。 每个元素都是Ep（gi|fj（R）），其中i是从下到上的垂直索引x，j是从左到右的水平索引而右环行理想情况下，沿能量分布对角线的条目为Ep（gk|fk（R））= 0。如（c）所示，沿对角线延伸的暗线与理想的结果。g（ I）D归一化图像强度合成逆相机响应函数143213121由于σm和P（I）都是RGB空间中的向量，因此等式(15)表示logP（I）是正确估计的逆响应函数g的logσm的标量倍数。类似地，对于相邻像素之间的血红蛋白密度变化的情况，正确的逆响应函数g应导致logP（I）是logσh的标量倍数。在根据具有密度变化的颜料将所有P（I）收集到两个不同的矩阵M和N之后，对于正确的逆响应函数g，M和N的列向量将分别都是向量logσm和log σh的标量倍数。换句话说，对于正确的g，M和N的秩都是1。为了估计逆比值A/A有两个重要的性质和皮肤色素先验Ep。特性1（颜色不变性）Δ A/A对于不同的照明颜色和滤色器灵敏度是不变的。由于彩色照明和/或摄像机滤色器的不同灵敏度，成像的皮肤颜色可能与实际皮肤颜色这种变化可用冯·克里斯模型来表示，即. Rout=diag（r）Rin，其中r表示色移。在这种情况下，反射率分量A不是皮肤反射率，而是皮肤反射率和色移r的组合，表示为43213122Γ− ΓMhMA=Γσρmσρh。因此，计算机视觉技术弱镜面反射高光稳定性0.090.080.1利用对皮肤反射率的约束[34，16，17，1]通常需要颜色校准作为预处理。相比之下，在我们的工作中不需要颜色校准。消除色移r并不改变0.090.080.070.060.050.040.030.021镜 面反 射 高光 比 例010.070.060.050.040.03逆 响应 函 数Ga m m aA/A：A=一σρm+σρhσρmσρhmhmhΓσρmσρh(a)（b）（c）图3.各种尺度的镜面高光的皮肤色素先验E p的能量分布。（a）具有镜面反射的原始面部图像mH反射。（b）使用以下方法获得的相应漫射图像：=σ− 1。（十七）因此，比率E_A/A对于颜色偏移是不变的，并且可以在没有颜色校准的情况下应用皮肤色素先验E_p属性2（镜面高光稳定性）皮肤色素先验Ep对于弱镜面高光是稳定的。皮肤色素先验是在漫反射上配制的。虽然具有强高光的区域通常被皮肤检测方法忽略，或者可以被自动识别和移除，但剩余的皮肤可能包含弱的镜面反射，这通常存在于面部上。在这里，我们通过实验表明，建议的皮肤色素前Ep仍然是稳定的，这些弱镜面高光。我们捕获了具有特殊高光的原始面部图像R（图3（a）），并且还通过交叉偏振获取了其漫射分量Rd（图3（b））。从这两幅图像中，我们通过 Rd+α（ R-Rd）（α∈[0，1]）粗略地合成了具有不同高光强度的这张脸。一γ= 1/2的γ函数G。2作为凸轮-时代响应函数然后我们计算了交叉极化(c)不同尺度下Ep的能量分布和γ∈[1，3]的γ逆响应函数。其中H是Heaviside阶跃函数，g′（I）是通过在I∈[0，1]范围内对g进行采样来数值计算的。4.3.经验先验在摄像机响应函数的空间[7]中，该空间内的某些区域在统计上比其他区域更有可能。如[18，23]中所做的那样，我们将这种可能性作为逆响应函数的经验先验。使用PCA模型对方程中的逆响应函数进行分析。(9)，我们计算DoRF数据集[7]中每个逆响应函数g的相应PCA系数cc=（HTH）−1（g−g0），（19）其中g0是数据集中的平均逆响应函数。然后使用期望最大化算法，我们将多变量高斯混合模型拟合到PCA系数集：能量Ep（g| G（Rd+α（R-Rd））），具有不同的假设逆响应函数，在伽马之间采样ΣKp（g）=1N（g;μ，μ），（20）Kk k函数，其中γ∈[1，3]。由此产生的能量分布如图所示。3（c）款。为在不同的镜面高光尺度α下，最小能量与G的正确逆响应函数（γ= 2. 2），表明稳定性的皮肤色素之前Ep弱镜面高光。直觉上，这个阶段-由于对λ A/A的镜面扰动与λ A/A的值相比相对较小，因此它们基本上不影响奇异值分解和秩最小化，所以出现了奇异性。4.2.单调性先验由于摄像机响应函数是单调的，因此总是存在逆响应函数g。为了避免琐碎的解决方案（例如，一个无效的反响应函数）或无效的解决方案，我们使用一个软单调性先验，要求反响应函数g′（I）的导数是正的，k=1其中N表示均值为μk的正态分布，协方差矩阵为μk。我们像[18，23]中那样设置K= 5。这个经验先验的正则化能量最终表示为EG（g）= −log p（g）。（二十一）4.4. 目标函数与优化上述先验被组合成以下目标函数：E（g）=EG（g）+λpEp（g）+λmEm（g），（22）其中λp和λm是Ep的正则化系数m，分别。使用逆的表示方程中的响应函数(9)，我们将问题转化为0.830.62.50.420.21.5皮 肤色 素 优先E p43213123[13]：ΣEm（g）=我H（−g′（I）），（18）估计C的N系数。公式（22）是迷你的。用数值计算的导数的L-BGFS来实现。虽然在[13]中报告了EMoR模型[7]43213124不适合基于梯度的凸优化，我们发现L-BGFS在我们所有的实验中工作得很好。从六幅不同年龄和性别的人脸图像中经验性地设置正则化权重λp和λm10.90.80.70.60.50.40.30.2色相直方图原始图像{R1，R2，. R6}被捕获并且具有线性相机响应。合成非线性图像fj（Ri），(a)（b）第（1）款0.10050100150200250300350色调（c）第（1）款根据每个相机响应函数fj的原始图像在DoRF数据集中[7]。 对于有效权重，能量E（g，j|fj（Ri））应小于能量E（gk|fj（Ri））。 通过求解以下优化问题：Σ Σ ΣargmaxH（E（gk|fj（Ri））−E（gj|fj（Ri），图4.漫射皮肤检测和单一色素变化识别的图示。(a)具有从拟合的面部几何形状提取的潜在皮肤区域F（b）被图C覆盖的检测到的皮肤像素，其中黄色表示仅黑色素变化，红色表示仅血红蛋白变化。(c)（a）中的潜在皮肤区域的归一化色调直方图λp，λmRifjgk（二十三）组合值表示伪伪随机数，而不是真随机数其中H是Heaviside阶跃函数，权系数确定为λp=30000和λm= 1000。5. 实现细节在本节中，我们提供了关于识别皮肤位置的实现细节，其中仅sin的密度因为它们是从未校准的IM计算出来年龄，但是色素密度仍然可以如补充材料中所解释的那样从伪彩色中计算。然后对log A进行独立分量分析（ICA），以获得伪色素向量σm、σh。每个漫反射像素的色素密度ρm和ρh可以通过求解以下最小二乘法来计算：角色素的变化，并在计算的比值Δ D/D。这些组件使用的面部几何形状由统计变形模型拟合，用于单图像3D面部重建。问题：.σmΣ。ρΣσhmρh=A（p）.（二十四）结构[37]和所需的面部标志使用主动外观模型[2]检测。根据这些色素密度，单个色素密度变化的图被构建为5.1. 识别单一颜料密度变化⎪⎨σm，if|ρm|>thm|ρh|<11h，皮肤色素先验仅适用于Pendando渐变是由单一色素引起的为了识别这种变化，我们检测漫射皮肤像素，计算它们的色素密度，C（p，q）σh，如果|ρm|th h，|> thh,（二十五）ρm和ρh，然后构造一个单色素映射C密度根据计算的颜料密度而变化关系的对于未校准的输入图像I，通过将拟合的面部几何形状投影到I上来获得潜在皮肤像素的区域F。为了检测F内的漫射皮肤像素，我们采用[1]的自适应皮肤检测方法皮肤区域F被转换到HSV颜色空间，其中色调直方图的最多填充的仓P被用于识别皮肤颜色。只有那些其色调分量位于H∈[P−ω，P+ω]内的像素被选择为皮肤像素。忽略根据V VLV > VH太暗或太亮的皮肤像素以避免潜在的噪声或镜面反射区域。在[1]中，P的位置被约束为位于一定的色调区间内，但我们消除了这个骗局，补充说明照明颜色和相机在收集所有漫反射皮肤像素后，我们计算颜料密度，并识别相邻像素对之间的单个颜料密度变化。 我们在Sec中应用固有图像分解。5.2在未校准的图像I上，以获得伪双折射A。德-归一化频率43213125图4示出了漫射皮肤检测的示例和单个色素变化的图C。阈值被设置为ω= 18，VL和VH在分选的V分量的25%和75%处，tlm和thm在分选的V分量的10%和95%处。|ρm|，以及在10%和95%的分选率下的tlh和thh|ρh|.5.2. 阴影变化假设漫反射阴影是平滑的并且其空间梯度为零，则可以将比率Δ D/D设置为零。为了更准确地计算Eq.(15)相反，我们利用几何引导的本征图像分解[14，15]将场景辐射R=g（I）分解为皮肤辐射A和漫射阴影D，如等式（1）所示。（十）、这个问题可以在对数RGB空间中公式化为：rp=ap+dp，（26）其中r、a、d是场景辐射率R、皮肤辐射率A和阴影D的平方。分解采用传统Retinex模型[12]和非局部着色约束，其中共享相同方向的表面法线具有相似的着色[14]。 因此，43213126p，q通过以下最小化来计算阴影分量D：Σ我们的方法仅依赖于识别单个色素密度变化来获得可靠的校准，因此它对面部区域的大小不敏感，argminDDp，q（p，q）∈（dp−dq）2+ωa（（rp-dp）-（rq-dq））2]精确的人脸检测此外，从理论上讲，当信息可从多个Σ+（p，q）∈Ndp，q（dp）-dq）2]，（27）检测到的脸，因此，我们只考虑在我们的评估所提出的方法的单人脸图像。其中，N表示4-连接像素对，并且N是具有相同表面法线方向的像素对的集合;ωa和ωd是平衡约束的系数; ωa是如果（p，q）的色度之间的欧几里得距离小于阈值τa，则设置为常数ωa;如果（p，q）的表面法线之间的角距离小于阈值τd，则设置为常数ωd。方程（27）可以简化为标准的二次方程。6.1. 合成图像结果为了使用一组全面的相机响应函数进行评估，我们对使用DoRF数据集[7]中的201个不同相机响应函数渲染的合成图像进行了实验。我们将用于确定正则化权重的六个真实图像作为原始图像，并添加五个捕获的图像。总共有11×201个测试用例。 均方根误差（RMSE）形式：argminD1dTAd+bTd+c，（28）2估计的逆响应函数和地面真实值之间的关系用于误差测量。其可以使用预处理共轭梯度算法来优化。将上述参数设置为[14]中使用的值，并且从拟合的几何形状获得表面上的表面法线方向n。在图像的本征解压缩中，存在着尺度模糊问题。位置如果分解A，D满足A×D=R，则分解αA，D/α也满足αA×D/α=R。然而，所提出的皮肤色素先验不受这种不确定性，因为比率Δ A/A对于ΔA的任何缩放都是不变的，类似于其颜色不变性。6. 结果为了评估所提出的方法，我们将我们的结果与四种现有的单图像辐射校准方法进行了比较，即EdgeCRF[18] ， GICRF [26] ， ISCRF [32] 和 RankCRF [13] 。EdgeCRF [18]分析了两个均匀颜色区域之间的颜色混合。GICRF [26]基于局部平面辐射区域中的几何不变性。ISCRF [32]通过检查均匀颜色区域之间的强度相似性来恢复相机响应函数。RankCRF [13]可以将多个图像或单个图像作为输入，我们使用它们的单个图像配置，该配置使用秩最小化以及EdgeCRF [18]使用的颜色混合属性。这些方法的计算成本取决于满足它们所利用的特性的检测到的图像区域的数量。一般来说，EdgeCRF[18]、GI- CRF [26]、RankCRF [13]和我们的方法（不处理阴影变化）所需的计算时间相似。由于强度相似性的计算，ISCRF [32]需要比这些方法增加十倍以上的时间，而我们的完整方法则需要比这些方法增加约三倍的时间来执行几何引导的固有图像分解。表1列出了本次评估的误差统计，包括每个比较方法的误差测量的最小值、中值、平均值、最大值和标准偏差。图7显示了一些选定的结果。虽然第一和第二行的图。7是用不同的照明颜色捕获的，这不会影响我们的方法，因为皮肤梯度比λ A/A的颜色不变性。对于这些肖像图像，我们的结果比其他单图像方法有了很大的改进，因为这些方法所利用的场景属性所检测到的区域数量非常有限 在脸上。例如，如图2所示。5（a）中，EdgeCRF [18]和RankCRF [13]发现和使用的局部区域相对较少，并且提供的信息对于计算逆响应函数的良好估计 而言过于 有限。 RankCRF [13]的性能 略优于EdgeCRF [18]，因为秩最小化在避免triv- ial解决方案方面更稳健。满足GICRF [26]中几何不变属性的面部像素数量也不大如图5（b）。此外，预测的几何不变的误差（图。5（c））对于精确估计逆响应函数来说太大。IS- CRF [32]对各种亮度的均匀颜色区域中的图像噪声分布进行操作。在面部图像中，由于空间变化的色素密度而引起的轻微颜色变化可能被并入图像噪声模型中并使结果降级。虽然在我们的方法中简单地假设Δ D/D= 0可以得到一些很好的估计，但通过几何引导的本征图像分解来准确处理阴影变化，对大多数图像都有显著的改善，如Tab中减少的中值和平均误差所示。1.一、所有方法的失败案例，包括我们的方法，发生在一个不寻常的相机响应函数上，该函数将大部分皮肤像素映射到一个明亮的窄强度范围，[ω[ω4321312722表1.合成图像误差测量（×10）。表2.实像误差测量（×10）。算法MinMed.是说MaxSTD算法MinMed.是说MaxSTDEdgeCRF [18]1.1027.027.262.412.7EdgeCRF [18]5.5825.624.544.39.38GICRF [26]0.28026.626.265.99.06GICRF [26]8.5820.123.447.111.0ISCRF [32]0.31021.920.944.27.22ISCRF [32]2.529.1810.224.46.39RankCRF [13]0.50022.121.644.67.46RankCRF [13]3.3610.813.232.07.86我们的工作人员着色0.60012.513.433.24.06我们的工作人员着色4.125.655.919.4413.2我们0.3303.705.2832.04.95我们1.653.453.505.630.955几何不变误差直方图18 0(a)（b）第（1）款16 014 012 010 080604020000.511.522.533.544.55几 何 不 变 误 差（c）第（1）款图10显示了各种方法的估计逆响应函数。8.更多结果请参 考 补 充 材 料 。 Edge- CRF [18] 、 GICRF [26] 和RankCRF [13]的结果取决于图像内容及其找到合适的局部区域进行处理的能力。特别是在户外图像充满了图5.先前方法的失败示例（a）检测到区域（绿框）由EdgeCRF [18]和RankCRF [13]处理。（b）可能的几何不变像素（以黄色标记）和（c）GICRF的几何不变预测误差直方图[26]。10.90.80.70.60.50.40.30.20.10在复杂的表面上，可能存在许多错误检测的区域，这些区域实际上不满足假设的属性，从而误导估计。ISCRF[32]对于生成更多图像噪声的相机（如网络摄像头或智能手机相机）更有效，而对于更高质量的图像通常效果较差。在这个实验中，ISCRF [32]恰好适用于一些佳能EOS 5D图像，因为景深导致背景模糊，并且用于在低照度下拍摄室内图像的ISO更高。当人脸存在时，我们的方法可以获得相对可靠的估计-00.10.20.30.40.50.60.70.80.91图 像 强 度(a)（b）第（1）款图6.我们的方法失败的例子（a）非线性输入图像。（b）通过我们的方法估计的逆响应函数，以及地面实况。示于图第6（a）段。这种映射消除了皮肤中的颜色变化，为我们的方法处理留下了很少的信息。6.2. 真实图像结果为了在真实拍摄的图像上评估我们的技术，我们使用了八台不同类型的相机，包括两台数码单反相机（佳能EOS 5D，尼康D5100），两台无反光镜相机（索尼NEX-7，索尼a6000），两台网络摄像机（Log- itech Pro9000，ANC 152 WS ）和两台手机摄像机（iPhone 6Plus，华为Mate8）。对于每台相机，我们拍摄了六张图像，包括不同性别和年龄的面孔。逆响应函数的地面真实值以及白平衡使用颜色检查表获得。与在背景部分中使用的肖像图像相比，这些普通图像包含可以由其他单图像方法利用的附加场景内容。所有图像的定量误差比较见表2。本网站使用的部分图片即使面部区域不大，在变化的照明下捕获的其它场景内容也较少，或者其它场景内容是有噪声的。这由表1中的最大误差和标准差统计量表示。2.从这些典型图像的例子中，可以看出，面部是辐射校准信息的有用来源，其被我们的技术有效地利用。7. 结论在本文中，我们提出了一种辐射校准方法的基础上，低秩的性质存在于一定的皮肤之间的梯度，因为皮肤内的色素。我们注意到，人脸数据的这种使用可以补充现有的方法，在其他场景区域。如何联合利用这些不同的线索进行无线电计量校准是未来工作的一个潜在方向。确认这项工作是陈莉在微软研究院实习时完成的.作者感谢所有出现在测试图像中的模型。昆明市部分得到中国国家重点研究&发展计划（2009年第106号）的支持。2016YFB1001403 ） 和 国 家 自 然 科 学 基 金（U1609215）。Fa ce 0 5 IR F1 9 6地 面 实 况 红 色 通道 绿 色 通 道 蓝 色通 道Se n ce 辐 射43213128面 05 InvCRF 004逆 响 应 函面 05 InvCRF 004逆 响 应 函面 05 InvCRF 004逆 响 应 函1 1地 面 实况GICRFISCRF地 面 实况0.9GICRFISCRFEdgeRank地 面 实况0.9GICRFISCRFEdgeRank0.0.0.0.0.0.0.0.0.0.0.0.0000.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.91面 06 InvCRF 004逆 响 应 函面 06 InvCRF 004逆 响 应 函面 06 InvCRF 004逆 响 应 函1 1地 面 实况GICRFISCRF地 面 实况EdgeCRF0.9GICRFISCRFRank地 面 实况EdgeCRF0.9GICRFISCRFRank0.0.0.0.0.0.0.0.0.0.0.0.0000.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.91面 08 InvCRF 004逆 响 应 函面 08 InvCRF 004逆 响 应 函面 08 InvCRF 004逆 响 应 函1 1地 面 实况GICRFISCRF地 面 实况EdgeCRF0.9GICRFISCRFRank地 面 实况EdgeCRF0.9GICRFISCRFRank0.0.0.0.0.0.0.0.0.0.0.0.0000.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.91面 10 InvCRF 004逆 响 应 函面 10 InvCRF 004逆 响 应 函面 10 InvCRF 004逆 响 应 函1 1地 面 实况GICRFISCRF地 面 实况EdgeCRF0.9GICRFISCRFRankCRF地 面 实况EdgeCRF0.9GICRFISCRFRankCRF0.0.0.0.0.0.0.0.0.0.0.0.0000.10.20.30.40.50.60.70.80.9100.10.20.30.4归 一 化 图 像 强 度 归 一 化 图 像 强 度 归 一 化 图 像 强 度面 05 InvCRF 038逆 响 应 函面 05 InvCRF 038逆 响 应 函面 05 InvCRF 038逆 响 应 函1 1地 面 实况GICRFISCRF地 面 实况0.9GICRFISCRFEdgeRank地 面 实况0.9GICRFISCRFEdgeRank0.0.0.0.0.0.0.0.0.0.0.0.0000.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.91面 06 InvCRF 038逆 响 应 函面 06 InvCRF 038逆 响 应 函面 06 InvCRF 038逆 响 应 函1 1地 面 实况GICRFISCRF地 面 实况EdgeCRF0.9GICRFISCRFRank地 面 实况EdgeCRF0.9GICRFISCRFRank0.0.0.0.0.0.0.0.0.0.0.0.0000.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.91面 08 InvCRF 038逆 响 应 函面 08 InvCRF 038逆 响 应 函面 08 InvCRF 038逆 响 应 函1 1地 面 实况GICRFISCRF地 面 实况EdgeCRF0.9GICRFISCRFRank地 面 实况EdgeCRF0.9GICRFISCRFRank0.0.0.0.0.0.0.0.0.0.0.0.0000.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.60.70.80.91面 10 InvCRF 038逆 响 应 函面 10 InvCRF 038逆 响 应 函面 10 InvCRF 038逆 响 应 函1 1地 面 实况GICRFISCRF地 面 实况EdgeCRF0.9GICRFISCRFRankCRF地 面 实况EdgeCRF0.9GICRFISCRFRankCRF0.0.0.0.0.0.0.0.0.0.0.0.0000.10.20.30.40.50.60.70.80.9100.10.20.30.4归 一 化 图 像 强 度 归 一 化 图 像 强 度 归 一 化 图 像 强 度Ground truthEdgeCRFGICRFISCRFOurs w.o Sha.我们Ground truthEdgeCRFGICRFISCRFOurs w.o Sha.我们Ground truthEdgeCRFGICRFISCRFOurs w.o Sha.我们Ground truthEdgeCRFGICRFISCRFOurs w.o Sha.我们归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐射 度归 一 化 Sence辐 射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐射 度归 一 化 Sence辐 射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐射 度归 一 化 Sence辐 射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence 辐 射 度归 一 化 Sence辐 射 度归 一 化 Sence辐射 度归 一 化 Sence辐 射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度归 一 化 Sence辐射 度1 11GroundtruthEdgeCRF面 05 InvCRF 113逆 响 应函 数1GroundtruthEdgeCRF面 05 InvCRF 113逆 响 应函 数1GroundtruthEdgeCRF面05 InvCRF 113逆 响 应 函 数0.90.80.70.90.80.70.9GICRFISCRFRankCRF0.8我 们 的女 人 。我 们0.70.9GICRFISCRFRankCRF0.8我 们 的女 人 。我 们0.70.9GICRFISCRFRankC