校正不正确的白平衡图像的方法及效果

1当颜色恒定性出错时：纠正不正确的白平衡图像马哈茂德·阿菲菲约克大学mafifi@eecs.yorku.caAdobeResearchbprice@adobe.comScott CohenAdobe Researchscohen@adobe.comMichael S. 布朗约克大学mbrown@eecs.yorku.ca摘要本文主要讨论了校正相机图像，已被不当的白平衡。这种情况发生在相机的自动白平衡失败或使用了错误的手动白平衡设置时。即使经过几十年的计算颜色恒常性研究，也没有有效的解决方案。挑战不在于识别正确的白平衡应该是什么本文介绍了第一种方法来明确解决这个问题。我们的方法是由超过65，000对不正确的白平衡图像及其对应的正确白平衡图像的数据集实现的。使用这个数据集，我们引入了一个k-最近邻策略，能够应用了不正确WB的图像使用对角校正进行使用“线性化”和对角校正进行校正我们的结果地面实况（正确的相机WB）计算非线性颜色映射函数以校正图像我们证明了我们的方法是非常有效的，并且可以很好地推广到不在训练集中的相机模型。1. 介绍在拍照时，我们希望图像得到正确的白平衡。计算机视觉算法通过期望它们的输入图像颜色是正确的来实现正确的白平衡（WB）。当WB不正确时会发生什么？在这种情况下，图像具有熟悉的偏蓝/偏红的偏色，这不仅从摄影的角度来看是不期望的，而且还可能不利地影响视觉算法的性能。纠正不正确的白平衡图像是知之甚少。Matlab [1]等来源声称误导性的解决方案，表明问题在于识别正确的WB应该是什么，然后将其应用为后校正。然而，该解决方案不是有效的，并且没有在相机内处理流水线的完整上下文中考虑WB。图1.两个不正确的白平衡图像产生的dif-不同的相机，并尝试使用（1）线性WB校正，（2）通过首先应用伽马线性化（[3，17]）进行校正，以及（3）我们的结果来校正它们还示出了由相机使用正确的WB产生的地面实况WB应用于车载摄像机，以消除由场景照明引起的图像WB属于计算颜色恒常性的研究领域，其目的是模仿人类视觉系统照明[21]。WB校正是用一个简单的线性对角3×3矩阵进行的。WB变换应用于相机在应用WB之后，应用几个附加变换以进行控制。将图像值从传感器特定的原始RGB颜色空间转换这些额外的变换包括相机特定的非线性颜色操作，构成相机一个简单的模型，用于相机内的颜色操作从1535WB：荧光WB：阴影1536传感器原始RGB到sRGB可以表示为：IsRGB=f XYZ→ sRGB（T raw→ XYZD WBI raw），（1）其中IsRGB和Iraw是分别包含sRGB和raw-RGB空间中的图像值的3×N矩阵，N是像素的总数，D表示3×3对角WB矩阵，T是从白平衡的raw-RGB映射到设备无关的颜色空间（诸如CIE-XYZ（或其deriv ativ es之一））的3×3线性变换，并且f（·）是复合各种运算的非线性函数，包括色彩增强、色调操纵和最终sRGB伽马编码。我们可以将f（·）认为是WB之后在相机上执行的先前的工作[11，27，29]表明，f（ ·）不仅特定于相机模型，而且还可以用于（A）sRGB渲染图像的白平衡不正确（C）使用场景（桥梁）作为白色参考(E)我们的结果(B)使用颜色表的色块作为白色参考(D)自动色彩校正（AdobePhotoshop）(F)具有正确白平衡的sRGB渲染图像（地面实况图像）挂起在图像捕获期间使用的相机设置。从等式1，很明显，因为WB在处理链的早期应用，所以试图使用对角矩阵对其进行校正将不起作用。Matlab建议使用可选的然而，人们早就知道，2.2伽马并不反映f（·）函数的真实性质[15]。图1显示了示例。贡献我们提出了一种数据驱动的方法来纠正图像已被不适当的白平衡。作为这项工作的一部分，我们已经生成了一个新的数据集，其中包含来自不同相机的超过65，000张图像，这些图像已经使用每个相机的预定义WB设置和图片样式渲染为sRGB图像数据集中的每个不正确的白平衡图像具有被渲染为标准图片样式的对应的正确的白平衡sRGB图像。给定一个不正确的白平衡相机图像，我们列出了一个k-最近邻策略，能够找到类似的不正确的白平衡图像的数据集中。基于这些相似的示例图像，我们描述了如何构造用于去除偏色的非线性颜色校正变换。我们的方法给出了很好的结果，并且很好地推广到训练数据中未找到的相机和模型。此外，我们的解决方案需要一个小的内存开销（小于24 MB），计算速度快。2. 相关工作据我们所知，本文是第一个直接解决的问题，纠正颜色在一个不正确的白平衡图像。这个问题与计算机视觉中的三个领域有关：（i）计算颜色恒定性，(ii)辐射校准，和（iii）一般颜色操纵。这些都是在我们的问题范围内讨论的计算颜色恒定WB是用来模仿我们的视觉系统图2. (A)应用了错误白平衡的相机sRGB图像。(B)以及（C）示出了使用从图像中手动选择的不同参考白点应用于图像的传统白平衡校正（注意：这将代表自动照明估计算法的最佳解决方案）。(D)显示了Adobe Photoshop中自动颜色校正的结果。(E)我们的方法。（F）应用了正确白平衡的地面实况相机即使在不同的照明下观察也是相同的颜色。WB要求相机的传感器响应场景的照明。一旦照明的颜色是已知的，则使用3×3对角矩阵通过将照明的颜色映射到消色差矩阵来将照明的颜色归一化相机的原始RGB颜色空间中的线（即，对应于场景照明的原始RGB值绝大多数计算颜色恒常性的研究都集中在光照估计上。代表性实例包括[5、6、8、10、12、20照明估计是在相机的原始RGB颜色空间中计算的注意，上述照明估计方法都不旨在应用于sRGB图像。即使照明估计方法可以用于确定sRGB图像中的非彩色区域的颜色，该信息仍然不足以校正不正确的白平衡图像。为了强调这一点，我们在图中提供了一个例子二、图2-（A）示出了通过相机流水线渲染到具有不正确WB的sRGB输出的相机场景中的两个非彩色区域被突出显示：（i）来自白色桥的补丁和（ii）来自颜色图表的中性补丁在图1中，用正确的WB渲染相同的场景。2-（F）.因为WB在图中被正确地应用。在图2-（F）中，两个场景消色差区域都位于白线上（即，R= G= B）。图2-（B）和（C）示出了使用标准对角线WB校正的尝试，其使用场景（桥梁）参考白色RGB17020125476115 185RGB255 201 158115 115 115彩色图表参考白颜色表白色是正确的。场景白色不正确。RGB201 201 20190115146RGB232229227112116 159白色场景是正确的。彩色图表白色不正确。白色场景是正确的。彩色图表白色不正确。RGB208 212 214120 121 119RGB213213 213121121 121场景白色和彩色图表白色都得到了改进场景和颜色图表白色都是正确的。1537It（1）……I（l）不I（l+i）…不It（j…It（j+i）h（I（1））不………………v（It（1））#M（1）M（i）M（l）M（l+i）M（j）M（j+i）h（It（n））v（I（n））不校正图像地面实况（GroundTruth）从k个相似的训练样本Ms（i）计算加权映射函数M#编号#编号PCA特征V（Iin）M=M（1）+M（2）1S2SKS…最终校正图像RGB-UV直方图h（Iin）WB图像不正确 我在基于主成分分析特征寻找k幅照相机：Nikon D5200WB：白炽风格：景观校正图：M（k）S照相机：Canon 600DWB：白炽灯风格：中性修正图：M（2）S照相机：Canon 1Ds Mark IIIWB：荧光风格：肖像校正图：男（1）相机：未知WB：未知相机样式：未知校正图：未知eGT不GTIcorr=M Φ（Iin）训练数据（对于每个训练图像，我们预先计算其映射函数M（j），其直方图和PCA特征向量）图3.我们整个过程的概述图。对于输入的sRGB图像和我们的训练数据，我们首先提取输入图像的直方图特征，然后生成一个紧凑的PCA特征，以找到与输入图像在颜色方面最相似的k个最近邻居。基于检索到的相似图像，计算颜色变换M以校正输入图像。分别将颜色表我们可以看到，在这两种情况下，只有选定的参考白色区域被校正，而其他区域仍然不正确。辐射校准辐射校准是将相机的非线性颜色处理参数化以使其反向的过程。辐射校准本质上是试图从等式中近似f −1。1.一、 已经存在许多解决辐射校准的方法（例如，[11，23，27执行辐射校准以线性化照片完成的相机sRGB图像，以便帮助需要对场景辐照度的线性响应的低级计算机视觉任务（例如，摄影测量立体、图像去模糊、HDR成像）[33，34]。当辐射校准数据可用时，它可用于撤销sRGB图像中的照片整理，以校正WB，如[27]所示然而，执行辐射校准需要繁琐的校准过程。辐射测量元数据需要被存储并与每个捕获的图像相关联[34]。因此，大多数用户很少获得辐射校准数据颜色转换与我们的工作相关的另一个主题是颜色转换，用于将输入图像的颜色空间映射其 他 特 别 方 法 包 括 软 件 中 的 例 程 ， 如 AdobePhotoshop，执行自动颜色和自动色调操作[14]。图2-（D）示出了基于Adobe Photoshop类似于图2-（B）和（C），这可以校正其中一个区域，但不能校正另一个区域。到目前为止，还没有有效的方法来校正不正确的白平衡相机图像，并且通常像图1所示的图像。2-（A）被简单地丢弃。3. 该方法我们首先概述我们的方法，然后是具体的实现细节。我们的方法被设计为具有快速执行和小内存开销的附加约束补充材料中提供了替代设计和其他参数评价。3.1. 方法概述图3提供了我们的框架的概述。给定一个不正确的白平衡sRGB图像，表示为Iin，我们的目标是计算一个映射M，该映射M可以将输入图像我们的方法依赖于一个大的n训练图像集，当It={I（1），.，I（n）}，已生成空间这些方法通常用于colorimetric校准代表性实例包括[2，7，16，18，19，24]。这些方法中的大多数依赖于输入和目标颜色空间之间的显式颜色对应最有效的方法是基于多项式颜色校正[19，24]和最近的根多项式颜色校正[19]的方法这些方法使用将原始颜色数据从三通道RGB颜色空间投影到更高维空间的核函数。使用不正确的WB设置。每个训练图像具有对应的正确白平衡图像（或地面实况图像），表示为I（i）。注意，多个训练图像可以共享相同的目标地面实况图像。第3.2节详细介绍了我们如何生成这个数据集。对于每一对训练图像I（i）和它的地面实况图像I（i），我们计算将不正确图像的颜色映射到它的目标的非线性颜色校正矩阵M（i……佳能600D尼康D52001538不GT¨gté不sRGB渲染图像（不同的白平衡设置和图片风格）这提供了目标地面实况sRGB图像Igt. 图捕获的原始RGB图像+相机渲染设置白平衡设置：…WB：白炽灯WB：白炽风格：景观风格：肖像图4示出了来自NUS数据集的原始RGB图像以及使用不同WB设置和图片样式渲染的对应sRGB图像的示例最后，我们从这些数据集中生成了62，535张图像（使用相同的方法生成了用于交叉数据集验证的附加集;更多细节在第二节中给出。4.1）。汽车多云阴影白炽灯白平衡图片样式：风景，生动，WB：多云风格：风景WB：多云风格：肖像WB：手动（颜色图表白色为参考）样式：Adobe标准3.3. 颜色校正变换生成训练图像后，我们有n对图4.渲染sRGB训练图像的示例。我们直接从原始RGB相机图像中工作，使用相机的预定义白平衡设置和不同的图片风格渲染sRGB还使用场景中的颜色再现图表来再现目标白平衡sRGB图像以提供地面实况。表示不正确的WB图像I（i）及其正确的WB图像I（i）的图像。这些表示为3×N矩阵，其中N是图像中的像素总数，三行表示相机输出sRGB颜色空间中的红色、绿色和蓝色值我们可以计算颜色校正矩阵M（i），将I（i）映射到I（i），通过最小化以下等式：地面实况图像此映射的详细信息如下t gt¨.Σ¨在3.3节中讨论。给定一个输入图像，我们搜索训练集，arg min？M（i）ΦM（i）I（i）不-I（i）¨F 、（二）具有相似颜色分布的图像。该图像搜索使用从输入和训练图像直方图导出的紧凑特征来执行，最后，我们通过混合类似训练图像颜色分布的相关联的颜色校正矩阵来获得输入图像的颜色校正矩阵M，表示为Ms。这在第3.5节中描述。3.2. 数据集生成我们的训练图像是从两个公开可用的照明估计数据集生成的：[12]和[20]。 这些数据集中的图像是使用数字单镜头反射（DSLR）相机捕获的，场景中放置了色彩再现图，为照明估计提供了地面实况参考。由于这些数据集旨在用于照明估计，因此以原始RGB格式捕 获 它 们 。 由 于 图 像 是 在 相 机 为 此 ， 我 们 使 用Photoshop中的Adobe Camera Raw功能，在相机中使用不同的WB渲染器渲染不同的sRGB图像。另外，每个不正确WB可以用不同的相机图片样式（例如，生动、标准、中性、风景）。根据品牌和其中。NF是Frobenius范数，Φ是将sRGB三元组投影到高维空间的核我们研究了几种不同的颜色变换映射，并找到了Hong等人提出的多项式核函数。[24]为我们的任务提供了最好的结果（补充材料中给出了更多细节，里亚尔）。 基于[24]，Φ：[R，G，B]T→[R，G，B，RG，RB，GB，R2，G2，B2，RGB，1]T和M（i ）表示为3×11矩阵。注意，在估计M（i）时不考虑空间信息。3.4. 图像搜索由于我们的颜色校正矩阵与图像的颜色分布相关，因此我们查找相似图像的标准是基于颜色分布的我们还寻求紧凑的表示，因为这些功能表示需要存储在内存中的大量受先前工作[5，6]的启发，我们从对数色度空间构造直方图特征，将图像I的颜色分布表示为由uv参数化的m×m×3张量。我们称之为RGB-UV直方图.该直方图由以下等式描述的函数h（I）生成.相机的模型，一个单一的原始RGB图像可以被重定向。针对超过25种不同的相机特定sRGB图像，Iy（i）=I2R（i）.I2G（i）ΣI2B（一）.Σ年龄 这些图像构成我们的训练图像{I（1），.，Iu1（i）=logIR（i）-日志IG（i），I（n）}。不Iv1（i）= log.ΣIR（i）-日志.ΣIB（i），（三）为了生成正确的目标图像，我们手动选择theIu2=−Iu1，Iv2=−Iu1+Iv1，Iu3= −Iv1，Iv3= −Iv1+ Iu1。色彩再现图表，然后应用相机-ΣΣ...Σ地面实况……++、1539独立的呈现风格-即， Adobe Standard.H（I）（u，v，C）=iIy（i）. IuC（i）−u。≤ε。IvC（i）−v.≤ε、（四）2 21540葛esSK3.5. 最终颜色校正给定一个新的输入图像，我们计算其PCA特征并在训练数据集中搜索具有相似特征的图像。我们提取与k个相似PCA特征相关联的颜色校正矩阵Ms的集合。然后，最终校正矩阵M被计算为校正矩阵Ms的加权线性组合，如下所示：ΣkM=αjM（j），（7）j=1其中α是表示为径向基函数的加权向量αj=αexp .Σ−d2/2σ2. J，j ∈ [1，.，k]，（8）K′k=1 exp−d2′/2σ2图5.训练图像的可视化基于其相应的PCA特征向量。在该图中，t-SNE [32]用于辅助训练空间的可视化。示出了示例输入图像和使用PCA特征检索的几个最近图像。.H（I）（u，v，C）其中，σ是径向衰减因子，d表示包含给定输入特征与相似的k个训练特征之间的L2距离的如图3中，基于与从不同相机和渲染器风格获取的训练图像相关联的校正变换来生成最终颜色变换（参见用于研究EF的补充材料）。h（I）（u，v，C）=中国，（5）在结果上具有不同的图片风格的影响通过"H（ I）"u v（u，v，C）其中i ={1，.， N}，R，G，B表示I中的颜色通道，C∈ {1，2，3}表示直方图中的每个颜色通道，ε是直方图箱的宽度。以归一化H后的平方根增加了我们投影直方图特征的辨别能力[4，5]。为了提高效率，我们应用降维步骤，以提取一个紧凑的功能，代表，ING每个RGB-紫外直方图。我们发现线性变换对于我们的任务来说是足够的，可以将向量化的histogram vec（h（I））∈Rm×m×3映射到一个新的低维的空间 主成分分析（PCA）vector计算如下：v（I）=WT（vec（h（I））−b），（6）其中v（I）∈Rc是包含c个主成分（PC）系数的PCA特征向量，c = m × m × 3，W =[w1，w2，.， 其中w ∈ Rm× m ×3是通过奇异值分解计算的PC系数矩阵，b ∈ Rm× m ×3是平均直方图向量。结果，每个训练图像I（i）可以由少量的混合来自由各种不同照相机及其不同照片整理风格产生的图像的映射函数，我们可以将M校正解释为将输入图像映射到由与输入最相似的图像组成的元照相机最后，通过以下等式产生校正图像I_corrIcorr=MΦ（Iin）。（九）由于我们的训练数据包括接近手动地面实况的WB设置的示例，因此我们的方法也可以隐式地处理使用正确WB设置渲染的测试图像（参见补充材料的示例）。3.6. 实现细节我们的Matlab实现需要大约0.54秒来计算直方图特征。一旦计算出PCA直方图特征，校正过程平均花费0.73秒;该过程包括PCA特征提取、k 近 邻 的蛮力搜索、t.PC系数vI（i）不Σ. 最后，输入图像被表示为邻居、混合校正矩阵以及最终图像校正。所有报告的运行时都经过计算由V（Iin）发送。L2距离用于度量PCA特征向量之间的相似性。图5基于它们对应的PCA特征可视化训练图像。英特尔至强加速的GPU实现了使用GTX 1080 GPU，分割平均在0.12秒内运行，以纠正12兆像素的图像。输入图像相似k训练图像培训图像…1541我们的方法需要23.3 MB来存储62，535个特征向量、映射矩阵、PCA系数矩阵和使用单精度浮点表示的平均直方图向量，而不影响精度。在我们的实现中，每个PCA特征向量由55个PC分数表示（即，c=55），PC系数矩阵W被表示为（60×60×3）×55矩阵（即，m=60），平均向量b∈R60×60×3。我们使用下降因子σ=0。25，k=25。使用不同参数值的比较在补充材料.4. 实验结果我们的方法相比，目前用于纠正不正确的白平衡的sRGB图像的常见方法。我们首先描述用于测试我们的方法的数据（Sec. 4.1）。然后，我们展示了两个定量（Sec. 4.2)和定性结果（Sec. 4.3）。4.1. 数据集如第在3.2中，我们生成了62，535张图像的数据集使用相同的程序生成了包含2，881个图像的附加集。内在集（集1）：由NUS数据集[12]、其扩展[13]和Gehler数据集[20]中提供的原始RGB图像生成的62，535张图像组成。Extrinsic set（Set 2）：生成用于交叉数据集验证，其中它由来自NUS数据集（从Set 1中排除）的四款手机（iPhone 7、Google Pixel、LG G4和Galaxy S6 Edge）和一款DSLR相机（Olympus）渲染的2，881张sRGB图像Set 2不包含Set 1中的任何摄影机。有1，874张DSLR 图 像 和 1 ， 007 张 手 机 图 像 （ 其 中 468 张 由Karaimer和Brown提供的原始RGB图像渲染）。我们使用集合1进行训练和评估，使用三重验证，使得三重关于成像场景是不相交的，这意味着原始原始RGB图像）出现在一个折叠中时，它被排除在其他折叠之外。颜色再现图在图像中被屏蔽，并且在训练和测试期间被忽略。 用于评估-在Set 2上，我们使用Set1中的所有训练，即1062K。4.2. 定量结果我 们 比 较 了 我 们 的 结 果 对 对 角 线 白 平 衡 correc-tion，这是计算使用中心灰色补丁的颜色检查表放置在场景中我们将其称为精确消色差参考点，因为它表示在场景中发现的真实中性点。这个精确的白点代表了照明估计算法在应用于我们的输入时可以实现的最佳结果，确定对角WB矩阵。这相当于图1中的示例。2-（B）.为了完整起见，我们还将我们的结果与“线性化”对角校正进行了比较，该校正应用了逆伽马运算[3，17]，然后使用精确的参考点执行WB，然后重新应用伽马以在sRGB颜色空间中产生结果。我们还包括使用Adobe Photoshop校正的结果-特别是自动颜色功能（AC）和自动色调功能（AT）。我们采用了三种常用的误差指标进行评估，它们是：（i）均方误差（MSE），（ii）平均角度误差（MAE），和（iii）△E，其被广泛用于测量两个视觉感知之间的变化。颜色.△E有不同的版本;我们报告了△E 2000 [37]的结果（使用△E 76 [36]的结果也在补充材料中报告）。在表1中，报告校正图像和相应的地面实况图像之间的误差的平均值、下四分位数（Q1）、中值（Q2）和上四分位数（Q3）表1表明，我们提出的方法在所有指标上始终优于其他方法。4.3. 定性结果和用户研究如第2中，可以通过应用全辐射校准[27]或从已嵌入sRGB渲染图像中的辐射计量元数据来执行sRGB图像中图6示出了我们的结果与对[34]中我们能够实现可比的结果，而不需要辐射校准。第1组和第2组的定性目视结果如图所示。7.可以肯定的是，我们的结果与地面实况图像在视觉上最相似。为了独立地证实这一点，我们对35名参与者（18名男性和17名女性）进行了用户研究，年龄从21岁到25岁不等。46. 每个人都被要求选择最视觉相似的图像之间的结果，我们的方法和对角线校正与确切的参考点的地面实况图像。实验在受控环境中进行。使用Spyder5色度计校准监测器。要求参与者比较24对图像，使得对于每个四分位数，基于每种方法的MSE，从集合1和集合2中随机挑选4个图像。这意味着所选图像代表每种方法和每组的最佳、中值和最差结果平均而言，我们的结果中有93.69%被选为与地面实况图像最相似的结果。图8示出了该研究的结果具有统计学显著性，p值为<0。01.我们注意到，我们的算法在某些类型的1542Set1/DSLRAC21.92LRGB9.333.58美元10.82100%=6.521.92=5.92(A) 输入图像（B）使用（C）使用（D）Ours（E）Ground truth的对角校正sRGB图像重建原始RGB图6.我们的结果与[34]提出的将白平衡应用于重建的原始RGB图像的比较。[34]中的工作能够通过在sRGB数据中嵌入辐射校准元数据来重建原始RGB图像。 通过反转回原始RGB，他们可以正确地重新应用白平衡，然后重新渲染sRGB图像。(A)输入sRGB图像。(B)sRGB颜色空间上的对角线校正（C）对重建的原始RGB图像进行对角校正的结果[34]。（D）我们的结果。（E）地面实况图像。（A）-（C）和（E）改编自[34]。Set1/DSLR3.55美元LRGB5.98美元AC10.59美元Set1/DSLR2.27 LRGB100%=6.04AC15.04Set1/DSLR1.18sRGB10.66=7.66在17.36美元Set2/DSLR在13.57美元 LRGB10.09美元3.87Set 2/移动5.68 LRGB11.56美元AC13.78美元(A) 输入图像（B）Ps校正（C）对角线校正（D）我们的（E）地面实况图7.在集合1（前四行）和集合2（最后两行）上所提出的方法与其他技术之间的比较。(A)输入sRGB图像。(B)Adobe Photoshop（PS）颜色校正功能的结果。(C)使用直接从颜色图表获得的精确参考点进行对角线校正的结果。(D)我们的结果。(E)地面实况图像。在（B）和（C）中，我们分别基于△E值在自动颜色（AC）和自动色调（AT）函数之间以及在sRGB（sRGB）和“线性化”sRGB（LRGB）之间选择最佳结果。1543表1.我们的方法与现有的白平衡sRGB图像的解决方案之间的比较。我们比较我们的结果对对角线白平衡校正使用一个确切的消色差的参考点，从彩色图表中的图像。对角线校正直接应用于sRGB图像，表示为（sRGB），并应用于“线性化”sRGB [3，17]，表示为（LRGB）。此外，我们将结果与Adobe Photoshop函数进行比较：自动颜色（AC）和自动色调（AT）。术语Q1、Q2和Q3分别表示第一四分位数、第二四分位数（中位数）和第三四分位数。术语MSE和MAE分别代表均方误差和平均角度误差。顶部结果用黄色和粗体表示。方法MSEMae△E是说Q1Q2Q3是说Q1Q2Q3是说Q1Q2Q3内在集（集1）：DSLR多相机（62，535图像）Photoshop-AC780.52157.39430.96991.287.96度三点四三度5.59度10.58度10.065.758.9213.30Photoshop-AT1002.93238.33606.741245.517.56度3.08度5.75度10.83度11.126.5510.5414.68对角线WB（sRGB）135.7720.2071.74196.154.63°1.99度3.56度6.14°4.692.254.006.68对角线WB（LRGB）130.0119.7368.54183.654.29度1.85度3.35度5.70°4.592.243.896.51我们77.7913.7439.6294.013.06度1.74度2.54°3.76度3.582.073.094.55外在集（集2）：数码单反相机和手机相机（2，881图像）Photoshop-AC745.49240.58514.33968.2710.19度5.25度8.60度十四点一三度11.717.5611.4115.00Photoshop-AT953.85386.7743.841256.94十一点九一度7.01度10.70度15.92度13.129.6313.1816.5对角线WB（sRGB）422.31110.70257.76526.167.99度4.36度7.11度10.57度8.535.528.3811.11对角线WB（LRGB）385.2399.05230.86475.727.22度3.80°6.34度九点五四度8.155.077.8810.68我们171.0937.0487.04190.884.48度2.26度3.64°5.95度5.603.434.907.06100908070605040302010100908070605040302010下四分位数（Q1）100908070605040302010四分位距（Q2）100908070605040302010上四分位数（Q3）0我们对角线WB0我们对角线WB0我们对角线WB0我们对角线WB(A) 总体结果（B）3个四分位数图8. 35人的用户研究的结果，其中用户被询问哪个输出在视觉上与地面实况图像最相似。从不同的四分位数中随机选择相等数量的图像用户研究的结果通过区间图显示(A)显示所有结果的总体用户偏好，而（B）显示按Q1、Q2和Q3分类的结果。输入。这些通常是具有大量饱和颜色的强色偏图像（见图11）。第9段）。5. 总结发言白平衡是一个关键的低级计算机视觉步骤，通常被视为理所当然。大多数计算机视觉数据集，特别是由从网络上抓取的图像组成的那些数据集，都隐含地偏向于正确的白平衡图像，因为不正确的白平衡图像很少首先被上传。如本文所述，校正由具有错误WB设置的相机渲染的sRGB图像具有挑战性。此外，我们的方法可以很好地推广到不包含在我们的训练集中的图像。我们相信这个数据集是同类中唯一的一个，将成为未来关于这个和相关主题的工作的有用资源。致谢本研究部分由加拿大第一研究卓越基金的愿景：科 学 应 用 （ VISTA ） 计 划 ， NSERC Dis-elaborationGrant和Adobe Gift Award资助。平均用户选择（%）平均用户选择（%）平均用户选择（%）平均用户选择（%）1544本文提出了一种数据驱动的方法来纠正不适当的白平衡图像。广泛的定量（A）输入图像（B）对角线WB校正(C) 我们(D) 地面实况定性实验，包括用户研究，证明了这种方法的有效性。更重要的是，我们的方法是实用的，需要不到24MB的数据和不到1.5秒的时间来校正全分辨率图像。图9.所提出方法的失败示例。(A)输入sRGB图像。(B)结果使用对角线白平衡校正的基础上获得的准确的消色差的参考颜色图表。(C)我们的结果。(D)地面实况图像。1545引用[1] Mathworks：调整色彩平衡的RGB图像色适应（chromadapt）https：//www.mathworks.com/help/images/ref/chromodapt.html。2019-04-05.[2] 卡斯珀找到安徒生和大卫·康纳。加权约束色调平面保持相机表征。IEEE Transactions on Image Processing，25（9）：4329[3] Matthew Anderson ， Ricardo Motta ， Srinivasan Chan-drasekar，and Michael Stokes.建议一个标准的默认颜色空间的互联网-sRGB。1996年，彩色与成像会议[4] Relja Arandjelovic和Andrew Zisserman。每个人都应该知道的三件事CVPR，2012。[5] 乔纳森·巴伦。卷积颜色恒定性。在ICCV，2015年。[6] Jonathan T Barron和Yun-Ta Tsai。快速傅立叶颜色恒常性。在CVPR，2017年。[7] Roy S Berns和M James Shyu。用光谱模型对台式鼓形扫描仪进行色度特征化。Journal of Electronic Imaging，4（4）：360[8] 西蒙·比安科和雷蒙多·谢蒂尼。使用面孔的自适应颜色恒 定 性 IEEE Transactions on Pattern Analysis andMachine Intelligence，36（8）：1505[9] Michael S Brown和Hakki Can Karaimer。提高相机的色彩再现精度。在CVPR，2018年。[10] 格申·布克斯鲍姆物体颜色感知的空间处理器模型。富兰克林研究所杂志，310（1）：1[11] A. Chakrabarti，Ying Xiong，Baochen Sun，T. Darrell，D. Scharstein，T.Zickler和K.萨恩科用色调映射彩色图像模拟视觉辐射不确定性IEEE Transactions on PatternAnalysis and Machine Intelligence，36（11）：2185[12] Dongliang Cheng，Dilip K Prasad，and Michael S Brown.用于颜色恒定性的照明体估计：为什么空间域方法工作和 颜 色 分 布 的 作 用 . Journal of the Optical Society ofAmerica A，31（5）：1049[13] Dongliang Cheng ， Brian Price ， Scott Cohen ， andMichael S Brown.超越白色：用于颜色恒定性校正的地面真实颜色。在ICCV，2015年。[14] 布拉德·戴利和达娜·戴利Adobe Photoshop CS6圣经。John Wiley Sons，2012.[15] Paul E.德贝维克和吉坦德拉·马利克从照片恢复高动态距离辐射图。在SIG-GRAPH，1997中。[16] Mark S Drew 和 Brian V Funt 。 自 然 的 同 色 异 谱 。CVGIP：图像理解，56（2）：139[17] 马克·艾伯纳颜色恒定性。John Wiley Sons，2007年。[18] Graham Finlayson，Han Gong，Robert B Fisher.颜色单应 性 ： 理 论 与 应 用 。 IEEE Transactions on PatternAnalysis and Machine Intelligence，41（1）：20[19] 格雷厄姆·D·芬莱森，米哈尔·麦凯维奇，安雅·赫尔伯特.使用根多项式回归进行颜色校正。IEEE Transactions onImage Processing，24（5）：1460-1470，2015。[20] Peter Vincent Gehler、Carsten Rother、Andrew Blake、Tom Minka和Toby Sharp。贝叶斯颜色恒常性的重新审视。CVPR，2008。[21] Arjan Gijsenij，Theo Gevers，and Joost Van De Weijer.计算颜色恒定性：调查和实验。IEEE Transactions onImage Processing，20（9）：2475[22] Arjan Gijsenij，Theo Gevers，and Joost Van De Weijer.用光度边缘加权法改善颜色恒常性。IEEE Transactionson Pattern Analysis and Machine Inteligence，34（5）：918[23] M.D. Grossberg和S.K.纳亚尔相机响应函数的空间是多少在CVPR，2003年。[24] Guowei Hong，M Ronnier Luo，and Peter A Rhodes.基于多项式模型的数码相机色度特性研究。色彩研究应用，26（1）：76[25] 胡渊明，王宝源，林志颖FC4：具有置信加权池的完全卷积颜色恒定性。在CVPR，2017年。[26] Hakki Can Karaimer和Michael S Brown。用于操纵相机成像流水线的软件平台。在ECCV，2016年。[27] 金善珠，林海婷，郑璐，S. Süsstrunk，S. Lin和M. S.布朗一种新的彩色计算机视觉相机成像模型及其应用。IEEE Transactions on Pattern Analysis and MachineIntelligence，34（12）：2289[28] Seon Joo Kim和M.波勒菲斯稳健的辐射定标和渐晕校正。IEEE Transactions on Pattern Analysis and MachineIntelligence，30（4）：562[29] 林海婷，金善珠，S. Süsstrunk和M. S. 布朗。再论彩色计算机视觉的辐射定标见ICCV，2011年。[30] S. Lin，Jinwei Gu，S.山崎和沈向阳从单个图像进行辐射校准载于CVPR，2004年。[31] S. Lin和L.张某从单个灰度图像确定辐射响应函数。在CVPR，2005年。[32] Laurens van der Maaten和Geoffrey Hinton使用t-SNE可视化 数 据 。 Journal of Machine Learning Research ， 9 ：2579[33] 南成贤和金善珠。使用深度神经网络对相机中的场景相关成像进行建模。InICCV，2017.[34] 朗湾H. Nguyen和Michael S.布朗使用具有小存储器开销的自包含sRGB-JPEG图像的原始图像重建国际计算机视觉，126（6）：637[35] 吴成武和金善珠。通过深度学习将计算颜色恒定性作为分类问题来处理。Pattern Recognition，61：405-416，2017.[36] 高拉夫·夏尔马和拉贾·巴拉数字彩色成像手册. CRCPress，2017.1546[37] Gaurav Sharma ， Wencheng Wu 和 Edul N达 拉 尔CIEDE2000色差