RGB图像-错误的亮度转换导致误差高达50%

1为什么你应该忘记亮度转换，做一些更好的朗湾H.新加坡国立大学nguyenho@comp.nus.edu.sgMichael S. 布朗约克大学mbrown@eecs.yorku.ca摘要sRGB图像地面实况亮度计算机视觉中最常用的低级操作之一是将RGB相机图像转换为其亮度表示。这也是最不正确的操作之一即使是我们最值得信赖的软件Matlab和OpenCV也无法正确执行亮度转换。在本文中，我们研究的主要因素，使正确的RGB亮度转换困难，特别是：1）不正确的白平衡，2）不正确的伽玛/色调曲线校正，和3）不正确的方程。我们的分析表明，各种颜色的误差高达50%并不罕见。因此，我们认为，对于大多数计算机视觉问题，没有必要尝试亮度转换;相反，有更好的替代方案，取决于错误的白平衡（2500o K）导致的错误错误色调曲线导致的错误由于错误公式导致的误差（YIQ-Luma）0.200.150.100.05在任务上。1. 引言和动机在计算机视觉和图像处理中最常应用的操作之一是将RGB图像转换为单通道亮度表示。亮度是量化人眼如何感知从场景发出的辐射能量的光度测量。因此，RGB到亮度转换被用作将RGB图像转换成其感知亮度表示的方式。亮度通常由变量Y表示，其来自CIE 1931XYZ颜色空间定义，其中Y被定义为标准人类观察者在良好照明条件下的亮度函数。亮度通常用于各种视觉任务，从图像增强[22，27，29]到特征检测[2，20]，再到物理测量[10，11，26]。有许多常用的方法将RGB图像转换为Y。例如，广泛使用的YIQ和YUV颜色空间使用加权平均Y=0的情况。299R +0。587G +0。114B，而最近的方法采用Y = 0的加权平均。2126R +0。7152G +0。0722B 在某些情况下，简单的RGB平均值Y=（R+G+B）/3。显然，这些都不可能是正确的。此外，还有其他因素在发挥作用，在这个转换-图1.此图显示了由于以下原因而产生的错误示例：亮度转换不正确。该实验的地面真实亮度是从高光谱相机捕获的。包括颜色空间的假定白点和非线性映射（例如，伽马校正）。射线测量校准方法[7，16，18，19]早就知道相机使用专有的非线性映射（即，色调曲线）不符合sRGB标准。[3，15，17，31，14]中的最新研究表明，这些色调曲线可以是特定于设置的。图1示出了在从sRGB到亮度的颜色空间转换中由不同因素引起的误差的示例。然而，有趣的是，计算机视觉算法在面对这些错误时仍然有效。如果我们的算法在不正确的亮度转换下工作，那么我们为什么还要费心去尝试亮度转换呢？贡献这项工作提供了两个贡献。 首先，我们系统地研究了从相机RGB图像中获得真实场景亮度值具体来说，我们讨论的假设往往被忽视的标准颜色空间和板载相机照片整理的定义是具有挑战性的撤消时，执行亮度转换。我们还讨论了使用不正确的方程-例如YIQ或HSV -被错误地解释为亮度。我们的研究结果表明，它不是联合国-67506751通常会遇到与真实亮度值相差高达50%的转换误差我们的第二个贡献是提倡，对于许多视觉算法，存在亮度转换的替代方案，并且更适合手头的任务。2. 相关工作很少有工作分析卢米的正确性0.90.80.70.60.50.40.30.20.1000.10.20.30.40.50.60.70.810.80.60.40.200 0.20.40.60.8 1相对于成像场景的Nance转换。公开文献中的许多方法提供了对标准图像处理教科书中给出的转换方程的引用（例如，[5]）并假设转换是准确的。然而，已经有工作描述了各种颜色空间及其用法。 Süusstrunk等[28]回顾了图像和视频的标准化RGB颜色空间的规范和使用 这项工作描述了 许多业界认可的RGB色彩空间，例如图3. sRGB和RGB颜色空间原色和白点如CIE XYZ颜色空间中定义的。这些建立了CIE XYZ和sRGB/RGB之间的映射，反之亦然。(SPD)通过用X，Y，Z来参数化它。这意味着在CIEXYZ颜色空间下的三通道图像I可以被描述为：∫标准RGB（sRGB）、Adobe RGB 98、Apple RGB、RGB和PAL。这项工作提醒人们，I（x）=Cc（λ）R（x，λ）L（λ）dλ，（1）ω重要的是要清楚的颜色空间图像在做转换之前。其他人已经研究了影响成像场景的颜色分布的因素特别地，Romero et al.[25]分析了日光照明变化下场景的颜色变化他们的结论是，色度坐标值有显着的变化，而亮度坐标值的影响较小。Kanan等人[13]分析了将彩色图像转换为灰度图像（通常被认为是亮度）的13种方法对物体识别的影响。他们发现，毫不奇怪，不同的转换方法会导致不同的物体识别性能。有大量关于相机的辐射校准的工作（例如，[7、16、18、19]）。这些工作早已确立了理解相机像素强度相对于场景辐射的非线性映射的重要性。然而，这些方法没有探索它们的线性化相机值与由CIE XYZ定义的真实场景亮度的关系。3. 亮度转换因子3.1. 分类：CIE 1931 XYZ和亮度几乎所有用于图像处理和计算机视觉的现代色彩空间都可以追溯到Guild和Wright [9，30]的工作，他们在设备独立感知色彩空间上的工作被采纳为官方CIE1931 XYZ色彩空间。即使后来引入了其他颜色空间（并显示出更好的效果），CIE 1931 XYZ仍然是相机和视频图像的实际颜色空间。CIE XYZ（为简洁起见，删除了1931）建立了三种假设的原色，X，Y和Z。这些基色提供了一种描述光谱功率分布的方法其中λ表示波长，ω是可见光谱380−720nm，Cc是CIEXYZ颜色匹配函数，c=X、Y、Z是原色。项R（x，λ）表示场景在许多情况下，每个像素处的光谱反射率和照度被组合在一起形成光谱功率分布S（x，λ）（见图2）。因此，Eq。1可以重写为：∫I（x）= Cc（λ）S（x，λ）dλ.（二）ω在这种情况下，映射到相同X/Y/Z值的任何S（x）被认为是观察者感知到的相同颜色颜色空间被定义为使得与Y原色相关联的匹配函数具有与标准人类观察者的亮度函数相同的响应[4]。这意味着给定光谱功率分布的Y值指示相对于其他场景点感知到的亮度因此，Y被称为“场景的已经从CIE XYZ颜色空间导出了许多颜色空间。转换为亮度本质上是将不同颜色空间中的颜色值映射回CIEY值。下面描述了获得正确映射所需的一些因素。3.2. RGB颜色空间（sRGB/RGB）虽然CIE XYZ对于描述SPD之间的关系的色度学是有用的为了建立新的颜色空间，需要两件事-三原色（R，G，B）的位置，伽马编码(2.2)-12.2伽马解码Cie XYZNTSCsRGB的白点sRGB白点PrimariesofsRGB原色6752照相洗印Cie XYZ颜色渲染sRGB语气映射101白色-平衡颜色校正矩阵（CCM）CIEXYZto sRGBCie XYZraw-RGBCie XYZ线性sRGB输出sRGB图像步骤2步骤3步骤12.521.51（）400500600700物理场景（光谱功率分布）0.50400 500 600 700色彩匹配函数CIEXYZCIEXYZ颜色空间下的图像图2. （A）该图显示了场景光谱反射率如何转换为CIE XYZ颜色空间。CIE XYZ提出了三种光谱响应函数，将真实世界的光谱功率分布（SDP）映射到X/Y/Z基。CIE XYZ标准中的Y值被映射到标准观察者（B）输入RGB原始图像相机灵敏度功能图4. 此图显示了在消费类相机中获取sRGB图像的管道。请注意，步骤1、2和3中显示的圆圈表示CIE XYZ中的白点白点用于确定CIE XYZ颜色将在颜色空间中表示白色（或特别地，其被选择以匹配图像的观看条件。例如，如果假设人将在日光下观察显示器，则对应于日光的CIE XYZ值图3示出了1996 sRGB和1987国家电视系统委员会（National Television System Committee，简称NTSC）色彩空间的示例在此，我们将以ESTA作为一个例子。还有许多其他空间，如[28]中所述-例如Adobe RGB，PAL，Apple RGB以及多年来的变化，如1953年的1953年。1987年，每个颜色空间都有自己的3×3线性变换，基于其各自的RGB原色和白色。CIE XYZ中的点位置。对于sRGB基色，从sRGB转换为CIE XYZ的矩阵为：100万美元。41240的情况。35760的情况。小行星1805Y21260的情况。71520. 0722年，（三）Z0。0193 0的情况。1192 0的情况。小行星9505B将CIE（1987）转换回CIE XYZ是：100万美元。60710的情况。17360的情况。小行星1995Y29900的情况。58700. 1140米（四）Z0。0000 0的情况。0661 1.一、小行星1115B在两个方程中。如图3和图4所示，重要的是要注意，R、G、B值需要来自以这些分别编码的图像（x，）400500600700SPD2SPD1XYZ色度ySPD 2（Y：38，x：0.24，y：0.61）ZXYCie XYZ0Y（亮度）SPD 1（Y：50，x：0.56，y：0.37）6753色 彩 空 间 。 这 样 的 R 、 G 、 B 值 通 常 被 称 为GammasRGB/RGB是为CRT显示器和电视机设计的。这些器件对电压没有线性响应，因此，如图1所示，对R/G/B三个通道施加编码伽马作为补偿3 .第三章。例如，红色像素将采用以下形式：R′=R1/γ，其中R是线性RGB值，R′是得到的伽马编码值。这种非线性伽马作为sRGB/RGB定义的最后一步嵌入。γ的gamma被设置为γ=2。2; sRGB的一个可以近似为γ = 2。2，但实际上要复杂一些[1]。在将sRGB或RGB颜色空间转换回CIE XYZ之前，必须首先使用反Gamma对颜色值进行线性化。3.3. 相机成像管道绝大多数消费类相机都将图像保存在sRGB色彩空间中。在理想情况下，可以通过首先应用逆伽马，然后应用以下项来计算亮度：Y= 0。2126R +0。7152G +0。0722B，（5）它直接来自Eq。3 .第三章。然而，虽然图像编码使用sRGB，几乎所有的相机图像管道偏离sRGB标准。图4示出6754相机图像流水线中常见步骤的概述。首先，相机传感器的相机灵敏度与CIE XYZ不同。这意味着相机图像处于其自己的原始RGB颜色空间中，必须将其转换为sRGB [14]。 在此之前，图像通常使用对角3×3矩阵进行白平衡，以消除照明偏色，并正确映射场景或者沿着消色差线（即，R=G=B）。在白平衡之后，使用3 × 3颜色校正矩阵（CCM）将图像一旦在CIEXYZ颜色空间中，图像可以被映射到线性sRGB，并应用sRGB编码伽马。然而，大多数相机应用自己的色调曲线[7，16，18，19]和/或额外的选择性颜色调整，dering [3，15，17，31]作为他们专有的照片整理的一部分。检查管道，我们可以看到有两个因素会影响亮度转换。如果在CIE XYZ转换之前应用白平衡，则当应用CCM时，不正确的白点估计可能导致错误。接下来，如果色调曲线强烈地偏离sRGB编码伽马，则当从sRGB转换回CIE XYZ时，它将在线性化步骤中引入误差。3.4. 不正确的Y转换和亮度如前所述，如果相机制造商谨慎地遵循sRGB标准，则伽马解码的线性sRGB可以通过使用等式（1）转换回Y。五、然而，它是经常的情况下，完全不正确的转换方法被使用。以下是计算机视觉文献中常见的三种错误方法第一个是计算平均RGB值（通常应用于非线性RGB图像）。这被计算为：当量4如下：Y= 0。299R +0。587G +0。114B.（七）这个公式是在学术文献中发现的最常用的亮度转换公式，然而，它几乎总是被错误地执行。只有当图像是在RGB颜色空间中捕获的并且已经应用了适当的伽马解码时，才是有效的转换。如果与线性sRGB图像（大多数现代相机使用）一起使用，则该等式试图从错误的颜色空间转换，因为转换基于不同的RGB原色和与RGB相关的白点，而不是sRGB。当不应用伽马解码时，其基于RGB转换为亮度。有许多众所周知的方法使用这种转换，包括Matlab另一个经常与亮度混淆的常见转换是色调、饱和度、值（HSV）颜色空间中的HSV将value定义为每个像素的R/G/B通道的最大值：Y=max（R，G，B）。（八）与Eq一样。6，这种转换与场景亮度的关系不清楚。亮度与亮度如前所述，当对伽马编码的R、G、B值应用转换时，结果不应被称为亮度，而是被称为亮度。虽然某些空间，例如。YUV和YIQ，在伽马编码的RGB值上定义（并且在技术上应该用Y'来写），文献中的常见做法是在进行转换时不执行伽马解码步骤。在本文中，我们通过将术语“Luma”添加到转换类型来区分这一点-例如，YIQ-亮度或sRGB-亮度。1Y=（R + G + B）。（六）3这是奇怪的想知道为什么这将被认为是鲁-鲁，但正如我们将显示在第二节。4、这不是一个坏的选择。另一种常用的从sRGB转换到YIQ或YUV颜色空间的转换[5]。YIQ和YUV是从RGB 1987颜色空间导出的，并且在伽马编码的R、G、B值上进行技术定义。这些颜色空间应该被表示为Y′ IQ或Y′ UV，其中素数符号用于区分Y′和代表lu-1的Y在视频工程界，术语正如Poynton [24]所指出的，亮度的这种区分在图像处理和图形社区中被混淆，并被错误地不正确的亮度转换源自4. 亮度转换分析秒3讨论了正确的sRGB到亮度转换，以及在相机成像流水线中或由于不正确的转换方法而可能发生的潜在错误。本节的目的是审查每个因素的影响，特别是：白平衡、色调曲线和错误的转换方法（YIQ、HSV、averageRGB）。为了建立场景的地面真实亮度，我们使用Specim的PFD-CL-65-V10 E高光谱相机来捕获几个真实场景的光谱功率分布以及140块Macbeth颜色检查图案。这允许我们通过将CIE XYZ匹配函数直接应用于光谱场景以获得Y来计算地面真实亮度。我们的实验是在合成图像上进行的，这使我们能够仔细控制流水线和真实的相机图像，如以下部分所述。67554.1. 计算合成相机图像为了能够控制摄像机图像管道的各种组件，我们为以下两个摄像机合成sRGB图像：1）佳能1Ds Mark III和2）尼康D40。 我们通过模拟图1中描述的相机处理流水线来实现这一点。4.第一章这些相机的传感器灵敏度函数在Jiang等人的工作中进行了估计。[12 ]第10段。这使我们能够通过将相关的相机灵敏度函数应用于光谱图像来合成相机的原始RGB。接下来，我们在原始RGB图像上应用白平衡（正确的白色是从场景中放置的白色斑块中得知的）。在此之后，使用[23]中提出的方法计算的CCM被应用于将原始RGB转换为CIE XYZ 。 最 后 ， 可 以 使 用 正 确的 编 码 伽 马 函 数（2.2）或[17]中提供的这些相机的估计色调曲线来请注意，所有误差都以[0-1]之间的归一化像素值报告。4.2. 白平衡与适当的伽玛我们的第一个实验检查白平衡对亮度转换的影响。我们生成合成图像，如第2节所述。4.1，但故意使用不正确的色温来白平衡图像-即2500 K，4000 K和10000 K（正确的白平衡是6000 K）。为了隔离白平衡的错误，我们使用适当的sRGB编码gamma2。二、图图5示出了用于该系统的定量亮度误差理想白平衡图像和不正确白平衡图像之间的颜色图表。喷流图被用来突出地面实况和估计的陆面之间的误差.我们给出了定量误差统计：最大值（Max）、平均值（Mean）和标准差（Std）。很明显，更差的白平衡（2500K）会导致更多的错误。然而，总体误差并不显著，最差情况下平均误差约为1%。4.3. 色调曲线我们的下一个实验检查相机的色调曲线的效果使用适当的白平衡;而不是2. 2sRGB伽马映射，我们使用了来自[17]的相机特定色调曲线。然而，当我们线性化sRGB图像时，我们使用已知的2。2解码伽马。图6示出了两个不同相机的鲁米诺通道的定量误差。不正确的线性化会导致显著的误差，根据相机的不同，误差范围从10%4.4. 亮度转换错误在这个实验中，我们检查了使用第2节中讨论的不正确转换方法的效果。3.4- YIQ、HSV和RGB平均值。图像是用佳能1Ds Mark III尼康D40Max是说STDMax是说STDYIQ0.0480.0180.0110.0480.0180.0101/30.1270.0250.0280.1260.0270.027HSV0.2870.0450.0530.2810.0480.053YIQ-Luma0.3320.2520.0830.3320.2530.0831/3-Luma0.3490.2300.0930.3500.2320.094HSV-Luma0.4780.2710.1060.4770.2740.108表1. [彩色图表]该表显示了[12]中使用两种不同相机（Canon1D和Nikon D40）的相机灵敏度函数的彩色图表合成图像的定量误差。编码伽马为2。2合成sRGB图像。佳能1Ds Mark III尼康D40Max是说STDMax是说STDYIQ0.0770.0040.0030.0760.0030.0031/30.1650.0020.0020.1740.0020.002HSV0.3730.0240.0200.4470.0230.020YIQ-Luma0.3270.2240.0680.3280.2220.0681/3-Luma0.3840.2140.0630.3910.2120.063HSV-Luma0.5770.2510.0820.6260.2500.081表2. [室外场景]该表显示了使用两种不同相机Canon 1D和Nikon D40的相机灵敏度功能的室外场景合成图像的定量误差在[12]中。编码伽马为2。2合成sRGB图像。适当的白平衡和2的编码伽马。二、这意味着输入图像尽可能接近理想的sRGB。我们使用适当的sRGB解码伽马并且在没有任何线性化的情况下应用这些方法-即，我们计算了不正确的“亮度”。虽然YIQ是在伽马编码的RGB空间上定义的，但我们显示了应用和不应用伽马解码的结果，这分别表示为YIQ和YIQ-Luma。标签图1和图2分别示出了颜色检查表和室外场景表中显示，不正确的转换（线性化）会导致两个不同相机的误差范围从1%到5%。室外场景（如图所示）7）没有那么糟糕，但包含的颜色变化比彩色图表少。然而，亮度的估计导致显著的误差，平均误差范围从30%到超过50%。4.5. 真实相机图像我们的最后一个实验使用了从光谱相机旁边的相机捕获的图像。图像已经仔细地使用单应性与彩色图表图像对齐。这些真实图像是由我们合成实验中使用的相同模型捕获的。图8示出了通过CIE XYZ颜色匹配函数（地面实况）合成的亮度与来自佳能1D相机的真实sRGB图像之间的定量误差顶行示出了地面实况光与地面实况光之间的比较。6756理想白平衡（地面实况）错误白平衡（2500oK）白平衡错误（4000 o K）白平衡错误（10000 o K）0.100.0750.050.025最大值：0.0491，平均值：0.0115，标准值：0.0120最大值：0.0097，平均值：0.0024，标准品：0.0024最大值：0.0144，平均值：0.0030，标准品：0.0036图5. 该图示出了亮度通道上的不适当白平衡的定量误差。三个不正确色温的白平衡矩阵-2500 K、4000 K和10000 K（正确的白平衡是6000 K）-被应用到彩色图表图像上。地面真实亮度使用sRGB伽马解码的亮度误差图最大值：0.2829，平均值：0.0981，标准品：0.08750.400.300.200.100.400.300.200.10最大值：0.2537，平均值：0.1062，标准品：0.0766图6. 此图显示了当相机的真实色调曲线未用于线性化sRGB值时发生的错误。误差在10%到18%之间。佳能1Ds Mark III尼康D40Max是说STDMax是说STDYIQ-T0.1370.0560.0320.0780.0270.0201/3-T0.2110.0650.0420.1710.0410.036单纯疱疹病毒-T0.3820.0900.0770.5320.1110.120YIQ-G0.2270.1230.0540.2000.1140.0431/3-G0.2880.1250.0630.2760.1140.057HSV-G0.3570.1110.0670.5230.1240.087YIQ-Luma0.1810.0680.0470.1530.0560.0371/3-Luma0.2220.0710.0530.2130.0640.045HSV-Luma0.5010.1590.1230.5400.1680.141表3. 此表显示了两种不同相机（Canon 1D和Nikon D40）拍摄的彩色图表真实图像的定量误差。T表示相机的适当色调曲线，G表示2的伽马。二、使用sRGB伽马校正从线性化的sRGB中获得亮度和亮度。底行显示了地面真实亮度与使用[ 17 ]中测量的相机色调曲线的线性化sRGB的亮度之间的一致性结果表明，在计算亮度之前，使用正确的色调曲线对RGB颜色值进行线性化是非常重要的。同样值得注意的是，在使用正确色调曲线的情况下，计算亮度值仍然有很小的误差（约2%）这是由诸如白平衡的不准确性、CCM准确性和在[17，15，31]中指出的选择性颜色调节等因素引起的。我们还研究了具有不同线性化的不同转换方法，特别是适当的色调曲线（T），解码伽马为2。2（G），且无线性化。选项卡. 3显示了发生的定量误差。结果表明，采用合适的色调曲线，计算亮度的误差量有趣的是，使用推荐的解码伽马2。2可能会导致更多的误差比没有线性化。5. 更好的替代品秒4表明亮度转换容易产生显著误差。我们的分析并不意味着使用这些方法的先前工作是不正确的，或者如果他们能够估计真实的场景亮度，他们的结果会更好。我们的结果意味着，许多先前的作品都错误地解释了他们的方法真正处理的内容。事实上，对于许多应用，通常没有理由尝试亮度转换。在本节中，我们将讨论亮度转换的替代方案，尼康D40Canon1DsMarkII色调曲线白平衡6757B1/3-RGB RG0.4YIQ-T1/3-T单纯疱疹病毒-TYIQ-G1/3-GHSV-GYIQ-Luma1/3-LumaHSV-Luma0.204005006007000.200.150.100.050.01230.01280.02980.07320.0725佳能1Ds Mark III0.12080.29400.29270.34930.20.10.200.150.100.050400500600700场景0.0139 0.01460.03090.0794 0.07880.1267 0.30400.3030 0.3586尼康D40图7.该图显示了[12]中使用两种不同相机Canon 1D和Nikon D40的相机灵敏度函数的室外场景合成图像的定性误差伽马值为2。2来获得sRGB图像。10.50.200.150.100.05地面真实亮度Canon1DsMarkII0010.50s RG Bgam m0.5adecoding1使用sRGB伽马解码的亮度最大值：0.2271，平均值：0.1250，标准品：0.05580.200.150.100.050.5 1Canon1Ds逆色调曲线使用逆色调曲线的亮度最大值：0.1367，平均值：0.0573，标准值：0.0337图8.该图显示了由CIE XYZ颜色匹配函数合成的亮度（地面实况）与来自相机Canon 1D的真实sRGB图像之间的定量误差顶行示出了地面实况亮度与来自使用sRGB伽马校正的线性化sRGB底行显示了地面真实亮度与使用[ 17 ]中测量的相机色调曲线的线性化sRGB的亮度之间的比较5.1. 色调映射色调映射对图像的强度值应用非线性缩放以增强对比度。这通常通过首先将图像分解为其亮度表示、处理亮度通道并且然后转换回来来执行。然而，正如我们所展示的，大多数亮度转换都是不正确的，这使得很难解释真正正在处理的内容。相反，在色调映射中通常期望的是在保持当前RGB颜色空间中的色度的同时修改对比度。这意味着经过处理后，中性色将保持“白色”，其他颜色的色度也不会改变。我们研究三种方法：YIQ、HSV和平均-RGB（1/3-RGB），以查看它们在色调映射后保持色度的能力。在本实验中，对一幅彩色图像分别进行两种方法的变换，用同一条非线性色调曲线拉伸其相应的注意，平均RGB仅定义单通道;如何使用它并转换回RGB在教程材料中解释。图9示出了色调映射操作器对这些方法的颜色色度的影响。红点表示原始色度，蓝点表示色调映射后的色度对于中性色，这四种方法都能保持其色度。图9. 该图显示了四种不同方法在色调映射算子上颜色色度的变化。红点表示原始色度，蓝点表示色调映射后的色度。然而，只有HSV和1/3-RGB可以保持彩色的色度。在YIQ的情况下，颜色色度向消色差点移动（例如，R=G=B）。有趣的是，尝试亮度转换会产生不期望的效果，而非亮度方法则可以满足此任务的目标。5.2. 特征检测转换为亮度以进行特征检测通常用于将RGB通道减少到单个图像，以更快地检测图像。2.2红色通道绿色通道蓝色通道色调图B原始RG色调图BHSVRG色调曲线BYIQRG亮度转换6758sRGB图像YIQ中的Y[21]中的“灰度三通道法sRGB图像YIQ中的Y[21]中的“灰度三通道法图10.该图显示了SIFT特征检测的几个示例第一列是彩色输入图像。第二列和第三列分别显示了使用YIQ的Y通道和从[21]获得的灰度图像的结果。最后一列显示了对三个颜色通道应用SIFT特征检测并将它们组合在一起的结果。处理.在这里，我们用两个常见的特征进行实验，SIFT[20]和Canny边缘检测[2]。这两种方法都是通过检测由场景对象纹理或边界引起的图像梯度来检测有用的图像特征。当需要单通道处理时，获得真实场景亮度并不重要，重要的是获得保持场景对象和纹理之间的梯度的表示。为此，颜色到灰色的方法（例如，[6，8，21]），将RGB转换为灰度图像，同时保留RGB对比度的一些概念。图图10和11示出了在三种不同方法上的Canny边缘和SIFT检测的几个示例：使用来自YIQ的Y通道，显着性保持脱色[21]，并独立处理所有三个颜色通道，然后聚合结果。可以看出，颜色到灰度转换方法有助于保持颜色对比度，并且允许SIFT和Canny获得比YIQ的简单转换Y更好的特征。当不需要更快的处理时，独立处理所有三个颜色通道并合并结果通常会提供最佳性能。在我们的补充材料中查看其他结果。6. 讨论和总结本文分析了计算机视觉和图像处理应用中最常见但不正确应用的操作之一-将相机RGB图像转换为场景亮度表示。据我们所知，这是第一篇系统地研究导致错误的各种因素的论文，特别6759图11. 该图显示了Canny边缘检测的几个示例。第一列是彩色输入图像。第二列和第三列分别显示了使用YIQ的Y通道和从[21]获得的灰度图像的结果。最后一列给出了在三个颜色通道上应用Canny边缘检测并将它们组合在一起的结果。- 1）不正确的等式，2）不正确的白平衡，以及3）不正确的伽马/色调曲线校正。我们的分析并不是要表明，现有的计算机视觉方法，应用亮度转换是不正确的，或现有的算法将受益于更准确的亮度转换。相反，我们的工作是为了证明替代的转换方法，不基于颜色科学用于转换sRGB相机时代的图像，以一个单一的通道表示。事实上，绝大多数计算机视觉算法并不依赖于RGB信号的色度特性，而是依赖于信号差异（梯度）方面的线索，这些线索可以从许多不同类型的单通道表示中获得。我们的希望是，这项工作将激励研究人员不要感到被迫应用一个错误的亮度转换，以出现科学合理的替代品时，如简单的平均-RGB，是一样有效，并可能工作得更好。确认这项研究的开展部分归功于加拿大第一研究卓越基金的资助：科学应用（VISTA）计划和谷歌研究奖。6760引用[1] M. 安德森 R. 莫塔 S. rasekar，和M. 斯托克斯互联网标准默认色彩空间建议在Color and Imaging Conference ， 第 238-245 页 ，1996中。3[2] J·坎尼边缘检测的计算方法。模式分析和机器智能 ， IEEE Transactions on ， （ 6 ） ： 679-698 ，1986。1、8[3] A. 查克拉巴蒂 Y. 阿雄， B. 孙先生， T. 达雷尔D. Scharstein，T. Zickler和K.萨恩科用色调映射彩色 图 像 模 拟 视 觉 辐 射 不 确 定 性 。 TPAMI ， 36（11）：2185-2198，2014。1、4[4] H. S. Fairman，M. H. Brill和H.赫门丁格CIE 1931颜色匹配函数是如何从Wright-Guild数据推导出来的。色彩研究应用，22（1）：11-23，1997. 2[5] R. C. Gonzalez 和 R. E. 伍 兹 . 数 字 图 像 处 理 。Prentice Hall Upper Saddle River ， NJ ： ， 2002.二、四[6] A. A. Gooch，S. C. Olsen，J. Tumblin，and B.古奇Color2gray：保留显著性的颜色移除。ACMTransactions on Graphics（TOG），24（3）：6348[7] M. Grossberg和S。纳亚尔相机响应函数的空间是什么？见CVPR，第602- 609页一、二、四[8] M. Grundland和N. A.道奇森脱色：快速，对比度增强，颜色到灰度转换。Pattern Recognition，40（11）：2891-2896，2007.8[9] J. Guild。光谱的色度特性。伦敦皇家学会哲学会刊，149-187页，1932年。2[10] H. Haussecker和D.舰队用亮度变化的物理模型计算光流。见CVPR，第760-767页，2000年。1[11] K. Ikeuchi和B. K.号角.阴影和遮挡边界的数值形状。人工智能，17（1）：141-184，1981。1[12] J. Jiang，中国粘蝇D. 刘，J. Gu和S. 很好彩色数码 相 机 的 光 谱 灵 敏 度 函 数 的 空 间 是 多 少 在WACV，第168-179页，2013中。五、七[13] C. Kanan和G.W. 科特雷尔颜色到灰度：这种方法在图像识别中重要吗？PloS ONE，7（1），2012.2[14] H. Karaimer和M. S.布朗用于操纵相机成像流水线的软件平台。在ECCV，第429-444页，2016年。1、4[15]S. J. Kim，H.T. 林，Z.Lu，S.Süsstrunk，S.琳一M. S.布朗 一种新的相机内成像模型，6761彩色计算机视觉及其应用TPAMI，34（12）：2289-2302，2012年12月。一、四、六[16] S. J.Kim和M.波勒菲斯稳健的辐射定标和渐晕校正。TPAMI，30（4）：562一、二、四[17] H. Lin，S. J. Kim，S. Süsstrunk和M. S. 布朗。再论彩色计算机视觉的辐射定标。在ICCV，第129-136页，2011年。一、四、五、六、七[18] S. Lin，J. Gu，S. Yamazaki和H.- Y.沈从单一图像进行射线测量校准。见CVPR，第938-945页，2004年。一、二、四[19] S. Lin和L.张某从单个灰度图像确定辐射响应函数。见CVPR，第66-73页，2005年。一、二、四[20] D. G.洛从尺度不变关键点中提取独特的图像特征。IJCV，60（2）：91-110，2004. 1、8[21] C.卢湖，加-地Xu和J. Jia.对比保留脱色与基于感知的质量度量。IJCV，110（2）：222-239，2014。8[22] S. K. Naik和C. Murthy.无色域问题的保色相彩色图像增强。TIP，12（12）：1591-1598，2003. 1[23] R. M. H. 阮 氏 D. K. Prasad 和 M. S. 布 朗 Raw-to-raw：图像传感器颜色响应之间的映射在CVPR，第3398-3405页，2014年。5[24] C. 波因顿数字视频和HDTV：算法和接口。摩根·考夫曼，2012年。4[25] J. 罗梅罗，J. 你好，J。L. 没有，而且J. A.加西亚具有日光变化的对象的颜色坐标。色彩研究应用，28（1）：25-35，2003。2[26] I. 佐藤，澳-地Sato和K.池内来自阴影中亮度的照明分布：阴影区反射特性未知的光照分布自适应估计。载于ICCV，第875- 882页1[27] J. - L.斯塔克湾Murtagh，E. Candes和D. Donoho用曲波变换增强灰度和彩色图像对比度。TIP，12（6）：706-717，2003. 1[28] S. 叙斯特伦克河 Buckl ey和S. 斯文标准的rgb颜色空间。彩色和成像会议，第127-134页，1999年二、三[29] A. 脚 趾 多 尺 度 彩 色 图 像 增 强 。 PatternRecognition Letters，13（3）：167-174，1992. 1[30] W. D.赖特光谱色三原色系数的重新测定光学学会学报，30（4）：141，1929。2[31] Y. Xiong，K.Saenko，T.Darrell和T.齐克勒从像素到物理：可能是去渲染颜色。在CVPR，第358-365页，2012年。一、四、六