基于二色性模型的交流光源时间色彩恒常性方法研究

12329基于二色性模型的交流光源时间色彩恒常性Jun-Sang Yoo，Jong-Ok Kim韩国首尔高丽大学电气工程学院网址：look2017@korea.ac.kr，jokim@korea.ac.kr摘要现有的二色性颜色恒常性方法通常需要大量具有高镜面反射度的空间像素。本文提出了一种利用高速摄像机对交流光源的照明色度进行估计的新方法。我们发现，在一个固定的位置上的图像像素的时间观测分布在一个相同的二色平面上。代替具有高镜面反射性的空间像素，利用像素的多个时间样本来确定用于二色平面估计的AC像素，其像素强度正弦变化良好。每个AC像素计算一个二色平面，光源色度由二色平面的相交确定。从多个二色平面，一个最佳的光源估计与一个新的MAP框架。结果表明，所提出的方法优于现有的基于二色性的方法和时间的颜色恒常性的方法，无论镜面反射量。1. 介绍色彩恒常性是人类适应各种光照条件变化的内在能力[30]。由于我们大脑的记忆能力，人类可以很容易地辨别物体的原始颜色，而不管照明条件如何[26，29]。相比之下，对于机器视觉，必须需要计算颜色恒定性技术来恢复对象的原始颜色，因为它不具有关于对象的反射率和光源颜色的任何先验知识。因此，颜色恒常性在机器视觉中起着至关重要的作用，有助于图像质量的提高。已经有许多颜色恒定性算法来改善颜色视觉质量[1，3，7，9，11，17，34]，并且这些方法中的大多数通常分为4个主要类别：基于几何学、基于物理学、基于色域和基于学习的方法。基于统计的方法一直是最活跃的研究。由于其简单的朗伯假设，图1.拟议方法摘要。用高速摄像机捕捉交流光源的快速变化。一个illuminant估计从多个二色平面，这是从一个像素的时间观察。反射率和低计算成本，具有相当高的精度[6，19，39]，甚至常用于数码相机[43]。然而，这些方法有一个关键的缺点，即场景必须包括目标表面上的各种颜色，以满足其统计假设[10，38，39]。另一方面，基于物理学的方法比基于几何学的方法更复杂，因为额外考虑了特殊性（表面反射光）[36]。它们的基本概念是基于光学反射模型，该模型表示光源和物体表面之间的物理关系[13，38]。与基于几何的方法相比，它们在单调的表面颜色下工作得很好[11，14，35]。然而，由于二色反射模型中的参数数目通过增加镜面分量而增加，它们成为严重的不适定问题，因此通常需要附加的假设，例如固定参数（共同漫射权重）和足够的镜面性。基于色域的方法[12，16，18]也吸引了许多关注，但它们需要适合于目标光源的适当训练数据。最近，已经提出了基于学习的方法来使用卷积神经网络。12330ral网络他们在给定大量图像-光源颜色对的情况下学习每层的大量滤波器参数，并绘制最佳解决方案[2，4，8，21，33]。然而，它们的性能高度依赖于训练数据集，并且仍然难以清楚地解决基本不适定问题，例如区分物体反射率和照度[4]。由于高速摄像机时代的最新发展，它刚刚配备了智能手机等消费设备。预计它将在未来广泛用于消费者和工业，因为它可以捕获人眼无法感知的场景的微小变化[5，20]。在本文中，我们提出了一种新的方法，利用高速捕获能力的颜色恒常性。交流（AC）电功率随时间呈正弦变化。例如，对于60 Hz AC电源，它每秒闪烁120次。由这种交流电供电的光源使它们的强度以两倍的交流频率波动[44]。交流光源的这种闪烁可以被高速摄像机捕获先前的基于二色性的单个图像方法使用不同的空间像素来获得二色性线或平面。它们的性能很大程度上取决于空间像素（所谓的镜面反射像素）的选择，理想情况下，空间像素具有相同的漫反射和镜面反射色度。然而，从图像中提取镜面区域是困难的。尤其是它们对于非镜面图像的效果很差，非镜面图像通常具有低信噪比（SNR），导致模型估计精度低[38，46]。现有的基于颜色的时间方法[31，48]利用相邻帧的RGB强度差异来估计光源颜色。这些方法还需要高镜面反射性，因为具有低强度的像素易于具有许多时间噪声。在本文中，我们提出了一种新的时间色彩恒常性方法。通过对时间域上一个像素点的多次高速观测，寻求不适定二色性方程的最优解。交流光强度的正弦变化使我们能够在短时间间隔内在场景的同一位置获得与先前的基于双色模型的方法相比，所提出的方法不需要高镜面反射率区域，并且不假设双色模型的漫射权重是固定的。到目前为止，这些假设一直是实际使用的关键限制我们分析了双色模型参数的时间变化，实际观察到漫射和镜面反射权重在时变AC光下是动态的。这意味着在AC光源下，光学模型应该由原始平面而不是投影线来描述受此观察的启发，我们首先确定一组AC像素，这些AC像素是具有si的像素nusoidally变化的强度。AC像素比镜面像素更常见，并且由于其周期性强度特性而可以容易地确定注意，在现有方法中，基于二色性的照明估计非常敏感地受到像素样本的镜面反射性的影响。该方法利用高斯-牛顿法对时域上的像素强度进行正弦曲线建模，并选取多个对于每个AC像素，以最小二乘法估计二色平面。从这些AC像素中，我们获得二色平面，并通过计算一对二色平面的相交来获得候选光源该候选光源估计是针对所有二色平面对执行的最后，一个最佳的照明估计提出的最大后验概率（MAP）框架。该MAP估计通过结合光源的物理和统计特性来制定，这些物理和统计特性实际上是方向准确性（似然性）和普朗克轨迹距离（先验约束）。通过一个MAP配方与两个属性，物理和统计优势的最佳结合，产生一个准确的估计光源。本文的贡献总结如下：• 在交流光源下，高速摄像机可以捕捉到光源强度的快速变化我们分析了各种-在时域上对图像像素点进行量化，并利用它们来精确估计二色平面，从而可以很容易地估计场景的最佳光源。• 由于像素的正弦时变特性，我们可以很容易地选择有助于估计的AC像素精确的二色平面。此外，它是很容易去噪的正弦建模。这种AC像素很容易找到，并且比镜面反射像素更常见。• 我们提出了一个新的MAP估计框架，以确定一个最佳的光源，从多个双色飞机它综合了光源的物理特性和统计先验。2. 基于二色性的光源估计在二色反射模型中，来自非均匀物体的反射光由漫反射和镜面反射组成，因为表面和物体之间的折射率不同（导致漫反射），表面和空气之间的折射率不同（导致镜面反射）[36]。因此，它由漫射和镜面反射分量组成，并由色度和照度的加权和表示，如下所示：Ic=mdΛc +msΓc，c∈r，g，b（1）其中Λc和Γc分别是漫射和照明（镜面）色度。在（1）中，md和ms是扩散的，12331我我100-10漫射权重镜面权重0 5 1015帧索引（一）50-5-10 0 10漫射权重（b）第（1）款颜色几何形状被一起选择，由于这些空间像素具有不同的M_D，所以它们工作得很差。如果选择具有不同md的像素注意，二色线的方向支配性地确定光源颜色，甚至线方向估计中的边际此外，迪-图2.漫反射和镜面反射权重的变化。(a)相对时间变化和（b）它们的关系。如（b）所示，md和ms具有非线性关系，因此二色性模型应跨越平面而不是直线。镜面权重，其定义为：二色线的建立易受样本数据的噪声的影响，这会严重扭曲二色线。二色平面方法具有与线性模型类似的问题，因为应该从不同的空间像素估计平面，所述空间像素被假设为具有相同的漫射和镜面色度。选择那些像素是困难的，并且由于增加的噪声，md=wd ΣBi，ms=ws ΣGi（2）维度因此，它最近没有被积极地研究。其中wd和ws是表示反射率的几何依赖性的参数，并且它们实际上由入射面法线与入射面之间的角度确定灯光方向两Bi和Di与内部相关入射光的强度。还有，Bi和我反映出不同的-分别融合菲涅耳和菲涅耳反射率[23，42]。在颜色恒常性中，二色性模型用于从反射光中分离光源色度Γc现有的基于二色模型的照明估计方法可以分为基于线的[14，25，38，46]和基于平面的[13，35，时间图像颜色恒定性对于图像序列，已经提出了一些基于二色性的时间颜色恒定性方法[31，48]。他们的关键概念是（1）中的md在相邻帧之间不改变，这是基于入射光源强度和表面几何形状通常在时域上保持不变的观察（表示为md（t）=md（t+t））。因此，通过计算两个相邻帧的像素强度的差，可以在镜面色度和漫射色度不随时间变化的假设下估计镜面色度。这是由40，41]方法。 在这些方法中，它们通常收集Ic（t+t）−Ic（t）Ic（t）- 一组不同的空间像素，其被假设为具有相同的Λ和Γ，并且估计多个线或平面，Γc =S （t+t）−ms=（t）吨（四）（吨）明智的估计如果md（Λc−Γc）在均匀表面上是常数，则二色平面（其对应于（1）可以画成一条直线。在逆强度色度（IIC）空间[38]中，RGB色度（定义为σc=ΣIc ）可以由每个通道的反向强度和镜面色度之间的线性关系表示，如1σc=pl+Γc（3）Ic其中pl =md（Λc−Γc）。受IIC的启发，Wooet al.[46]提出了反强度红色色度（IIRC）空间它们示出了目标镜面色度（对应于（3）中的Γc这些基于线的方法可以降低二色性模型的复杂性，即使反射率s（t）仍然未知，也可以通过归一化来容易地计算镜面色度ΓcIc（t）.该方法简单、实现速度快，但在低镜面反射条件下效果不佳，因为低镜面反射区域的像素信噪比相对较低。由于SNRc（t）通常非常小，因此噪声可能是严重的障碍，特别是对于易受噪声影响的拍摄环境，例如低光和高帧速率（或短曝光时间），这导致低SNR。（1）中的漫射和镜面反射权重实际上在典型的室内环境下是变化的。为了确认这种变化，我们以150fps捕捉白色检查器。然后，漫反射和镜面色度计算，从颜色检查器图像序列，基于先验知识，白色检查器是无色的。二色模型（1）可以用矩阵-矢量积的形式重写为：将2D平面转换为1D直线。 然而，他们通常会--在均匀的表 面上需要如此多的镜面反射相对强度镜面权重M12332像素，IRΛRΓR. mΣ假设md是常数。换句话说，如果照明-nant强度变化或像素从表面与disc，IGIB<$B IBms（五）12333每个AC像素的双色平面所选AC像素双色面估计颜色校正校正图像输入图像光源估计光源估计颜色校正AC变化分析/建模高速图像tt时间分析图3.拟议方法摘要。我们分析高速影像所捕捉到的微小时间强度变化，并利用此来获得精确的二色性平面以进行光源估测。通过将伪逆应用于（5），可以容易地估计md和ms如图2，md和ms都是动态的，因为它们反映了入射光的时变强度。如果图像像素的几何形状也随时间变化，通过移动光源或相机，它们波动更动态。据我们所知，这些性质迄今为止一直被忽视，没有得到认真对待。在此基础上，提出了一种基于时变交流光源的二色性平面估计方法，该方法将md和ms作为变量，并尝试利用时变交流光源来估计二色性平面。3. 该方法假设静态视频，在二色模型中，镜面和漫射色度对于整个视频保持不变（除非照明颜色改变），（1）。另一方面，由于AC入射光的强度变化，权重md和ms随时间变化因此，在时间域上，固定像素位置的RGB强度矢量存在于相同的二色平面（其由Λ和Γ跨越）上，并且它们的时间位置由md和ms确定。我们观察到这些时间位置变化的AC像素，并利用它来估计准确的二色平面。多个二色平面从AC像素的数量估计，并且照明颜色可以从它们的交叉点估计。怎么-是随时间正弦变化的并且包含少得多的噪声。然后，二色平面估计每个AC像素，其时间强度变化的基础上。最后，通过计算每个二色平面对的交点来提取一组候选光源矢量。使用MAP估计来估计最佳光源。注意，所提出的方法可以同样地应用于使用运动估计的动态视频[31，48]。然而，由于动态视频的估计精度取决于运动估计的性能，因此本文不涉及运动估计。3.1. AC像素的选择在本小节中，我们从输入高速帧确定AC像素的数量以估计二色平面。AC像素由其强度随时间正弦变化的像素定义，就像AC光变化一样。如果像素在时域上的多个观测值拟合到正弦曲线中，则其变为AC像素。由于曝光时间短，高速图像本身就很容易受到噪声的影响.通过利用AC像素的周期性，我们可以很容易地去除时间噪声的影响这种无噪声的AC像素对于准确地估计二色平面起着至关重要的作用RGB 三 个 通 道 的 平 均 亮 度 可 表 示 为 Im=（IR+IG+IB）/3，可建模为附加偏移量的正弦曲线经修饰的序列表示为然而，二向色平面精度的估计是具有挑战性的由于高速图像固有的低光噪声，Im（t）<$f（t，β）=Am正弦（4πfact/F凸轮+φ）+off（6）因为曝光时间短。 如图所示。 3，我们首先确定一组AC像素，其中Am是AC光的最大变化，φ是相位，fac是AC电流的频率（例如，通常为50或6012334图4.AC像素的正弦模型拟合 注意迭代收敛于

下载后可阅读完整内容，剩余1页未读，立即下载