没有合适的资源?快使用搜索试试~ 我知道了~
基于稀疏低秩反射模型的高光去除方法
基于稀疏低秩反射模型的郭杰1、周作建2、王利民11南京大学软件新技术国家重点实验室2南京中医药大学信息技术学院网址:guojie@nju.edu.cn,lygzzj@163.com,网址:www.example.com,07wanglimin@gmail.com抽象。 我们提出了一种稀疏和低秩反射模型,用于使用单个输入图像进行特殊高光检测和去除。该模型的动机是观察到自然图像的镜面高光通常具有大的强度,但相当稀疏地分布,而剩余的漫反射可以很好地近似由几个不同的颜色与稀疏和低秩加权矩阵的线性组合。我们进一步对加权矩阵以及高光分量施加非负性约束,以确保模型是纯加性的。 有了这个反射模型,我们重新制定的任务,高光去除作为一个约束的核范数和l1范数最小化问题,可以有效地解决了增广拉格朗日乘子法。 实验结果表明,该方法在合成图像和真实图像上都有较好的效果,尤其是在自然光照、色调饱和度模糊和强噪声等复杂场景下,具有较强的竞争力。关键词:高光去除·低秩·稀疏·漫反射。1介绍现实世界场景中的绝大多数对象表现出漫反射和镜面反射两者。镜面反射的存在被认为是各种计算机视觉任务(包括图像分割、模式识别和对象检测)的障碍,因为它产生不期望的不连续性并降低图像对比度。因此,将镜面高光与漫反射分离是至关重要的,并且形成了许多高级视觉任务的核心。虽然高光可以通过一些特殊的设施(诸如像素过滤器[ 1 -4 ]或多像素过滤器[ 5 ])很好地抑制,但是更合适的是仅使用单个颜色图像而无需任何硬件辅助来去除它们。然而,从单个图像中去除高光构成了具有比方程更多未知数的不适定问题。本文的目标是基于二色反射模型[6]分离单个输入图像的反射分量。我们注意到,在许多现实世界的场景中,高光区域是相对较小的连续块2J. Guo等人而漫反射的颜色可以通过少量不同的颜色很好地近似前一个观察结果意味着图像中的高亮区域往往是稀疏的。类似于非局部图像去雾[7]中的观察的后一这启发我们使用稀疏和低秩矩阵分解来分离漫反射和镜面反射[8- 10 ]。基于从这些观察中获得的见解,我们提出了一个稀疏和低秩反射(SLRR)模型。 该模型假设镜面高光具有与入射照明相同的光谱分布(即,中性界面反射假设[11]),并且在给定图像的空间域中相当稀疏。我们还假设每个漫射颜色可以由每个“漫射颜色”的“自漫射颜色”的每个“漫射颜色”的组合来表示,并且由该组合所表示的漫射颜色是低分辨率和稀疏的。低秩表示加权矩阵[12,13]中的一些全局结构,而稀疏性源于漫射颜色在图像中聚集为块的事实。在这种情况下,高光去除过程被公式化为受约束的核范数和11范数最小化问题,其可以通过具有交替方向最小化(ADM)策略的增广拉格朗日乘子(ALM)方法有效地解决[14]。为了确保我们的模型是纯加性的,并且避免通过减法相互抵消,我们进一步明确地对其施加非负性约束。这将带来一些难以优化的不等式约束。我们解决这个问题,通过引入松弛变量和不等式转化为等式。这些等式被添加到增广拉格朗日函数。为了证明我们的方法的有效性和鲁棒性,我们进行了广泛的评估,使用各种合成和真实世界的图像从几个公共图像数据集。实验结果表明,我们的方法实现了更好的性能在许多任务比国家的最先进的。特别地,它可以有效地处理一些具有挑战性的场景,包括自然光照和色调饱和度模糊。2相关工作高光去除近年来备受关注[15]。现有的高光去除工作一般分为两个高级别类别的基础上使用的图像的数量。在第一类中,是利用多个图像去除突出显示的方法。由于高光区域是方向相关的,因此自然地使用来自不同视点[16,17]或来自多个光位置[18,19,5]的图像序列来存储是否模糊。考虑到镜面反射和漫反射保持不同的偏振度,偏振矩阵方法[1-4 ]需要以不同的偏振取向捕获的一组图像以用于精确的其他辅助数据,例如由多光谱光级[16,17]或闪光系统[20,21]产生的辅助数据,也对此有益单个图像高光去除3任务尽管它们的有效性,这些方法对日常用户的吸引力较小,因为这样的图像数据集在实践中并不经常可用第二行的工作重点是消除突出从一个单一的图像。由于该问题本质上是不适定的,因此应该利用关于自然图像的特征的先验知识或假设实际上,关于颜色或空间的一个重要的工作是[22- 24 ],其仅限于与均匀的表面颜色一致,并且可能涉及图像分割。为了处理纹理表面,Tan和Ikeuchi [25]开创了无镜面反射图像的想法,从那时起就被广泛研究无镜面反射图像是具有与输入图像的真实漫射分量相同的几何轮廓的伪漫射图像。它可以通过将每个像素的漫射最大色度设置为任意值[25,26]或通过将RGB颜色线的最小值用于像素[27- 30 ]来生成。Kim等人。[31]通过应用暗通道先验获得了近似的无镜面反射图像。Suo等人[32]定义了l2色度,并使用它来生成无镜面反射图像。 Yang等人[26]提出了一种快速双边滤波器,采用无镜面反射图像作为距离加权函数。几种方法[28,30,33]使用无镜面反射图像进行像素聚类,然后恢复每个聚类中的漫射颜色无镜面反射图像的主要缺点是存在于许多自然图像中的色调饱和度模糊。Liu等人[33]建议使用附加的补偿步骤来提高漫射色度的非彩色分量。一些基于单个图像的方法不明确地依赖于无镜面反射图像。例如,Mallick et al. [34]提出了一种PDE算法,该算法迭代地侵蚀SUV颜色空间中的镜面分量。但是这种方法在大的镜面反射区域上表现不佳 Ren等人[35]将色线约束引入二色反射模型,提出了一种快速高光去除方法。 Li等人[36]利用专门的领域知识来指导去除面部图像中的镜面高光。使用相邻图案合成填充缺失区域的修复技术也已被应用于恢复漫射颜色[37,38]。我们的方法与Akashi和Okatani [39]的方法有一些然而,NMF的当前算法对初始值敏感,并且仅保证找到局部最小值而不是全局最小值。因此,该方法需要运行多次以获得最合理的结果。此外,由于NMF在一般情况下对离群值高度敏感,因此该方法在存在强镜面反射性或噪声的情况相反,我们的方法依赖于稀疏和低秩分解,这对离群值更加鲁棒。3稀疏低秩反射模型为了利用图像中的稀疏和低秩结构,我们根据二色反射模型[6]的公式推导出一个新该模型指出,像素p的观察到的图像强度I是a的和4J. Guo等人×Dǁ· ǁk=1KKK漫射分量Id和镜面分量Is:I(p)=Id(p)+Is(p)= md(p)Λ(p)+ms(p)Γ(p)(1)其中Λ(p)和Γ(p)分别表示漫射分量和镜面分量的色度M_d(p)和M_s(p)表示它们的相应系数,这些系数是消色差的并且仅取决于成像几何形状。对于给定的图像,可以假设镜面色度是均匀的,并且等于入射照明的色度[11]。 像许多其他镜面去除方法一样,我们经由[40]中的颜色恒定性算法来估计真实世界图像的照明色度Γ,并且然后在预处理时间p中通过I(p)/(3r)来归一化真实世界图像中的照明色度Γ。在此之后,我们将继续进行优化,即:e. ,Γr=Γg=Γb=1/3。 其中,我们发现高光区域的大小较小且分布相当稀疏。这意味着ms(p)仅对于低密度像素是非零的。相反,漫射分量Id通常具有高密度的有效数据。然而,由于自然对象的漫反射率通常是分段恒定的,因此Id的不同颜色的数量是小于像素数量的数量级[7]。 所以,只要有一个合适的颜色,或字典Φd=[φ1,φ2,· · ·,φK],Id可以忠实地 重建I(p)= ΣK其中w(p)彡0是像素p.w.r.t.基本颜色φk。非负性约束使得每个像素-el值停留在字典的凸包中,避免通过减法相互抵消。理想地,仅对于一个基础颜色,w_k是非零的,这意味着w_k是稀疏的。同时,由于颜色字典Φd通常是过完备的,所以应该从低秩子空间中得出wk我们最终得出了以下稀疏和低秩反射模型:X=Φd Wd+ ΓMs(2)其中X是一个3×N矩阵,每列代表一种像素颜色。N是图像中的像素总数。Wd是由所有像素的加权系数形成的K N由于镜面色度Γ被假设为给定图像的恒定列向量,因此我们使用秩一表达式来表示镜面分量,其中Ms是大小为1的行向量。1×N编码镜面反射高光的位置和强度。上述分析揭示了Ms趋于稀疏,而Wd既稀疏又低秩。此外,由于像素值是非负的,我们还对Ms和Wd施加非负约束。以这种方式,输入图像的反射分离问题可以用公式表示为以下具有等式和不等式约束的优化问题:minWd,Ms秩(Wd)+λ<$Ms<$0+τ<$Wd<$0(三)S.T. X=ΦdWd+ ΓMs,Wd≥ 0,Ms≥ 0其中λ和τ是用于平衡不同组分的效果的参数。0表示矩阵的l0范数,其计数矩阵中的非零项的数目。单个图像高光去除5ǁ·ǁ- -Lǁ·ǁµ4模型优化不幸的是,Eq。3是高度非凸的,没有有效的解决方案是可用的。为了使 操 作 简 单 化 , 我 们 有 一 个 Eq 。 3viarepl aci ngrank ( · )withh·*and·0with·1as in the sparse and low-rank matrix decomposition.这里·*是由矩阵奇异值之和定义的矩阵的核范数,1是l1范数。我们还引入两个辅助变量J和H以使目标函数可分离:minJ, Ms,H, WdJ(四)S.T. X = Φ dWd + Γ Ms,J = Wd,H = Wd,Wd≥ 0,Ms≥ 0.该优化问题涉及两个非负约束。 为了应付这些不平等,一个简单的策略,庄等人建议。[41],是在每次迭代期间将W d和M s中的负项直接箝位为零。不幸的是,我们发现这样一个简单的策略显示出较差的收敛性,如图所示8. 相反,我们引入两个非负松弛变量S1和S2,将非负约束转换为两个等式约束:W dS 1 = 0且M sS 2 = 0。已经开发了各种算法来解决优化问题,其中ALM方法[14,8]使用最广泛。该方法通过一系列无约束子问题来替换原始的约束优化问题,这些无约束子问题可以通过软阈值或奇异值阈值(SVT)[42]有效地解决具有两个松弛变量的上述优化问题的增广拉格朗日函数为L(J, Ms, H, Wd, Yi, S1, S2,µ)=Σ52(五)Ji=1+2(EiF)其中Y i是拉格朗日乘数,μ > 0是惩罚参数。E i是五个等式约束,即 , E1= X − Φd W d− ΓM s , E2= J − W d , E3=H−Wd ,E4=Wd−S1,和ndE5=Ms−S2。 <·,·,d表示两个矩阵之间的距离和内积,而F表示矩阵的Frobenius范数。采用ADM策略的ALM方法将最小化问题分解为若干个子问题,在子问题中,变量在其他变量固定的情况下交替更新。4.1更新J通过一些代数,在保持其他变量固定的情况下,J上的优化问题被重新排列为¨。∗1 1¨Σ¨Y2¨J= arg min µ J*+2¨J − W d− µ¨。(六)JüéF26J. Guo等人J =D−1 ⊤⊤S||−Ssτ/µd3对于常规核范数,该子问题的解解析地给出为∗1/µ (Wd-Y2/µ)。(七)[2019 - 04 - 22][2019 - 04][2019 - 04][2019 - 04| Σ|其中UΣV是A的奇异值分解。对于加权核范数,如果权重是非升序的,我们也可以得到类似的解析解[43]。在本文中,我们倾向于加权版本以获得更好的性能,并且权重w被设置为2016 -05 -22 00:01:00|Σi,i|+δ)(8)其中使用小常数δ来避免除以零。对于权重w,我们有D1/µ A= U[sgn(Σ)max(|Σ|− µ−1diag(w),0)]V。4.2更新%M% s在我们的上下文中,M是N维行向量。 假设Γ是预先已知的,我们可以将M s的更新公式化为:¨。 .∗λ1¨1⊤Σ Σ¨Y1 Y5 ¨Ms= arg minµg Ms1+2¨ Ms−gΓX−ΦdWd +µ−µ+S2¨M¨ ¨S2(九)其中hi chg=ΓΓ。通过将t=h的函数分解为rτ(x)=sgn(x)max(xτ,0),该子问题也具有解析解:..⊤ΣΣM =λµgΓ(X−ΦdWd+Y1/µ)−Y5/µ+S2/克。(十)4.3更新H类似地,我们可以将优化H的子问题重新排列为¨。∗τ1¨Σ¨Y3¨H = arg minµH1 +2¨ H− Wd−µ¨(十一)H¨F并使用软阈值算子有效地解决它:H *= S(W− Y/µ)。(十二)请注意,此运算符是针对矩阵逐元素执行的。4.4更新W% d在其他变量固定的情况下,子问题w.r.t. Wd是二次的。因此,这是一个具有封闭形式解的标准最小二乘回归问题:W* =(ΦΦ+3I)−1(ΦX−ΦΓM+J+H+S+(ΦY+Y +Y−Y)/µ)。D ddD DS1天1 2 34(十三)22单个图像高光去除7∈××1047632.5×10410000900080005241.531210.57000600050004000300020001000001020304050607080900010203040506070809000102030405060708090图1.一、对三种典型自然图像的颜色直方图进行排序。4.5更新Slack变量子问题w.r.t.两个松弛变量(S1和S2)也是标准最小二乘回归问题。它们的解由下式给出:S*= max(W+ Y/µ, 0)和S*= max(M+ Y/µ, 0)(14)1d42s5分别添加max函数以确保S1和S2都是非负的。4.6构建颜色词典在稀疏和低秩表示中,构造适当的字典是重要的。一个简单的选项将整个输入日期作为字典[12]。然而,这样大的字典在计算上是昂贵的并且消耗太多存储空间。受自然图像的非局部先验[7]的启发,我们采用以下直方图分箱方法来构建颜色字典Φd。该方法需要在单位球面上构造经度θ和纬度φ的二维面元。我们使用与[7]中相同的策略来均匀地镶嵌单位球体。对于输入图像,我们将每个像素I(p)视为三维向量并将其转换为球坐标:I(p)=[r(p),θ(p),φ(p)]。然后,基于θ(p)和Φ(p)将每个像素分配到适当的仓中。之后,我们根据它们的密度以降序对所有的箱子进行排序(见图1)。1)并选择顶部K个箱。将bin中心看作字典ΦdR3×K中的原子。图1示出了本文中使用的三个典型自然图像的分类颜色直方图。显然,图像中只有有限数量的不同颜色。4.7高光去除算法我们的高光去除方法的完整步骤在算法1.该算法的输入是被整形为3N矩阵的单个图像,其中每列存储像素值。输出包括颜色字典Φd、加权矩阵Wd和镜面系数矩阵Ms。有了这些输出,我们可以很容易地获得漫射分量和镜面反射分量根据方程。2.注意,如第10行所示,使用惩罚参数μ的自适应更新策略,这使得收敛更快。8J. Guo等人dsd算法1利用SLRR模型去除高光输入:图像数据X∈R3×N。1:初始化:W d= J = H = 0,M s= 0,S 1= 0,S 2= 0,Y i= 0,µ = 0。1,10 −6µmax = 10,ρ = 1。1,= 10,K =50;2:构造颜色字典Φd; 3:当不收敛时,4:根据等式更新J7;5:根据等式2更新Ms。6:根据等式10更新H 7:根据等式12更新Wd13岁;8:根据等式8更新松弛变量S1和S214人;9:更新拉格朗日乘数:Y i← Y i + µ E i,i = 1至5;10:更新µ:µ← min(µmax,ρµ);11:检查收敛:maxi(EiF/XF);<输出:Φ ∈ R3×K,W ∈ RK×N,M ∈ R1×N。5实验结果与讨论为了验证所提出的方法的有效性和鲁棒性,我们评估它的合成图像和许多真实和实际的场景。我们还提出了一些比较最近提出的方法谭和Ikeuchi [25],沉等阿湖 [28],Yangetal. [26],ShenanddZheng[30],Akash√ianddOkatani[39],andnd√Ren等[35]。除非另有说明,否则λ被设置为0。1/这对许多情况来说是一个很好的起点。5.1照明色度N,而τ被设置为1/N。回想一下,我们使用[40]中提出的颜色恒定性算法来估计照明色度Γ。图2和表1表明,我们的方法对Γ的一定量的估计误差是为了证明这一点,我们提供了两个场景渲染四种不同的照明配置。照明色度的准确率值在表1的第二列中列出如所预期的,在我们的方法中使用精确的Γ值(图13的第三行)。2)导致紧密匹配地面实况结果的高质量结果(图2的第二行)。2)的情况。虽然Γ的估计误差对我们的方法具有负面影响(图4的第四行)。2),我们仍然获得了令人满意的结果,PSNR略有下降(见表1)。5.2合成图像和实验室图像图3在两幅合成图像上进行了实验第一个场景包括单个渲染球体。 上半球和下半球的漫反射率被设置为[0。八比零。5,0。5]和[0. 八比零。2,0。2],使得它们共享相同的如图3、当漫反射率为单个图像高光去除9(a)Γ1(b)Γ2 (c)Γ3 (d)Γ4(e)Γ1 (f)Γ2 (g)Γ3 (h)Γ4图二、照明色度对高光去除的影响第一行示出了在四个不同照明色度下的两个渲染场景,并且第二行给出了每个输入图像的对应漫射分量 第三和第四个小时分别使用CC和STIM方法来实现Hood的Re l teti n色度。准确图2左图2 权估计PSNR1 PSNR2估计PSNR1 PSNR2Γ1 【三分之一,三分之一,三分之一】[0。三十六,零。29,0。三十五]33.131.9[0。34,0。35,0。31]34.934.0Γ2[0。6,0。2,0。2][0。64,0。19,0。第十七章]37.133.0[0。63,0。20,0。第十七章]37.435.1Γ3[0。2,0。6,0。2][0。21,0。63,0。第十六章]37.335.6[0。20,0。63,0。第十七章]37.633.8Γ4[0。2,0。2,0。六、[0。22,0。23,0。55]37.033.0[0。22,0。22,0。56]37.435.1表1.图中四种不同照明配置的照明色度2和相应的PSNR值。在这里,PSNR1和PSNR2分别用精确的和估计的Γ值为我们的方法计算接近于入射照明颜色,对于许多方法,尤其是基于无镜面反射图像的那些方法,这些方法将错误地将上半球的整个区域视为被镜面反射污染,使得该区域在分离后非常暗淡尽管NMF方法[39]试图保持这些区域的饱和度,但在本实验中分离是不够的。相比之下,我们基于SLRR模型的方法将强高光视为稀疏离群值,并使用颜色字典对剩余的漫射颜色进行编码,其中两种颜色:[0. 八比零。5,0。5]和[0. 八比零。2,0。[2]在标准化之后存在。因此,我们成功地去除了高光,减少了颜色失真。与其他方法相比,我们的方法实现了最好的分离结果,非常接近地面真值(G.T.)。关于球的场景的进一步讨论在补充材料中给出。图3的第三和第四行中所示的另一挑战场景。3也含有色相-10J. Guo等人(a)来源(b)G.T.(c)我们的(d)[25](e)[28](f)[26](g)[30](h)[39](i)[35]图三.突出显示两个合成图像的去除结果。从(c)到(i),我们将我们的方法与Tan和Ikeuchi [25],Shen等人[28],Yang等人[26],Shen和Zheng [30],Akashi和Okatani [39]以及Ren等人的方法进行比较。[ 35]第35段。饱和模糊度同样,我们的方法优于以前的工作,并保留了大部分的纹理细节。图4呈现了在具有良好控制的照明配置的四个实验室捕获的图像上的不同高光去除方法的结果。这些伴随着地面实况结果的图像由沉和郑[30]并且已经被归一化为w.r.t.。照明颜色。因此,照明色度的准确值为Γ =[1/3,1/3,1/3]。图4将我们的方法与在该数据集上表现良好的三种竞争方法进行了比较。为了公平比较,在每种方法中使用准确的照明色度。我们还提供了我们的方法使用估计的照明色度产生的结果 视觉比较表明,我们的方法使用准确或估计的照明色度的分离的漫射分量匹配地面实况结果相当好。虽然在照明估计中存在误差,但是差异是微妙的。为了进一步验证我们的方法的准确性,我们提供了图的定量分析。图3和图4在表2中。用于评估的误差度量是PSNR和SSIM w.r.t.地面真相如所见,我们的使用准确照明色度的方法对于两个合成图像实现了最高分数,并且对于实验室图像也在PSNR和SSIM两者中实现了两个最高分数同样,光照估计的误差也不会明显影响我们的结果。实验结果表明了该方法的优越性,并与图1中的视觉效果相一致。3和图4.第一章5.3稳健性探索为了证明我们的方法对强噪声是鲁棒的,我们在图中进行实验五、我们通过添加零均值高斯噪声来生成带噪图像单个图像高光去除11(a)来源(b)G.T. (c)我们的(A.)(d)我们的(E.)(e)[28](f)[30](g)[35]见图4。突出显示四个实验室图像与地面实况(G.T.)的去除结果。我们使用精确的(A.)或估计(E.)照明色度三个竞争的方法。定量比较见表2场景PSNRSSIM我们的(A.)我们的(E.)[25日][28日][26日][30个][39]第三十九届[35]第三十五届我们的(A.)我们的(E.)[25日][28日][26日][30个][39]第三十九届[35]第三十五届球龙39.631.838.930.518.811.428.421.119.117.320.025.427.127.617.313.50.9980.9720.9970.9640.7800.6380.9740.9330.8130.8830.8560.9450.8850.9520.6440.738杯39.138.629.3 37.5 34.1 38.9 35.7 38.00.9630.9590.767 0.962 0.941 0.966 0.937 0.957动物35.734.426.1 34.2 33.0 37.4 26.8 30.60.9750.9380.929 0.974 0.970 0.971 0.802 0.896口罩34.431.523.9 32.1 28.4 33.9 32.3 30.00.9550.9110.789 0.943 0.899 0.941 0.657 0.913水果36.436.529.2 38.0 32.4 39.2 30.8 37.50.9300.9210.912 0.961 0.939 0.960 0.765 0.952表2.图1中的图像的PSNR和SSIM方面的定量评估。3(球和龙)和图。4(杯子、动物、面具和水果)。最高分是红色的,第二高分是蓝色的。方差为0。1到真实世界图像的每个通道如图5,一些方法,特别是那些基于材料聚类[28,30]的方法,易受噪声影响,并且产生精度降低的分离结果。Akashi和Okatani [39]的方法在存在强噪声的情况下也失败了,因为NMF对于输出端是高度敏感的。如果没有组件,我们将执行以下操作即使在这种困难的情况下也能获得高质量的结果。对于该图像,我们设置τ=5/N。更多的结果测试我们的方法对图像噪声的敏感性提供了补充材料。我们的方法也是强大的相机的响应函数。在图6中,我们通过将每个像素值I变换为I1/γ 来模拟相机校准的误差。γ被设置为1。5(第一行)和2。2(第二行)。如图所示,即使在相机响应函数的校准中存在一些误差,我们的方法仍然工作良好 它明显优于以前的一些方法(例如,[25],[26]和[30])。12J. Guo等人(a) 噪音图像(b)我们的(c)[28](d)[30](e)[39]图五.强烈噪音的影响。方差为0的零均值高斯噪声。1被添加到真实世界图像的每个通道。一些方法(例如,[28],[30]和[39])容易受到强噪声的影响,而我们的方法更鲁棒。(a)来源(b)我们的(c)[25](d)[26](e)[30]见图6。摄像机响应函数的影响。原始图像的每个像素值I被变换为I1/γ。5.4野外图像测试在野外的图像的定性结果提供在图中。7其中,我们比较我们的方法与杨等人。[26],Shen and Zheng [30],Akashi and Okatani [39],and Renet al.[35].我们不提供定量比较,因为这些图像无法获得地面实况结果总的来说,我们的方法表现良好的多样性的自然图像,其中可能包含各种materials,沉重的纹理,闭塞,过度曝光和自然照明。注意,许多方法在具有接近白色漫反射的那些区域中产生明显的视觉伪影(例如,在具有接近白色漫反射的区域中)。 第四场景中的纸板箱的标签和第五场景中的调色板),使得漫射色度几乎与照明色度相同。如图所示,我们的方法仍然可以处理这种具有挑战性的情况,而不会引入令人讨厌的工件。相比之下,我们的方法很好地抑制了镜面高光,并尽可能多地保留了饱和度和图像细节。补充材料中提供了其他真实世界图像的结果。5.5收敛性研究在这项工作中,我们使用松弛变量显式地将非负约束转换为等式约束。这导致快速收敛速度,如图中所8. 这里我们展示两个例子。 与Zhuang et al. [41]的单个图像高光去除13∼(a)来源(b)我们的(c)[26](d)[30](e)[39](f)[35]见图7。在可能包含自然光照、重纹理、色调饱和度模糊和过度曝光像素的野外图像上去除高光的更多结果。策略,简单地钳位负条目为零,我们的方法在这两种情况下收敛得更快。根据经验,200 - 300次迭代对于大多数图像是足够的。一旦算法收敛,增加迭代次数对最终结果的影响很小我们还测试了颜色字典大小K对图中收敛速度的影响9.第九条。在这里,我们提供了四个真实世界的图像,有地面真相的 我们看到,非常小的K导致漫射颜色重建的低精度。 当K从1变化到10时,PSNR和SSIM都得到了明显的改善。在此之后,当K从10增加到80时,PSNR和SSIM的分数几乎饱和在实践中,尽管当K相对小(例如,K = 0)时可以获得高的PSNR和SSIM分数,但是当K = 0时可以获得高的PSNR和SSIMK= 10),重建图像的视觉质量不令人满意。对于大得多的K(例如,从60到80),它几乎不影响数值结果(PSNR,SSIM)以及视觉质量,但将显著增加计算成本。考虑到这些因素,我们通常将K设置为50,而不进行任何特定的调整。14J. Guo等人我们Zhuang等人杯子动物面具水果PSNRPSNRPSNRSSIM4035353025200 50 100 150 200 250300迭代30250 50 100 150 200 250 300迭代Fig. 8. Covergenceratec omparisthZhuangetal。 [41]《 动 物 》 ( 左 ) 和 《 水果 》 ( 右 ) 。40 1三十五点九300.825200.7150 10 20 30 40 50 60 7080K0.60 10 20 30 40 50 60 7080K见图9。K对收敛速度的影响。线图示出了PSNR(左)和SSIM(右)相对于300次迭代后的K6结论我们已经提出了一种新的方法,用于自动分离的原始图像到一个漫反射组件和镜面反射组件,没有用户的干预。该方法建立在稀疏和低秩反射(SLRR)模型上,在该模型中,我们假设图像中的高亮区域是稀疏的,而漫射颜色可以由有限数量的不同颜色很好地表示然后,我们将高光去除问题转化为一个约束核范数和l1范数的极小化问题,该问题可以通过ALM方法有效地解决与以前的一些工作不同,我们的方法不需要一个无镜面反射的图像,这是容易受到色调饱和度模糊。通过SLRR模型和适当的参数设置,我们倾向于避免这个问题并尽可能地保留场景细节。使用各种合成和真实世界的图像的实验结果验证了我们的方法的准确性和鲁棒性。确认我们要感谢匿名评论者的宝贵反馈。这项工作得到了国家重点研究与发展计划(第1997号)的部分支持。2018YFB1004901)和国家自然科学基金(No. 61502223)。引用1. Nayar,S.K.,方晓生Boult,T.:使用颜色和偏振分离反射分量。 Int. J.来吧。21(3)(1997)163我们Zhuang等人杯子动物面具水果单个图像高光去除152. Kim D.W.林,S.,Hong,K.S.,沈希尧:使用颜色和偏振的变分镜面分离。在:IAPR机器视觉会议论文集Applications。(2002年)1763. Umeyama,S.,Godin,G.:通过使用偏振和图像的统计分析分离表面反射的漫反射和镜面反射分量。IEEE Trans. PatternAnal. Mach。 我告诉你。26(5)(May2004)6394. 王福,Ainouz,S.,Petitjean,C.,Bensrhair,A.:高光去除:基于偏振成像的全局能量最小化方法。Comput.目视图像理解158(补充C)(2017)315. Kobayashi,N.,Okabe,T.: 分离多分辨率下图像中的反射分量。 In:ICPR. (Dec2016)32106. Shafer,S.A.:使用颜色分离反射分量。Color ResearchA pplicat〇 n10(4)(1985)2107. 伯曼,D.,Treibitz,T.,Avidan,S.:非局部图像去雾。在:CVPR中。(2016年)8. Candd`es , E.J., Li , X., Ma , Y., Wright , J.:Robustprincipalcommponenanalysis? J. ACM58(3)(June2011)11:19. 钱德拉塞卡兰,V.,Sanghavi,S.,帕里洛,宾夕法尼亚州,Willsky,A.S.:矩阵分解的秩稀疏不相干性。SIAM Journal on Optimization 21(2)(2011)57210. Zhou,X.,中国科学院,杨,C.,赵,H.,Yu,W.:低秩建模及其在图像分析中的应用ACM Computing Surveys 47(2)(2015)11. Lee,H.C.,Breneman,E.J.,Schulte,C.P.:计算机彩色图像的光反射模 型 。IEEETrans.PattternAnal.Mach 。我 告 诉 你 。 12 ( 4 )(April1990)40212. Liu,G.,林芝,Yu,Y.:低秩表示的鲁棒子空间分割In:ICML.(2010年)66313. 张玉,Jiang,Z.,Davis,L.S.:学习用于图像分类的结构化低秩表示在:CVPR中。(June2013年度)14. 林芝,陈美,Ma,Y.:精确恢复低秩矩阵的增广拉格朗日乘子法。技术报告,UIUC(2009年)15. Artusi,A.,Banterle,F.,Chetverikov,D.:镜面反射消除方法综述Comput. Graph.论坛(2011年)16. 林,S.,李,Y.,Kang,S.B.,唐,X.,沈希尧:漫反射分离和反射分离,适用于最小图像方程。 In:ECCV. (2002)21017. Weisss,Y. :从最小化的等式中提取最小化的信息。 In:I CCV. (2001年)6818. 林,S.,沈希尧:彩色图像中漫反射和镜面反射的分离。In:CVPR.(2001年)34119. Sato,Y.,Ikeuchi,K.:反射的时间-颜色空间分析。光学学会杂志Am.A11(11)(Nov1994)299020. 费里斯河拉斯卡尔河Tan,K.H.,Turk,M.:利用多个平面形状的镜面反射减少。 In:SIBGRAPI. (2004年)31621. 阿格拉瓦尔,A.,拉斯卡尔河Nayar,S.K.,李玉:使用梯度投影和闪光曝光采样消除摄影伪影。ACM事务处理图表24(3)(2005年7月)82822. Klinker,G.J.,Shafer,S.A.,Kanade,T.:彩色图像中高光的测量。 Int.J. 来吧。Vision2(1)(1988)723. S chluüns,K. ,Teschner,M. :在3D形状重建中,针对高亮度的2D颜色空间的一个主要问题。在:ACCV。(1995年)24. 巴伊奇河Lee,S.W.,Leonardis,A.:通过彩色图像分割检测漫反射和镜面反射界面反射和内部反射。国际计算机Vision17(3)(March1996)24116J. Guo等人25. Tan R.T.Ikeuchi,K.:使用成像分离纹理化表面的反射分量。 IEEETrans.PattternAnal. Mach。 我告诉你。第二十七条第二款(2005年)17826. Yang,Q.,王,S.,Ahuja,N.:使用双边滤波的实时镜面高光去除。In:ECCV,Berlin,Heidelberg,Springer-Verlag(2010)8727. J. Yoon,K.,崔,Y.,Kweon,I.S.: 使用空间分辨率的反射分量的快速分离-在无源图像中的快速分离。 In:I C IP. (2006年)97328. Shen,H.L.,Zhang,H.G.,Shao,S.J.,Xin,J.H.:基于色度的单幅图像反射分量分离模式识别41(8)(2008年8月)246129. Shen,H.L.,Cai,Q.Y.:一 种简单有效的图像镜面反射消除方法。Appl. OPT。48(14)(May2009)271130. Shen,H.L.,Zheng,Z.H.:使用强度比的实时高光去除。应用程序操作52(19)(2013年7月)448331. Kim,H.Jin,H.,Hadap,S.,Kweon,I.: 使用暗色通道分离镜面反射。 In:CVPR. (2013年6月)146032. Suo,J.,An,D.,吉,X.,王,H.,Dai,Q.:从图像中快速、高质量地去除高光。 IEEETrans. 我是一个geProcess。25(11)(2016)544133. Liu,Y.,Yuan,Z.,郑,N.,吴Y:保持饱和度的镜面反射光谱。 In:CVPR. (2015年)372534. Mallick,S.P.,Zickler,T.,Belhumeur,P.N.,克里格曼,D.J.:图像和视频中的镜面反射去除:APDEapproach。 In:ECCV. (2006年)55035. Ren,W.,田,J.,Tang,Y.:镜面反射分离与彩色线对比。 IEEETrans.我是一个geProcess。26(5)(2017年6月)232736. Li,C.,林,S.,Zhou,K.,(1991年),Ikeuchi,K.:面部图像中的镜面高光去除。在:CVPR中。(July(2017年)37. Tan,P.,林,S.,全湖,加-地沈希尧:通过照明去除高光-连续的图像处理。 In:I CCV. (2003年官方公报)16438. Tan,P.,全湖,加-地Lin,S.:纹理表面上高光反射的分离。In:CVPR.(2006)185539. Akashi,Y.,Okatani,T.:稀疏非负矩阵分解分离反射分量。Comput.目视图像理解146(C)(2016年5月)7740. 谭T. T Nishino,K. Ikeuchi,K.:使用逆强度色度空间的照明色度估计。2003年IEEE计算机协会计算机视觉和模式识别会议,2003年。诉讼第1(2003)I41. 庄湖高,H.,林芝,妈妈,Y.,张,X.,Yu,N.:非负的低秩和分段段,用于简化备份。 In:CVPR. (2012年)232842. Cai , J.F. , 坎 兹 E.J.Shen , Z. : 矩 阵 压 缩 的 奇 异 值 阈 值 算 法 。SIAMJournalonOptimi zaton20(4)(2010)195643. Gu,S.,Xie,Q.,Meng,D.,左,W.,Feng,X.,中国科学院,Zhang,L.:加权核范数最小化及其在低层视觉中的应用。国际计算机Vision 121(2)(Jan2017)183
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功