没有合适的资源?快使用搜索试试~ 我知道了~
4439自适应展开全变分网络微光图像增强郑大明 *施文田深圳大学{zhengchuanjun2019,shiwentian2018}@ email.szu.edu.cn,dshi@szu.edu.cn摘要真实世界的低光图像遭受两个主要的退化,即不可避免的噪声和较差的可见性。由于噪声表现出不同的水平,它的估计已在最近的工作中实现时,增强低光图像从原始拜耳空间。当涉及到sRGB颜色空间时,由于图像处理流水线的影响然而,大多数现有的增强算法在sRGB空间中仅关注低可见性问题或在假设的噪声水平下抑制噪声,导致它们由于缺乏鲁棒性而不实用。 为了解决这个问题,我们提出了一种自适应展开全变分网络(UTVNet),它通过学习基于模型的去噪方法中的平衡参数来近似真实sRGB低光图像的噪声水平同时,我们通过展开相应的最小化过程来学习噪声水平图,以提供平滑度和保真度约束的推断在噪声水平图的指导下,我们的UTVNet可以恢复更精细的细节,并且更能够抑制真实捕获的低光场景中的噪声在真实世界的低光图像上进行的大量实验清楚地证明了UTVNet在最先进的方法上的优越性能。1. 介绍低光场景提供的光线不足是拍摄高质量照片的主要限制。除了扩大光圈和延长曝光时间以在拍摄图像时收集更多光线外,另一个灵活的解决方案是增加相机的ISO设置,以调整模拟增益或模拟和数字增益作为亮度 补 偿 。 但 是 , 较 高 的 ISO 设 置 会 降 低 信 噪 比(SNR)。应仔细管理SNR以控制噪声,以提供更高的后处理可能性[7]。不幸的是,这种操作对于非专家来说*通讯作者(a) 输入(b)LIME [1](c)LIME+NBNet [2](d)NBNet+LIME(e)AGLLNet [3](f)D E [4](g)MIRNet [5](h)UTVNet(我们的)( 一)地面实况图1.在真实拍摄的低光场景中的表现(a)由NikonD850相机从ELD数据集捕获的sRGB图像[6]。(b-d)亮度校正和去噪方法的结果(f)和(g)是没有噪声估计的两种最近方法的输出(e)在合成低光数据集上训练[3]的结果以预测噪声图。(h)建议UTVNet的结果。所有图像都经过裁剪,以使其细节更加清晰。缺乏适当摄影技能的用户。真实世界低光图像的恢复是计算机视觉中的一个具有挑战性的过程,其集中于从观察到的噪声图像中恢复底层的干净图像,并且在不放大噪声的情况下校正亮度。大多数现有方法[1,8,9]集中于增强无噪声曝光不足图像。这种方法可以解决低能见度的问题,但如图所示,当调整曝光时,噪声会被放大。第1段(b)分段。同时,现有的去噪方法[10,11,2]可能无法抑制低光照图像的噪声,因为它们大多集中在正常亮度下拍摄的图像上,极低光照图像中像素之间的小幅度阻碍了从细节中检测噪声,如图所示1(c,d).4440∥ − ∥2σ由于现实世界的低光图像表现出不同的噪声水平,最近的低光图像恢复方法[4,5]可能缺乏鲁棒性,而没有噪声估计,如图1所示。1(f,g)。在原始拜耳空间中,已经针对低光原始图像提出了基于物理的噪声形成模型[6]。当将原始数据转换为sRGB时,噪声的分布受到图像处理流水线(ISP)的影响。现有的方法[3]通过合成的低光图像数据集学习噪声图,但由于不准确的噪声模型以及合成图像与真实照片之间的差距,效率降低,如图所示。第1段(e)分段。本 文 提 出 了 一 种 自 适 应 展 开 全 变 分 网 络(UTVNet)来恢复sRGB空间中的极弱光图像为了提高在真实场景中的鲁棒性,我们根据基于模型的图像去噪方法中噪声水平与平衡参数之间的关系来近似噪声水平具体来说,我们制定了一个自适应的总变差(TV)regularization通过引入一个可学习的噪声水平图,作为每个像素的平衡参数,以控制降噪和细节保存之间的权衡。为了从真实的低光照数据集中学习噪声水平图,在损失函数中设计正则化器是不可能的。因此,我们通过交替方向乘法(ADMM)[12] 将最小化问题分成具有封闭形式解的三个子问题,这提供了用于学习噪声水平图的保真度和平滑度约束的推断。随后,自动生成无噪声低频层以及噪声水平图。由于在低频层中通过TV正则化平滑噪声,因此在该层中应用亮度校正以避免噪声放大。同时,噪声抑制过程由高频层中的近似噪声水平图引导。本工作的主要贡献如下:• 通 过 整 合 一 个 可 学 习 的 噪 声 水 平 图 , 我 们formulate- late一个自适应TV正则化,并提出了一个新的噪声水平近似方法,真正的低光照片在sRGB颜色空间。方法[9,13,14],和基于retinex的方法[1,15],其中大多数情况是无噪声的,因此,这些方法仅处理低可见度问题一些其他方法在原始拜耳空间中考虑噪声抑制。Chen等人。 [16]提出了一个原始低光图像数据集,以学习从原始短曝光图像到长曝光参考的映射。Wei等人 [6]提出了一种基于物理的噪声形成模型,用于低光原始图像去噪。然而,由于噪声在从原始到sRGB的转换期间受到ISP的影响,因此在sRGB颜色空间中建模噪声更加困难 Lv等人 [3]构建了一个大型sRGB合成数据集来学习低光图像的噪声图。性能与合成图像和真实照片之间的差距 Xu等人 [4]通过使用由引导滤波器[ 17 ]生成的参考学习输入图像的低频层来抑制低光图像的噪声。Zamir等人。 [5]提出了一种多尺度残差块,其使用自注意方法从每个分支中选择有用的内核在没有噪声估计的情况下,这样的噪声抑制网络可能在真实捕获的场景中缺乏鲁棒性。图像去噪一些盲去噪方法可以处理真实世界的图像去噪任务,这些方法往往结合噪声估计和非盲去噪。Xu等人。 [18]提出了一种用于实彩色图像去噪的多通道加权不清晰范数最小化模型。Nam等人。 [19]提出了sRGB空间中的交叉通道噪声模型,该模型考虑了颜色通道之间的相关性。在基于学习的方法中,Zhang等人 [10]将噪声水平扩展为噪声水平图以处理空间变化的噪声。Cheng et [2]提出了一种通过学习特征空间中的一组重构基来分离信号和噪声的网络。Guo等人。[11]生成了合成图像,并采用子网络来学习从估计的噪声水平到地面实况的映射。我们的UTVNet不是生成这样的数据集,而是旨在直接从真实的低光图像中学习噪声水平近似深层展开架构。基于模型的去噪方法在处理具有各种水平的噪声方面是灵活的。大多数基于模型的去噪方法可以公式化为• 我们提出了一个UTVNet展开的总变差最小化算法,以提供保真度和x=argminX122σ2x−y+λΦ(x),(1)平滑约束来学习噪声水平图,而无需设计特殊的损失函数。• UTVNet在恢复具有各种噪声水平的真实捕获的低光图像方面是鲁棒的。2. 相关工作弱光图像增强。大多数低光图像增强方法只针对曝光不足,而不考虑噪声抑制,如基于学习的其中,是数据保真度项,σ是噪声水平,λ是平衡参数,Φ(X)是正则化项,χ是问题的解,X和y分别是干净图像和观察到的图像。这些方法的性能与图像先验相关,例如自相似性[20],稀疏性[21]和低秩[22]。然而,大多数基于模型的方法只关注如何仔细设计去噪先验,参数λ被忽略。它通常被设置为经验值。最近,已经提出了深度展开方法,其明确地4441Xy∥∥∥∥1◦X2图2.建议UTVNet由一个展开的电视模块和图像恢复模块。首先,将给定图像y馈送到展开TV模块中以估计噪声水平图M并生成无噪声平滑层ys。然后,在图像恢复模块中,使用ys来校正亮度,并且通过近似的噪声水平图M来指导细节层y d中的噪声抑制。我们将在第3节中详细介绍这两个模块。将迭代优化算法展开到可学习的深度架构中,并结合卷积神经网络(CNN)。ADMM [23]已在[24]中用于展开图像层分离的最小化过程,并且在[25]中分析了收敛性。同时,半二次分裂算法[26]已在[27,10,28,29]中用于展开图像去噪和超分辨率的最小化问题。与那些利用CNN来拟合极小化问题中的物理先验的方法不同,我们的UTVNet采用TV正则化,并展开了保真度和平滑度推断的极小化过程。3. 方法在本节中,我们将介绍拟议的UTVNet。该方法的概述如图1B所示。2.该网络由两个模块组成,包括展开TV模块和图像恢复模块。为了近似噪声水平,我们从基于模型的去噪方法中的噪声水平和平衡参数然后,我们制定了一个自适应TV正则化,并在下面详细描述了网络的每个模块。滚动结构在我们的模型中,我们采用TV正则化项有三个原因。首先,TV正则化可以更好地保留清晰的边缘[30,31],并且还可以用于增强可见性较差的图像[32]。第二,原TV正则化没有额外的参数,仅通过平衡参数来控制折衷,简化了计算过程,提高了计算精度。第三,不是使用CNN来学习最小化问题的解的显式映射,而是可以容易地找到TV正则化项的闭合形式的解,其提供了保真度和平滑度约束,而不使用特殊的损失函数。3.2. 自适应全变分正则化我们首先定义算子D为两个子算子D=[DTDT]T的集合,其中Dx,Dy分别是沿水平和垂直方向的一阶正向有限差分算子因此,各向异性TV正则化项可以被写为Dx1。同时,平衡参数λ可以组合到正则化项中,写为λDx1。由于真实世界的噪声呈现不同的模式,遵循[10,11],我们将λ拉伸成映射M=[MTMT]T,其中X y3.1.噪声级与均衡参数如在先前的工作[10]中所描述的,当λ在等式中被组合到σ(1)、设置噪声级σ也起作用的Mx和My与x相同。因此,自适应TV正则化最小化问题被公式化为minimize1x−y2+M◦(Dx),(2)设置λ以控制噪声降低和噪声抑制之间的权衡保存和细节。受这种关系的启发,对于某些正则化项,如果我们将λ和σ组合为等式2中的平衡参数因此,在等式(1)中,噪声水平可以通过经由非线性学习来学习这种平衡参数来近似其中在我们的UTVNet中,我们设置Mx=My=M作为我们需要在网络中近似的噪声水平图。 通过引入中间变量u = Dx,我们得到了增广的展开电视模块图像恢复模块亮度校正噪声抑制Conv+LeakyReLUNLI-Block44422k+1X2KK2K参数ρk,但这两个函数对于uk+1=argminM◦u1−zT(u−Dxk+1)+ρru−Dxk+12,UTVNet。函数N(·)旨在求解保真度项zk+1=zk−ρr(uk+1−Dxk+1),(四)Sk kk−1k k方程的拉格朗日函数(二)L(x,u,z)=1<$x−y<$2+<$M<$<$u<$−zT(u−Dx)+ρr<$u−Dx<$2,通过方程求解x,u,z子问题。(5),它们写在下面并在图1中示出。2212(三)nxk=N(y,zk−1,ρk,D,uk−1),其中z是拉格朗日乘子,ρr是正则化参数. 通过ADMM,可以解决这个问题通过迭代地更新x、u和z,u =(M,D,z,x,ρ),zk= G(D,zk−1,ρ k,uk,xk).(六)作为常量。 因此,展开推断可以是通过解决以下子问题在下面的描述中,我们将分析重要的-用于学习噪声水平图M的三个函数的比较。x=argmin1∥x−y∥2−zT(u−Dx)+ρr∥u−Dx,函数N(·)和函数G(·)仅包含r- 型K2u问题,并保证噪音之间的推理-4443ΣΣρr、·FF其中k表示第k次迭代。下一篇:Fast Fourier变换(FFT)和收缩函数为了分别解决x-子问题和u-子问题[33,31]。 因此,子问题由方程式(4)是4444G·S·FF×RS会议提供了加速会议的保真度在训练我们的模型时,整个网络的收敛性Function()与约束u=Dx相关联,因为它-如果拉格朗日乘子z被更新,则拉格朗日乘子z应该被更新。在PyTorch中,torch.fft.fftn和torch.fft. ifttn用于在xk+1=F−14445F[y+ρrDTuk−DTzk]1+ρr(|F[Dx]|2个以上|F[Dy]|(二)4446plement()和 −1()。4447ΣΣ−.Σ{}C函数()包含近似的噪声水平地图M.该函数可以看作是一个特殊的光滑-4448uk+1=max,|vk+1|−Mˆ,0,·sign(vk+1),4449(五)低 频层的ness约束,其中4450平滑细 节和噪声4451zk+1=zk−ρr(uk+1−Dxk+1),其中()和-1()表示FFT和逆FFT,4452sign()表示符号函数,定义v如v=Dx+(1/ρ)z。通过使用上述三种4453噪声水平图M。使用这样的平滑度4454在原始图像和平滑图像之间进行推断我们可以学习输入图像的参数M,而不需要去4455签署特殊损失函数。 如图2、PA-4456k+1k+1r k参数M在每次迭代中变化以控制折衷4457封闭形式的解决方案迭代,最小化问题由方程式(2)都可以解决。 然后我们分析4458在三个封闭式解决方案和设计展开TV模块学习噪声水平图M。
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 利用迪杰斯特拉算法的全国交通咨询系统设计与实现
- 全国交通咨询系统C++实现源码解析
- DFT与FFT应用:信号频谱分析实验
- MATLAB图论算法实现:最小费用最大流
- MATLAB常用命令完全指南
- 共创智慧灯杆数据运营公司——抢占5G市场
- 中山农情统计分析系统项目实施与管理策略
- XX省中小学智慧校园建设实施方案
- 中山农情统计分析系统项目实施方案
- MATLAB函数详解:从Text到Size的实用指南
- 考虑速度与加速度限制的工业机器人轨迹规划与实时补偿算法
- Matlab进行统计回归分析:从单因素到双因素方差分析
- 智慧灯杆数据运营公司策划书:抢占5G市场,打造智慧城市新载体
- Photoshop基础与色彩知识:信息时代的PS认证考试全攻略
- Photoshop技能测试:核心概念与操作
- Photoshop试题与答案详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)