没有合适的资源?快使用搜索试试~ 我知道了~
6043多次曝光校正的曝光归一化与补偿黄杰*,刘雅静*,徐鄂杨福,周满,杨旺,冯扎o<$,熊志伟中国科学技术大学{hj0117,lyj123,manman}@ mail.ustc.edu.cn,{xyfu,ywang120,fzhao956,zwxiong}@ustc.edu.cn摘要曝光不当拍摄的图像通常会带来令人不满意的视觉效果。以往的工作主要集中在曝光不足或曝光过度的校正,导致在各种曝光的泛化能力差另一种解决方案是混合多个曝光数据来训练单个网络。然而,校正欠曝光和过曝光到正常曝光的过程解决这一问题的关键在于弥合不同的暴露代表。为了实现这一目标,我们设计了一个基于曝光归一化和补偿(ENC)模块的多重曝光校正框架。具体地说,ENC模块由曝光归一化部分和补偿部分组成,曝光归一化部分用于将不同的曝光特征映射到曝光不变特征空间,补偿部分用于对曝光归一化部分未处理的初始特征进行积分,此外,为了进一步缓解优化过程中的变化所导致的性能不平衡,我们引入了参数正则化微调策略,在不降低其他曝光性能的前提下,提高了性能最差曝光的性能.我们的模型授权ENC优于现有的方法超过2dB,是强大的多个图像增强任务,证明其有效性和推广能力,为现实世 界 的 应 用 。 代 码 : https://github.com/KevinJ-Huang/ExposureNorm-Compensation.1. 介绍近年来,相机设备被用于在任何时间捕获大范围场景的照片。由于不同的场景呈现不同的曝光条件,以欠曝光或过曝光捕获的图像常常遭受不令人满意的视觉效果。为此,几*同等贡献。†通讯作者。已经提出了曝光校正方法,包括基于模型驱动的[4,9,11,21,38]和深度学习。基于方法[10,33,34,36,41]。然而,他们中的大多数集中在曝光不足或曝光过度的场景,导致其他曝光的泛化能力差。这使得它们无法在实际应用中部署。解决这个问题的一种简单方法是训练对应于每个暴露条件的特定网络,导致训练时间和参数空间显着增加。或者,可以用来自各种曝光条件的数据的混合来训练网络,以提高其多次曝光校正的能力。然而,由于曝光不足和曝光过度之间的表现形式不同,因此将它们校正到正常曝光的过程1.一、这为网络在多次曝光中校正亮度和颜色引入了差异,从而使得难以训练单个网络并导致性能差。此外,优化过程中的变化也使网络倾向于忽略混合数据集的不利数据[35],并在暴露之间带来不平衡的性能。在本文中,我们提出了一个框架,提高多次曝光校正性能。关键在于缩小不同暴露表征的差距。为此,我们设计了曝光归一化和补偿(ENC)模块,如图3所示。它由曝光标准化部分和补偿部分组成。具体地,曝光归一化部分将不同的曝光特征映射到曝光不变特征空间。它是通过实例归一化来实现的,以粗略地对齐不同的曝光特征,然后对归一化特征进行归一化提取损失然而,归一化将不可避免地导致图像重建的图像鉴别特征的损失[17,27为此,引入了补偿部分,将曝光归一化部分未处理的特征在空间和通道维度上进行融合,保证了信息的此外,为了进一步提高因角膜缘不均匀引起的最差曝光量的校正效果6044(a) (b)过度校正图1.来自SICE数据集的样品的欠曝光和过曝光校正曲线的静态图示,它们彼此显著不同。但是,对于其他曝光,用于微调该曝光的直观方式在这里,我们固定ENC的参数以保持其对所有曝光的归一化能力,并使用参数正则化策略微调其他部分。该策略降低了对其他暴露重要的参数的更新速率,从而使网络对所有暴露都有均衡的改进。此外,我们提出的ENC可以扩展到解决其他图像退化,如图像质量下降,由不同的手机捕获,证明了我们的方法的泛化能力。这项工作的主要贡献概括为:• 我们提出了一个框架,通过缩小不同的曝光代表的差距,多次曝光特别地,我们开发了曝光归一化和补偿(ENC)模块,该模块简单而有效,并且可以用作现有曝光校正架构的即插即用模块。• 在ENC中,我们设计了曝光归一化部分和补偿部分,前者用于将不同的曝光特征映射到曝光不变的特征空间,后者用于整合未经归一化处理的特征,以保证信息的完整性。• 为了改善训练过程中表现最差的曝光,我们采用了一种参数正则化策略,在网络上对其进行微调,除了ENC模块,从而实现了均衡的改善。• 我们在几个数据集上验证了我们的框架的有效性此外,我们将其扩展到各种图像增强任务,并取得了显着的性能,这表明它的推广优越性,在实际应用中的潜在用途。2. 相关工作已经开发了用于曝光校正的各种方法。一些传统的方法提出采用基于直方图的技术来增强对比度和亮度[1,30,31,38],而另一种方法是基于Retinex理论[19],其通过增强照明分量来提高图像的亮度,图2.我们提出的框架概述。在训练期间,训练网络以将多次曝光校正为正常曝光。在微调过程中,我们通过参数正则化来微调训练阶段表现最差的曝光通过反射率分量的正则化来抑制噪声[4,11,21,29,39]。最近,随着深度学习方案的出现,曝光校正任务已经受益于深度学习模型[7,13,22,26,37]。基于Retinex理论,RetinexNet [34]提出以数据驱动的形式恢复照明,KIND [41]进一步介绍了用于恢复反射率分量的子网络。作为分量分解的另一种形式,Ren等人。[28]使用两个不同的流来同时学习全局内容和突出结构,DRBN [36]将特征分解为不同的频带表示以进行频带递归学习。此外,提出了自监督方法[10,20,40]用于自适应照明调整。然而,这些方法中的大多数聚焦于欠曝光或过曝光校正,限制了它们在各种曝光条件下的应用。尽管MSEC [2]以从粗到精的方式校正各种曝光,但它无法在曝光之间实现一致的校正,从而产生具有亮度偏移的结果与这些方法相比,我们的算法旨在缩小不同曝光特征的差距,有效地提高训练性能。3. 方法3.1. 动机和概述在不同场景下拍摄的图像通常会出现曝光不足或曝光过度的问题。对于多次曝光校正,我们的目标是在混合多次曝光数据集上设计一个统一的框架训练,用于将各种曝光校正为正常曝光。如图1所示,由于曝光不足和曝光过度明显呈现不同的曝光表征,培训暴露水平12级正常曝光级别N多次暴露数据网络微调初始化参数正则化正常曝光表现最差曝光网6045nnn图3.我们在DRBN [ 36 ]网络中提出的ENC模块的说明,由曝光归一化部分和补偿部分组成。其中,特征归一化部分将不同的特征F映射到一个曝光不变的特征F上,而补偿部分则对归一化过程中丢失的信息进行补偿,将未被特征归一化处理的特征在空间和信道维度上进行融合。为了降低曝光对特征的影响,进一步引入了归一化提取损失Lnd和外化提取损失Led例如亮度,校正曝光不足和曝光过度的过程明显不同。因此,在多次曝光中校正亮度和颜色的网络存在很大的差异,这在训练过程中引入了差异并导致性能差,带来颜色和亮度失真问题。此外,在混合数据集上进行训练可能会导致各种各样的问题。补偿由归一化引起的被去除的图像鉴别信息。曝光标准化部分。在曝光归一化部分,我们首先采用实例归一化来粗略对齐特征。假设输入特征为F,我们通过以下方式执行实例归一化:F−µ(F)在优化过程中,导致网络Fn=IN(F)=γ+β,⑴σ(F)倾向于忽视混合中的弱势数据数据集[35]。因此,网络在某些曝光中的性能比其他曝光差,从而导致曝光之间的性能不平衡。为了解决上述问题,我们设计了一个由训练和微调阶段组成的框架(见图2在训练过程中,网络是在各种暴露的混合数据上训练的,具有其常规损失。具体来说,为了解决性能差的问题,我们提出了一个ENC模块,以缩小多个曝光表示的差距,从而导致一致的亮度和颜色校正跨曝光。ENC模块可用作现有曝光校正网络的即插即用模块以DRBN [36]网络为例(见图3),ENC可以添加到DRBN的每个块之后。为了进一步缓解这种不平衡的性能,我们将性能比其他曝光差的曝光命名为性能最差的曝光,并采用参数调整策略对其进行微调,以提高其校正性能,同时保持其他曝光的性能。3.2. 曝光标准化和补偿如图3、我们实现了ENC模块,它由两部分组成:曝光归一化部分,用于将各种曝光特征映射到曝光不变特征空间;补偿部分,用于将未经过归一化处理的特征进行补偿,其中,µ(·)和σ(·)表示针对每个变化在空间维度上计算的平均值和标准偏差nel和每个样本,γ和β是从数据中学习的参数。通过在特征空间中配备实例规范化,它可以规范化样式规范化的特征统计数据[14]。由于每个曝光都可以被视为一种风格,因此不同的曝光与实例归一化保持一致,从而减少了它们的表示差异。在此之后,我们引入了归一化提取损失,以进一步减少曝光特别地,接着是卷积层,我们在不同曝光的归一化特征(Fn)和正常曝光的归一化特征(Fnorm)之间实现这种损失,其定义为:Lnd=||Fn−Fnorm||1、(2 ) 其 中 ||. ||1represents the L1distance between twoterms.它有效地迫使不同曝光的归一化特征与正常曝光的归一化特征相似,从而减小它们的差异。图4呈现了我们的ENC中不同组件的特征可视化,其中实例归一化处理的欠显和过显特征更相似,Lnd进一步减少了它们的差异。补偿部分。归一化不可避免地去除了判别信息[17,27],从而导致图像重建的信息不足。解决这个ENC1区块ENC2块ENC3块ENC4块常规损耗^曝光标准化和补偿(ENC)ENC补偿部Led���′暴露标准化部分补偿规范化暴露标准-���ƒ���ƒ���ƒ部分^n o r m li zatio nn部分正常曝光输入���′n卢恩^n卢恩Lnd实例规范ConvConv+ReluConvConcatConvConvConcat池化2个FC层6046我我我nn(a)在电子图像(b)(a)的ENC(e)欧洲环境委员会的产出(a) (f)ENC输入的错误(g)上一个示例图像(h)(g)的ENC(k)(g)的ENC输出(l)ENC输出的误差图4。在来自SICE数据集的样本上的ENC中的不同组分的特征可视化可以看出,来自曝光不足和曝光过度的ENC的输入特征F在(b)和(h)中示出的差异很如(c)和(i)以及(d)和(j)所示,在由曝光归一化部分处理之后,输入特征被映射到曝光不变空间,并且它们的差异被渐进地降低如图(e)及(f)所示,电子海图显示不足与过度显示之间的差距明显收窄,(k)以及(f)和(l)。缺点,如图3所示,我们提出了一个补偿部分,用于整合曝光归一化部分未处理的初始特征,以确保完整性信息[23]。具体来说,我们在空间和信道维度上实现了补偿部分,它可以全面地获得初始特征和归一化特征之间的相关性这些相关性反映了它们之间的信息关系,从而有助于指导从初始特征中整合丢失的信息。在空间维度上,归一化特征Fn和ENC的输出过度电子海图输出的不足ENC输入的过度扩展电子海图输入的不合理性未被归一化Fn处理的初始特征与注意力图A和An集成。这里,A和An表示特征F和Fn之间的距离,并且A由空间注意力导出为:A=sigmoid(W0[F,Fn]),(3)图5. t-SNE [32] ENC中特征的可视化。可以看出,在被ENC处理之后,曝光不足和曝光过度的表示倾向于被合并在一起。和局部信息[15],这有利于图像处理。此操作定义为:其中W0是内核1Fo=HWΣ(x,y){\displaystyle\mathbb {i}}Fx,y+状态。 同样,也会生成An。 在空间上-(6)”。1Σ1 Σ交互特征F并且Fn可以通过以下方式获得:.、HW (x,y){\displaystyle\mathbb {i}}(Fx,y−HW (x,y){\displaystyle\mathbb {i}}Fx,y)2,F′=F<$n·A+F,′ˆ(四)其中Fi和Fo表示的输入和输出特征Fn=F·An+Fn,其中·表示逐元素乘法。然后,我们进一步整合这两个功能的通道维。具体来说,我们通过应用注意力权重Af来重新加权F′和F′全局池化操作,x和y是位置坐标,坐标,H和W表示空间大小。最后,ENC的输出特征(表示为F f)通过用A f对级联特征[F ′,F ′]进行加权来导出,其可以表示为:以自适应地整合它们,并且Af由"“[12 ]第12话注意事项特别地,Af由池化层和由W1和W2参数化的两个FC层获得,其可以表示为:Ff=Af·[F,Fn].(七)为了进一步保持集成特征Ff的曝光不变属性,我t-SNEENC的输入过强ENC的输入过强ENC的输出过强ENC的输出过6047FF们需要减少从ENC的输入特征F引入的对F f的曝光效应因此,我们将Ff之间的曝光蒸馏损失Af=sigmoid(W2·relu(W1pool([F,Fn]).(五)值得注意的是,我们实现了池化操作方程。5,具有全局对比度平均池,用于捕获全局并且积分的正常曝光特征F范数为:Led=||Ff−F norm||1 .一、(八)6048计算多曝光训练阶段得到的网络参数重要度,确定ENC的参数,并根据参数重要度更新其他参数。特别地,通过将各种曝光上的训练表示为任务0,并将执行最差的曝光上的微调表示为任务1,通过累积各种曝光数据点上的梯度来计算参数重要性权重θ k:Ωθ=f(x;θ1)−f(x;θ0),(9)kk k图6.参数正则化策略的原理图。在底部,对各种更重要的参数其中f(?)表示网络的映射函数,θk表示网络的任何参数,θ1=曝光更新较少;而在顶部,对各种暴露不太重要,但对表现最差的暴露更重要。经ENC处理后,θk+δθk,δ表示参数变化幅度,x表示输入的各种曝光数据。 特别是上述等式可以写为:曝光和过度曝光的表示被缩小。如图4的最后一列所示,θk=L|δθ|+1·100L|δθ|2+O(|δθ|(3)、(10)k2θkk k经ENC处理后,欠曝光和过曝光特征较小图5进一步提出了在特征空间中的统计可视化,证明了我们的方法的有效性,桥接他们的表示。插入曝光校正网络。作为即插即用模块,所提出的ENC模块可以被并入大多数现有的曝光校正网络中。两个具有代表性的基线网络,SID [6]和其中L是常规的基线损失法。在这里,我们采用前两项进行近似*。为了改善表现最差的曝光,同时保持其他曝光的性能,我们基于基线的常规损失添加了一个正则化项,以保持所有曝光的训练知识。 在总而言之,用于微调的总损耗L′用公式表示为:[36]故,“以德为本”,“以德为本”。对于SID,它是一个基于U-Net的架构,具有编码器和解码器。我们L′=L+λΣmk=1θk用ENC模块替换其第一层,并将其表示为SID-ENC,为后续处理提供具有桥接表示的特征。至于DRBN,它是=L+λ Σm Σθkk=1ΣL|δθ|+1·100L|δθ|二、k2θkk(十一)由多个基于U形的块组成的框架。如图3所示,ENC模块也可以在其第一块(DRBN-ENC)或所有四个块(DRBN-ENC-4)中被设置为DRBN的第一层,这两者都导致曝光校正的更好性能。3.3. 参数正则化为了进一步改善在训练阶段中性能比其他曝光差的表现最差的曝光,一种直观的方法是对其进行微调然而,这可能导致其他曝光的性能下降。受EWC连续学习方法的启发[18],我们采用了一种参数正则化策略,并采用了一阶和二阶参数重要性修改方案。具体来说,由于ENC对于所有曝光都很重要,并且有助于缩小它们表示的差距,因此我们固定其参数并根据参数重要性更新其他参数这样,我们可以改善表现最差的曝光的结果,同时保持其他曝光的性能。如图6所示,我们给出了参数正则化策略的示意图。首先,我们要--这样,重要的网络参数与其他曝光相关的数据更新较少,从而保持其性能。4. 实验4.1. 设置数据集。在两个多次曝光的数据集上评估实验,包括由MSEC [2]收集的多次曝光(ME)数据集和SICE数据集[5]。ME数据集包含五个级别的暴露图像为了证明我们的方法的有效性,我们对ME数据集的两个设置进行了实验。接下来[3],中间曝光子集的修饰版本被选为标准ME数据集[2]中的基础事实,该数据集包括17,675个训练样本对,750个验证样本对和5,905个测试样本对。此外,我们还进行了实验,修订的ME-v2数据集,它选择中间曝光子集的ME数据集作为地面真值,并保留其他曝光子集作为多重曝光输入。请注意,ME-v2*推导过程的详细信息可在参考资料中找到。6049方法我ME-v2#参数下超过平均下超过平均PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMCLAHE [30]16.770.621114.450.584215.380.599019.060.855815.760.764317.410.8100-RetinexNet [8]12.130.620910.470.595311.140.604814.030.735416.320.778115.180.75681.70MZero-DCE [10]14.550.588710.400.514212.060.544115.950.79129.890.683712.920.73740.33MMSEC [2]20.520.812919.790.815620.080.814524.480.905524.300.915324.290.91047.04MDRBN [36]19.740.829019.370.832119.520.830924.100.915623.150.905523.630.91050.53MDRBN-L19.840.831919.500.835519.640.834024.350.916823.340.908323.840.91260.67MI-DRBN(我们的)22.050.847622.170.854222.120.851625.320.910026.730.933726.020.92180.54MI-DRBN-4(我们的)22.720.854422.110.852122.350.853027.290.926426.750.927527.020.92700.58MSID [6]19.370.810318.830.805519.040.807424.040.907221.10.866922.570.88717.40MSID-L19.320.809918.950.807319.100.808323.070.896622.250.877322.660.887011.56MI-SID(我们的)22.590.842322.360.851922.450.848126.090.913326.620.916626.350.91497.45M表1.在PSNR和SSIM方面,ME和ME-v2数据集上不同方法的定量结果(a) 输入(b)SID (c)I-SID(d)GT表2.各种方法在SICE数据集上的PSNR和SSIM定量结果。数据集包括用于训练的14,144对、用于验证的600对对于SICE数据集,我们采用中间曝光子集作为地面真值,而第二和最后一秒曝光子集分别设置为曝光不足和曝光过度的图像。SICE数据集中的训练、验证和测试对的数量分别设置为1,000、24和60。方法比较。对于性能比较,我们比较我们的方法与MSEC和基线网络。此外,CLAHE [30],RetinexNet [8]和Zero- DCE [10]被选择用于比较。与其他方法的更多比较结果见文献资料。由于在ENC中引入了更多的参数,我们通过增加信道的数量来扩展我们的基线网络,以进行公平的比较,这些信道被称为DRBN-L和SID-L。此外,SID-ENC、DRBN-ENC和DRBN-ENC-4型号在第12节中提到3.2 与 我 们 的 微 调 策 略 分 别 表 示 为 I-SID ( 改 进 的SID),I-DRBN(改进的DRBN),和I-DRBN-4(改进的DRBN-4)。实施详情。我们在NVIDIA 2080Ti GPU上进行了所有的实验,这些实验基于具有相同训练设置的基线网络的发布代码。具体来说,我们的SID是用1的批量大小和384×384的补丁大小训练的,而DRBN是用1的批量大小和384×384的补丁大小训练的。(e)输入(f)DRBN(g)I-DRBN-4(h)GT图7.(上)过曝光校正和(下)欠曝光校正的SICE数据集上的可视化结果。批量为4,贴片尺寸为256×256。在训练过程中,我们通过Adam优化器优化网络,学习率为1×10−4,持续80个epoch。在微调期间,我们将λ设置在等式中。11到0.7,网络以4×10−5的学习率训练40个epoch。所有的方法进行了评估的PSNR和SSIM。4.2. 定量评价ME和ME-v2数据集的评价结果见表1。为了简化,我们将前两个级别可以看出,MSEC方法在设计良好的网络中比我们的基线网络表现得更好,并且在SID-L和DRBN-L中引入的信道不能显著提高性能。在该方法的辅助下,I-SID和I-DRBN网络都获得了比MSEC方法更好的性能和更好的结果。在模型尺寸仅增加3%的情况下,I-SID和I-DRBN-4显著提高了PSNR,证明了ENC模块的有效性。为了进一步证明我们的模型的能力,我们还在SICE数据集上进行了实验。如表2所示,通过引入我们的方法,SID和DRBN的PSNR和SSIM在欠曝光和过曝光子集上都有很大的改善,大大优于其他方法。方法下超过平均CLAHE [30]12.69/0.503710.21/0.484711.45/0.4942RetinexNet12.94/0.517112.87/0.525212.90/0.5212Zero-DCE [10]16.92/0.63307.11/0.429212.02/0.5311MSEC [2]19.62/0.651217.59/0.656018.58/0.6536DRBN [36]17.96/0.676717.33/0.682817.65/0.6798DRBN-L18.04/0.674617.61/0.692317.83/0.6835I-DRBN(我们的)20.47/0.705019.22/0.722219.85/0.7136I-DRBN-4(我们的)21.77/0.705219.57/0.726720.67/0.7160SID [6]19.51/0.663516.79/0.644418.15/0.6540SID-L19.43/0.664417.00/0.649518.22/0.65706050(a) 输入(b)MSEC(c)DRBN(d)SID(e)I-DRBN-4(Ours)(f)GT(g) 输入(h)MSEC(i)DRBN(j)SID(k)I-SID(我们的)(l)GT图8.(顶部)曝光不足校正和(底部)曝光过度校正的ME数据集的可视化结果可以看出,对于曝光不足和曝光过度的图像,在DRBN和MSEC中存在颜色和亮度偏移问题,而SID倾向于生成伪影。相反,我们的方法可以同时实现颜色和亮度恢复,同时保留结构。4.4.消融研究我们进行烧蚀研究,以证明所提出的ENC模块和参数正则化策略的有效性。消融研究的更多结果见(a) 有Led(b)无Led图9. ENC的输出误差在曝光不足和曝光过度之间的可视化由于引入了曝光量提取损失,进一步减小了误差。(a)ME数据集(b)ME-v2数据集图10.基于DRBN网络的ENC模块数量烧蚀研究。ENC模块数量的增加带来了更好的性能。方法下超过平均DRBN-ENC21.89/0.707119.09/0.722920.49/0.7150DRBN-ENC-4-SEQ7.92/0.134619.96/0.731513.94/0.4331I-DRBN-4(我们的)21.77/0.705219.57/0.726720.67/0.7160SID-ENC21.36/0.665219.38/0.684320.37/0.6748SID-ENC-SEQ7.93/0.119919.95/0.713713.94/0.4168I-SID(我们的)21.30/0.664519.63/0.694120.47/0.6793表3. SICE数据集上参数正则化的消融研究,由于其性能较低,过度扩展子集被设置为性能最差的4.3. 定性评价图8展示了ME数据集上的一些可视化结果。可以看出,我们的方法实现了更好的颜色和亮度恢复效果。我们在图7中进一步展示了SICE数据集的视觉比较。利用该方法,可以显著减少伪影更多的可视化结果在柔软的材料中提供。花絮ENC模块。基于SID网络,我们在ME和SICE数据集上进行了实验,以研究ENC模型中不同组件的有效性如表6所示,在没有实例归一化的情况下,网络性能显著下降,证明了将不同暴露映射到不变量空间的有效性,并且引入归一化提取损失进一步加强了这种效果。补偿部分也可以提高性能,因为它集成了初始特征,以确保信息的完整性。具体地说,在空间和信道维度上的积分过程都得到了改进。此外,引入曝光蒸馏损失有助于减少曝光对集成特征的影响(见图9),从而导致增强。注意,由于引入了特征约束,只有曝光损失的使用也可以有助于改进我们进一步研究了ENC模块的数量对DRBN基线网络的影响。如图10所示,它验证了我们的ENC模块用于改善曝光校正的有效性。此外,我们提供的结果比较我们的ENC模块与其他插件和播放模块的补充材料。参数正则化策略。为了进一步证明我们的参数正则化策略的有效性如表3所示,在表现最差的过度曝光数据集上的简单微调的DRBN和SID被表示为DRBN-ENC-4-SEQ和SID-ENC-4-SEQ,这导致在曝光不足数据集上的显著性能下降通过参数正则化的方法,可以在不影响其他曝光的情况下提高过曝光性能。6051方法LOLSICE 超过五个5K平均SICE UNDER照亮PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMDRBN19.390.816519.460.728621.770.858520.210.80129.270.264415.190.6235DRBN-L18.970.814719.040.727221.930.860019.980.80069.620.319715.970.6328I-DRBN-4(我们的)22.310.836620.830.738523.710.870322.280.815113.190.400519.800.6969Sid19.780.761718.910.688521.390.839020.030.763111.130.430015.580.5949SID-L20.210.769619.570.704221.400.844220.390.77279.900.347716.280.6154I-SID(我们的)21.270.782320.540.710723.480.862421.760.785112.000.368117.130.6646表4.多种增强任务的各种方法的定量结果和可推广性评估。手机捕捉,这是一个现实世界的问题。多个增强任务。我们混合了为低光增强设计的LOL数据集[8],为图像修饰收集的MIT-FiveK数据集[3],以及过度曝光,表5. DPED数据集上各种电话图像增强的不同DRBN方法的定量结果IS IC INLNDLEDSICE我18.15/0.654019.04/0.8074✓19.81/0.666621.36/0.8373✓ ✓20.01/0.667821.78/0.8392✓ ✓19.98/0.672121.53/0.8369✓ ✓18.82/0.665421.27/0.8378✓ ✓ ✓20.07/0.672622.10/0.8452✓19.45/0.667120.67/0.8391✓ ✓ ✓ ✓20.16/0.673422.21/0.8458✓ ✓ ✓ ✓20.24/0.674222.29/0.8467✓ ✓ ✓ ✓ ✓20.37/0.674822.37/0.8472表6.用于研究ENC模块组件的消融研究。IS和IC分别表示空间和信道中的积分。IN代表实例规范化。Lnd是归一化蒸馏损失,Led是曝光蒸馏损失。(a) 输入(b)DRBN(c)I-DRBN-4(d)GT(e)输入(f)SID(g)I-SID(h)GT图11. Brighten数据集上的可视化结果。4.5.扩展与讨论为了证明我们的方法在现实世界中的应用潜力,我们将其扩展到不同类型的增强任务。首先,我们混合了几个数据集,并模拟解决了三个图像增强任务,包括图像修饰,低光增强和过曝光校正。其次,为了证明我们的方法的通用性,我们在未知的增强数据集上评估训练模型,第三,针对不同分辨率图像引起的图像质量下降进行增强,从SICE数据集中提取一个子集,以构建一个任务混合数据集。结果示于表4中。通过引入该方法,可以显著提高多任务数据集上每个任务的性能。概化评价。为了评估所提出的框架[24,25]的泛化能力,我们评估了Brighten数据集[8]上的训练模型和SICE数据集的欠曝光子集如表4和图11、实例规范化的引入提高了模块的鲁棒性。我们的方法的推广结果也可以得到改善,这表明我们的工作在现实世界中的应用的潜在用途。各种手机图像增强。我们采用DPED数据集[16]进行各种手机图像增强的实验,其中包含三种类型手机捕获的图像我们选择了2,048张图片和380张来自每种电话类型的图像作为训练集和测试集。如表5所示,通过引入我们的方法,可以提高DRBN的性能,显示我们的算法在更多应用中的有效性。5. 结论和局限性在本文中,我们开发了一个多曝光校正的框架提出了一个曝光标准化和补偿(ENC)模块,以缩小多重曝光表示的差距然后,我们采用参数正则化微调策略,以获得一个网络的平衡改善所有的曝光。实验结果表明,我们的方法实现了优越的性能,多次曝光校正。然而,我们的方法未能纳入一个特定的设计来处理严重的噪声腐败,往往出现在非常黑暗的条件下,这可以在未来进行调查。致 谢 。 本 研 究 得 到 安 徽 省 自 然 科 学 基 金 项 目2108085UD 12、JKW研究基金项目2108085UD 12的资助20-163-14-LZ-001-004-01 和 国 家 自 然 科 学 基 金62131003和62021001。方法iPhone索尼黑莓平均DRBN22.84/0.82425.15/0.87924.14/0.85024.04/0.852DRBN-L22.84/0.82326.10/0.88324.53/0.85324.49/0.850I-DRBN-423.54/0.82526.04/0.88224.67/0.85124.75/0.8526052引用[1] M. Abdullah-Al-Wadud,M. H.卡比尔湾A. Akber Dewan和O.蔡一种用于图像对比度增强的动态直方图均衡化方法 。 IEEE Transactions on Consumer Electronics , 53(2):593-600,2007。2[2] Mahmoud Afifi , Konstantinos G Derpanis , BjornOmmer,and Michael S Brown.学习多尺度照片曝光校正。在CVPR,2021年。二、五、六[3] VladimirBychko vsky , SylvainParis , EricChan 和 Fre´doDurand。利用输入输出图像对的数据库学习摄影全局色调调整CVPR,2011。五、八[4] 蔡博伦、徐先明、郭凯玲、贾奎、胡斌、陶大成。视网膜的联合内在-外在先验模型。在ICCV,第4000-4009页,2017年。一、二[5] 蔡建瑞、古书航、张磊。从多曝光图像学习深度单图像对比度增强器IEEE Transactions on Image Processing,27(4):2049-2062,2018。5[6] 陈晨,陈奇峰,徐佳, 和 弗拉德伦·科尔顿学会在黑暗中看东西。arXiv预印本arXiv:1805.01934,2018。五、六[7] 陈 玉 生 、 王 玉 清 、 高 满 新 、 庄 永 玉 。 Deep PhotoEnhancer:不成对学习,用于从具有GAN的照片中增强图像。在CVPR中,第6306-6314页,2018年。2[8] 文翰杨嘉颖刘陈伟,文景王。用于弱光增强的深度retinex分解在BMVC,2018年。六、八[9] Xuan Dong,Xiaoyuan Hu,Weixin Li,Xiaojie Wang,and Yunhong Wang. Miehdr cnn:基于双镜头系统的无重影高动态范围成像的主图像增强。在AAAI,第35卷,第1264-1272页,2021中。1[10] Chunle Guo Guo , Chongyi Li , Jichang Guo , ChenChange Loy , Junhui Hou , Sam Kwong , and RunminCong.用于弱光图像增强的零参考深度曲线估计。在CVPR中,第1780-1789页,2020年。一、二、六[11] 郭晓洁,李宇,凌海滨。Lime:通过照明图估计进行低 光 图 像 增 强 。 IEEE Transactions on ImageProcessing,26(2):982-993,2016。一、二[12] 杰虎,李申,孙刚。挤压-激发网络。在CVPR中,第7132-7141页,2018年。4[13] Jie Huang,Zhiwei Xiong Xueyang Fu,Dong Liu,andZheng-Jun Zha.用渐进拉普拉斯增强单元进行混合图像增强。在ACM MM中,第1614- 1622页,2019年。2[14] Xun Huang和Serge Belongie。实时任意样式传输,具有自适应实例规范化。在ICCV。3[15] Zheng Hui , Xinbo Gao , Yunchu Yang , and XiumeiWang.轻量级图像超分辨率与信息多蒸馏网络。在ACMMM,第2024-2032页,2019年。4[16] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。使用深度卷积网络在移动设备上拍摄数码单反品质的照片在ICCV,第3277-3285页,2017年。8[17] Xin Jin,Cuiling Lan,Wenjun Zeng,Zhibo Chen,andLi Zhang.用于可推广的人重新识别的风格规范化和恢复。在CVPR,第3140-3149页,2020年6月。第1、3条[18] James Kirkpatrick,Razvan Pascanu,Neil Rabinowitz,Joel Veness,Guillaume Desjardins,Andrei A.鲁苏,基兰米兰,约翰全,蒂亚戈拉马略,阿格涅斯卡格拉布斯卡-巴尔温斯卡,德米斯哈萨比斯,克劳迪娅克洛帕斯,达尚库马兰和拉娅哈德塞尔。克服灾难性的-进入神 经 网 络 。 Proceedings of the National Academy ofSciences,114(13):3521-3526,2017. 5[19] 埃德温·H·兰德色觉的视网膜理论。科学美国人,237(6):108-129,1977。2[20] Chongyi Li,Chunle Guo,and Chen Change Loy.通过零参 考 深 度 曲 线 估 计 学 习 增 强 弱 光 图 像 。 IEEETransactionsonPatternAnalysisandMachineIntelligence,第1-14页,2021年。2[21] Mading Li,Jiaying Liu,Wenhan Yang,Xiaoyan Sun,and Zongming Guo.通过鲁棒的retinex模型进行结构揭示的 低 光 图 像 增 强 。 IEEE Transactions on ImageProce
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功