深度局部参数滤波器：自动化图像增强的新方法

12826DeepLPF：用于图像增强的深度局部参数滤波器肖恩·莫兰1， 皮埃尔·马扎，1，2， 史蒂文·麦克唐纳1， 莎拉·帕里索1，3， 格雷戈里·斯拉博1sean.j.moran@ gmail.com，pierre. gmail.com，{steven.mcdonagh，sarah.parisot，gregory.slabaugh}@ huawei.com，1Hua weiNoah摘要数字艺术家经常通过手工修饰来提高数字照片的美学质量除了全局调整之外，专业图像编辑程序还提供对图像的特定部分进行操作的局部调整工具。选项包括参数（分级、径向过滤器）和无约束笔刷工具。这些极具表现力的工具可以实现各种局部图像增强。然而，它们的使用可能是耗时的，并且需要艺术能力。最先进的自动化图像增强方法通常专注于学习像素级或全局增强。前者可能是嘈杂的，缺乏可解释性，而后者可能无法捕捉细粒度的调整。在本文中，我们介绍了一种新的方法来自动增强图像使用学习空间局部滤波器的三种不同类型（椭圆滤波器，分级滤波器，多项式滤波器）。我们引入了一个深度神经网络，称为深度局部参数滤波器（DeepLPF），它可以回归这些空间局部滤波器的参数，然后自动应用这些参数来增强图像。DeepLPF提供了一种自然形式的模型正则化，并实现了可解释的、直观的调整，从而获得视觉上令人愉悦的结果。我们报告了多个基准测试，并表明DeepLPF在MIT-Adobe 5 k [3]数据集的两个变体上产生了最先进的性能，通常使用竞争方法所需的一小部分参数。1. 介绍近年来，由于相机传感器和图像信号处理管道的持续改进，数字摄影取得了显着进展。然而，尽管取得了这一进展，但由于各种因素，包括场景条件、照明不良或摄影师技巧，所拍摄的照片仍可能缺乏质量。人类形象修图师经常* 在华为诺亚方舟实验室实习期间完成的图1：用于参数化局部图像增强的DeepLPF。左：估计滤波器的示例。右：生成的输出图像。上图：使用单个椭圆滤镜调整图像红色通道。底部：使用单个渐变滤镜调整图像红色通道。通过手动调整提高数码照片的美学质量工业级软件（例如Pho- toshop，Lightning）允许通过交互式和半自动化工具应用各种修改除了诸如对比度增强和增亮之类的基本全局调整之外，还可以通过诸如图1所示的示例之类的局部图像调整来获得高级编辑功能。然而，手动增强对于可能缺乏适当技能、时间或审美判断的非专家来说仍然具有挑战性，有效改善形象这些观察激发了充分的发展12827自动照片增强工具，可以取代非专业用户的工作，或提供一个改进的手动编辑的起点，为专业艺术家。摄影师经常使用不同局部滤镜的组合来修饰图像，这些滤镜只影响图像的有限空间区域例如，摄影师可能想要使用渐变滤镜来调整天空的暗度，同时使用适当大小的椭圆滤镜来增加面部的亮度，并使用画笔工具来修饰小的精细图像细节。受此手动工作流程的启发，我们提出了一种新的方法，学习局部图像增强的参数滤波器。我们从数字照片编辑软件中汲取影响力，但使用深度神经网络建模和仿真本地编辑工具。给定（输入，增强）对作为训练示例，我们通过学习的渐变和椭圆过滤器以及学习的画笔工具再现局部，中级调整。通过约束我们的模型来学习如何使用类似于数字艺术家工具箱中的工具，我们提供了一种自然形式的模型正则化，并实现了可解释的、直观的调整，从而获得视觉上令人愉悦的结果。在多个公共数据集上进行的大量实验表明，我们的性能优于最先进的结果[8，25，4]，而神经网络的权重容量只有一小部分。我们的贡献可概括如下：• 局部参数滤波器：我们提出了一种自动估计局部图像增强的参数滤波器我们使用椭圆来实例化我们的想法-标准，分级，多项式滤波器。我们的公式提供了直观的解释和内在的regularised过滤器，确保重量效率（能力节俭）和减轻过拟合。• 多滤波器融合块：我们提出了一个原则性的多个学习参数图像滤波器的融合策略。我们的新型即插即用神经网络block is capable of fusing multiple independent param-eter filter outputs and provides a flexible layer that canbe integrated with common network backbones for im-age quality enhancement.• 最先进的图像质量增强：DeepLPF在两个具有挑战性的基准测试中提供最先进的图像质量增强2. 相关工作数字照片增强在图像处理和计算机视觉领域都有着悠久的历史。早期的自动化增强主要集中在图像对比上[20，24，29]，而最近的工作采用数据驱动的方法来学习图像调整，分为在图像上全局或局部操作的方法，或者提出在两个尺度上操作的模型。全局图像增强：Bychkovsky等人[3]收集了流行的MIT-Adobe-5 K数据集1，其中包括5，000张照片及其五种不同的艺术家作者提出了一种基于回归的方法，从图像对中学习艺术家的摄影调整。为了自动化色彩增强，[27]提出了一种学习排名方法，超过了十种流行的全球色彩控制。在[7]中，FCN用于学习各种全局图像处理算子的近似，例如摄影风格，非局部去雾和铅笔画。照片后处理由[10]中的白盒框架执行，其中在RGB空间中预测全局修饰曲线。强化学习（RL）方法实现了[ 10 ]中的图像调整过程，深度RL用于定义[ 19 ]中增强调整的排序，从而实现全局图像修改（例如，对比度、饱和度）。局部图像增强：Aubry等人[34]提出快速局部拉普拉斯滤波以增强图像细节。Hwang等人[12]提出了一种用于局部图像增强的方法，该方法搜索图像的最佳局部匹配，年龄在（输入的，增强的）图像对的训练数据库中。语义映射在[28]中构建，以实现语义感知增强和学习局部调整。Underex构成的照片增强[25]（DeepUPE）使用编码器-解码器设置学习缩放亮度图，但不执行全局调整。学习的映射具有很高的复杂性，并且主要取决于所采用的正则化策略Chen等人[7]提出了一种使用多尺度上下文聚集网络快速学习图像算子的方法近年来，还提出了通过使用循环一致性[32]和无监督学习[18]的图像到图像转换进行增强全局和局部图像增强：Chen等人[8]开发Deep PhotoEnhancer（DPE），这是一种基于双向生成对抗网络（GAN）的深度增强模型。以及局部像素级调整，DPE引入全局特征提取层来捕获全局场景上下文。Ignatov等人[14]设计一个弱监督的基于图像到图像的GAN网络，消除对图像对像素对齐的需要。Chen等人[4]提出了一种直接对原始传感器数据进行操作的低光增强模型，并提出了一种完全卷积的方法来使用其低光数据集学习短曝光，长曝光映射。最近的工作利用多任务学习[16]来进行各种图像运算符的实时图像处理。双边引导联合上采样使编码器/解码器架构能够进行局部和全局图像处理。HDR- Net [9]通过杠杆学习全局和局部图像调整-对比度、颜色、亮度和饱和度[11，13，9，8，10，19]。 相关的图像增强工作可以广泛地参考1https://data.csail.mit.edu/graphics/fivek/12828图2：Lightering中画笔工具（顶行）、渐变（中间行）和径向（底行）滤镜的本地滤镜使用示例。图像显示之前（左）和之后的过滤器为基础的增强由人类艺术家（右）。老化双流卷积架构。 这个...CAL流提取用于预测局部仿射变换的系数的局部特征，而全局流提取允许理解场景类别、平均强度等的全局特征。在[13]数码单反相机质量的照片是为移动设备使用残余网络，以提高色彩和清晰度。与以前的工作相比，我们建议通过学习参数滤波器，在图像上局部操作来构建增强问题。可学习的、参数化的滤波器与通常用于增强的直观的、良好理解的人类关节工具很好地对准，并且这自然地产生对人类观察者具有一定程度的熟悉性的吸引人的结果。此外，我们的过滤器参数化策略的使用既可以约束模型容量，又可以正则化学习过程，从而减轻过度拟合并导致适度的模型容量成本。3. 深度局部参数滤波器（DeepLPF）DeepLPF定义了一种用于局部图像增强的新方法，引入了一种深度融合架构，该架构能够组合来自学习的空间局部参数图像滤波器的输出，这些滤波器旨在模拟类似手动滤波器的组合应用。在这项工作中，我们实例化三个最流行的本地图像过滤器（椭圆形，渐变，多项式）。图2示出了可比较的手动Lightweight过滤器的使用和结果效果在第3.1节中，我们介绍了我们的全局DeepLPF架构，旨在学习和应用不同参数的滤波器集。第3.2节，然后提供了详细的三个考虑局部参数滤波器的设计，并描述了用于估计滤波器参数的参数预测块。最后，第3.3节和第3.4节解释了如何将多个滤波器融合在一起，并分别详细介绍了我们的训练损失函数。3.1. DeepLPF架构DeepLPF的架构如图3所示。给定低质量RGB输入图像I及其对应的高质量增强目标图像Y，DeepLPF被训练来学习变换fθ，使得Yθ=fθ（I）接近于Y，如由基于图像质量。我们的模型结合了一个单流网络架构的细粒度增强，其次是一个两个流架构的更高层次，本地en。谢谢我们首先使用一个标准的CNN主干（例如，ResNet，UNet）来估计H×W×C维特征图。特征图的前三个通道表示要调整的图像，而剩余的C′=C−3个通道表示馈送分成三个滤波器参数预测块。 第一宗罪-角流路径估计多项式的参数滤波器，该滤波器随后被应用于脊椎增强图像Y的输入图像的像素。此块模拟画笔工具，该工具使用平滑度约束由画笔的形状施加。经多项式滤波器增强后的图像Y′2与C′主干特征相协调，并作为输入其学习并应用椭圆和分级滤波器形式的更受约束的局部增强。使用两个平行的回归块估计椭圆和渐变滤波器椭圆形和渐变地图融合使用简单的加法，虽然更多涉及的计划，可以em.被雇用的加权组合该融合步骤导致缩放图S，其被逐元素地乘以Y，2以得到图像Y，3，有效地应用椭圆和梯度。在多项式增强之后对图像的估计调整。由骨干网络增强的图像Y101最终通过长剩余连接添加到Y103，产生最终输出图像Y103 。3.2. 局部参数滤波器我们提供局部参数滤波器的三个示例的细节：渐变滤波器（3.2.2）、椭圆滤波器（3.2.3）和多项式滤波器（3.2.4）。过滤器允许不同类型的局部图像调整，由其参数形式控制，参数值指定确切的图像效果128292图3：架构图说明了我们在单个端到端可训练神经网络中组合不同滤波器类型（多项式，椭圆，渐变）的方法。该架构结合了一个单一的流路径的初始增强与多项式滤波器和两个流路径的进一步细化与渐变和椭圆滤波器。在每种情况下。滤波器参数值是图像特定的，并使用监督CNN回归（3.2.1）进行预测。3.2.1滤波器参数预测网络表1：局部滤波器Filter #参数参数刻度G=8sR，sG，sB，m，c，o1，o2，ginvg g g椭圆E=8sR，sG，sB，h，k，θ，a，b我们的参数预测块是一个轻量级的CNN，它接受来自骨干网络的特征集，并单独回归滤波器参数网络块在一系列卷积层和最大池化层之间交替，这些层逐渐降低特征图分辨率。在这些层之后是全局平均池化层和负责预测滤波器参数的全连接层全局平均池化层确保网络对输入特征集的分辨率不可知。激活函数是LeakyReLU，并将dropout（50%，训练和测试）应用于完全连接层 提供了进一步的架构细节在我们的补充材料中。对于所考虑的三个示例过滤器;各个网络回归器之间的唯一区别是最终全连接层中的输出节点的数目。这对应于定义相应过滤器的参数数量（表1）。与当代局部像素级增强方法[8]相比，所需的参数数量大大减少。我们的网络输出大小可以改变，以估计相同过滤器类型的多个实例的参数。我们预测图像变换参数的方法与以前的工作[9，5，23]一致，表明学习参数化变换通常比直接预测增强图像更有效和更简单。重要的是，回归网络对e e eCubic-10P=30{A···J}/颜色通道Cubic-20P=60{A···T}/颜色通道骨干模型的具体实现允许使用图像滤波器来增强任何图像翻译网络的输出。3.2.2刻度过滤器分级过滤器通常用于照片编辑软件中，以调整具有高对比度平面区域的图像，例如曝光过度的天空。我们的分级图像滤波器，illustrated在图4a中，是由三条平行线参数化。中心线定义了过滤器的位置和方向，采用y=mx+c的形式，斜率为m，截距为c，以标准方式提供线性参数化偏移o1和o2提供两个附加参数，使得每个（通道方向）调整图由形成热图s（x，y）的四个不同区域组成。在100%区域中，所有像素都乘以缩放参数sg。然后，在100-50%区域中，应用的比例因子从sg线性减小到sg。在50-0%区域内，缩放值进一步线性减小，直到达到像素不被调整的0%区域。在数学上，分级滤波器在等式1-3中描述：128302s（x，y）=s e min.20，1−[（x-h）cosθ+（y-k）sinθ]一个22Σ[（x-h）sinθ-（y-k）cosθ]+B2.（四）(a)（b）第（1）款图4：渐变（a）和椭圆（b）滤波器的参数化和热图。更多细节见正文。椭圆滤波器参数化和热图的示例如图1所示。4b.椭圆过滤器通常用于增强，突出物体或照片中感兴趣的特定区域，例如。人脸3.2.4多项式滤波器我们考虑的第三种过滤器类型构成多项式文件，. -是的1a（x，y）=sgmin2 1+. -是的1b（x，y）=smax1+G2.Σ Σn（x，y），1D2ΣΣn（x，y），0D1（一）（二）其能够在整个图像上提供细粒度的、规则化的调整。多项式过滤器模拟画笔工具，提供广泛的几何形状，同时结合空间平滑度。我们考虑了形式为i·（x+y+γ ） p和（x+y+i+γ）p的r-p阶多项式滤波器，其中i是像素位置（x，y）处的图像通道强度，γ是独立标量。我们凭经验找到一个三次多项式（p=3），以提供两个表现力的图像调整，但只有一个有限的集参数。 我们探索了三次滤波器的两种变体，s（x，y）=ginva（x，y）+（1−ginv）b（x，y），l（x，y）≥0（1−ginv）a（x，y）+ginvb（x，y），l（x，y）0（三）立方10和立方20。我们较小的立方滤波器（立方-10）构成一组10个要预测的参数;{A，B，C，. - 是的- 是的，J}，定义一个立方其中，x（x，y）=y−（mx+c）是位置的函数对于相对于中心线的点（x，y），d1= o1cos α，d2=o2cosα，α=tan−1（m），gnv是一个二进制指示变量。布局图允许在顶线和底线方面进行改进。逆位决定了位置-相对于中心线的100%缩放区域到函数f，其将强度i映射到新的调整后的强度i′：i′（x，y）=f（x，y，i）=i（Ax3+Bx2y+Cx2+D+启用可学习的反演，我们预测二进制指示参数ginv=1（sgn（ginv）+1），其中sgn表示符号函数，ginv是实值预测参数+Dxy2+Exy+Fx+Gy3+Hy2+Iy+J）（五）而ginv是二进制化的ginv∈{0，1}版本。这个符号函数的梯度处处为零，并且在零处未定义，因此我们使用直通估计器[2]来学习这个二进制变量。3.2.3椭圆滤波器考虑到两倍的可学习参数，立方20滤波器探索更高阶的强度项，并且由一组20个参数{A，B，C，. -是的- 是的 ，T}：i′（x，y）=f（x，y，i）=Ax3+Bx2y+Cx2i+Dx2+Exy22+Fxyi+Gxy+Hxi +Ixi（六）我们使用的另一个滤波器定义了由中心（h，k）、半长轴（a）、半短轴（b）和旋转角（θ）参数化的椭圆学12831习的缩放因子se在椭圆的中心（100%点）处最大，并且线性减小，直到到达边界。椭圆（0%区域）之外的像素不会在数学上，由椭圆滤波器定义的逐通道热图表示为：+Ky3+Ly2i+My2+Nyi2+Oyi+Py+Qi3+Ri2+Si+T我们的三次滤波器同时考虑空间和强度信息，同时将学习映射的复杂性约束为正则化形式。这允许学习精确的像素级增强，同时确保变换局部平滑。我们估计独立的12832i=1椭圆（绿色通道）渐变（蓝色通道）立方体（红色通道）图5：模型输出图像和通过DeepLPF的较浅的滤镜热图颜色对应于较大的图像调整值。立方10滤波器被示出为没有强度（i）项。最好用颜色看。每个颜色通道的三次函数分别产生三次10滤波器的总共30个参数和三次20滤波器的总共60个3.3. 融合同一类型的多个滤波器我们的分级和椭圆预测块可以各自输出其相应滤波器类型的n个实例的参数值。在第4.2节中详细介绍了选择适当n的进一步探索。在n >1的情况下，通过逐元素乘法将多个实例组合成调整图YnYnsg（x，y）=sgi（x，y），se（x，y）=sei（x，y）（7）i=1i =1其中sgi（x，y）和sei（x，y）分别是对应的渐变和椭圆滤波器的第i个实例的调整图。相反，由于单个每通道立方滤波器在表达能力方面具有固有的高灵活性，因此我们选择不将多个立方滤波器融合在一起。3.4. DeepLPF损失函数DeepLPF训练损耗利用CIELab颜色空间来计算Lab通道上的L1损耗和L通道上的MS-SSIM损耗（等式8）。通过将色度和亮度信息拆分为单独的损失项，我们的模型能够在训练期间分别关注局部（MS-SSIM）和全局（L1）图像增强[22，31]。 给定一组N个图像pairs{（Yi，Yi）}N，其中Yi是参考图像，Yi是预测图像，我们定义DeepLPF训练损失功能为：ΣNL={ωla b||Lab（Yi）−Lab（Yi）||1（8）i=1+ωms-ssimMS-SSIM（L（Y_i），L（Y_i））}其中Lab（·）是返回与输入图像的RGB通道相对应的CIELabLab通道的函数，并且L（·）返回输入图像的L通道。CIELab色彩空间MS-SSIM是多尺度结构相似性[26]，ωlab、ωms-ssim是对损失函数中各项的相对影响进行加权的4. 实验4.1. 实验装置数据集：我们在三个具有挑战性的基准上评估DeepLPF，这些基准来自两个公共数据集。首先（i）MIT-Adobe-5 K-DPE [8]：使用各种DSLR相机捕获的5000张图像。每一张拍摄的图像随后（独立地）由五位人类艺术家进行修饰。为了使我们的结果可重现并直 接 与 最 先 进 的 技 术 相 比 较 ， 我 们 仅 考 虑DeepPhotoEnhancer（DPE）[8]使用的（监督）子集，并额外遵循其数据集预处理程序。Artist C的图像修饰用于定义图像增强地面实况。将数据子集分别分成2250个训练图像对和500我们从训练集中随机抽取500张图像，为超参数优化提供额外的验证集。图像的大小调整为具有500像素的长边。（ii）MIT-Adobe-5 K-UPE [25]：我们的第二个基准测试由与MIT-Adobe-5 K-DPE相同的图像内容组成，但是这里的图像预处理不同，而是遵循DeepUPE [25]的协议。因此，我们避免了图像重叠，数据集样本的像素分辨率不同;6 - 25米。我们还遵循[25]提供的训练/测试分割，因此我们的第二个基准测试由4500个训练图像对组成，从中随机抽取500个以形成验证集。测试图像（500）与DeepUPE选择的那些样本相同，并且地面实况再次由艺术家C手动修饰的图像组成。（iii）黑暗中看（SID）[4]：数据集由5094个图像对组成，由富士相机捕获。对于每一对，输入是原始格式的短曝光图像，而地面实况是长曝光RGB图像。图像大小为24M像素，内容包括室内和室外环境，捕获不同大小的场景和常见物体。128334表2：使用MIT-Adobe-5 K-DPE基准的模型过滤器类型消融研究（上图）和与最新技术方法（下图）的比较。PSNR和SSIM结果，由竞争作品报道，从[8]复制（a）（b）图6：评估所用渐变和椭圆滤波器数量影响的实验研究（MIT- Adobe-5 K-DPE数据集）。评估指标：我们使用PSNR，SSIM和感知LPIPS度量进行定量评估[30]。实施详情：我们的实验都采用了U-Net骨干网[21]。用于MIT-Adobe-5 K-DPE实验的基本U-Net架构在补充材料中有详细说明用于其他基准测试的U-Net架构类似，但具有减少数量的卷积滤波器（MIT-Adobe-5 K-UPE ） 或 包 括 像 素 重 排 功 能 [17] 以 考 虑 RAW 输 入（SID）。所有实验都使用Adam Optimizer，学习率为10−4。我们的架构使每个通道使用三个渐变（椭圆）滤波器，我们搜索损失函数（等式2）。8）超参数的经验结果in：对于所有MIT-Adobe-5 K-DPE、MIT-Adobe-5 K-UPE和SID exper，分别是4.2. 实验结果消融研究：我们首先使用MIT-Adobe-5 K- DPE数据进行实验，以了解我们的方法过滤器组件的不同贡献和信用分配。表2（上）显示了我们考虑的图像滤波器组件的消融结果。对于每种配置，我们报告的PSNR指标和实验验证的重要性，整合每个组件和他们的supe-rior综合性能。个别过滤器显示，带来性能的提升。就连U-Net主干网都没有多项式（cubic）滤波器比椭圆滤波器和分级滤波器具有更大的影响。我们假设这可以归因于这种滤波器类型所实现的空间大而非线性的效应。将所有滤波器块组合在一起，可以结合每个滤波器块的优点，并展示出最强的性能。我们高-仅照亮模型参数的0.01（即，大约452K）归因于滤波器块。的剩余容量专用于U-Net骨干，说明了大部分性能增益是设计能够节俭地仿真手动图像增强工具的模型的结果。在图6中，我们进一步研究了渐变和椭圆滤波器数量对模型性能的影响。我们发现，随着每个通道的滤波器数量的增加，PSNR，SSIM指标总体呈上升趋势。这一上升趋势可归因于额外的过滤器带来的建模能力的增加。在我们的实验中，每个通道选择3个滤波器，这提供了图像质量和参数计数之间的权衡。定量比较：我们将MIT-Adobe-5 K-DPE上的DeepLPF图像质量与当前方法进行了比较（下表2）。Our fullarchitecture is able to out- perform recent methods;8RESBLK [32, 18] and the su- pervised state-of-the-art(Deep Photo Enhancer (DPE) [8]) on each of the threeconsidered metrics, whilst our method parameter countapproaches half that of their model capac- ity.我们的隐式正则化模型制定的过滤器允许类似的质量增强功能，但表示在一个更简单的形式。类似地，DeepLPF在我们的第二个基准测试中优于DeepUPE [ 25 ]; MIT-Adobe-5K-UPE（即使用它们的数据集分割和预处理协议），并提供具有竞争力的SSIM性能，并在PSNR、SSIM指标上改进了所有其他比较工作（见表3）。最后，我们检查具有挑战性的SID数据集的富士部分的性能。结果如表4所示，其中可以观察到DeepLPF能够在所有三个考虑的指标上改进[4]中提出的U-Net方法。我们的方法再次证明更节俭，模型容量降低了近四倍。定性比较：样品目视结果比较-使用DeepLPF（使用每个三个数据集）分别与图7行中的DPE [8]、Deep-UPE[25]和SID（U-Net）[4]模型进行比较。可以看出，公园场景（第一行）在再现色彩忠实度方面有了明显改善-架构PSNR↑SSIM↑LPIPS↓# 权重U-Net21岁570的情况。8430.6011.3米U-Net+椭圆二十二岁560的情况。879−1.5米U-Net+毕业生二十二岁640的情况。888−1.5米U-Net+椭圆型+渐变型二十二岁880的情况。886−1.6米U-Net+Cubic-10二十二岁690的情况。871−1.5米12834输入DPE [8]DeepLPF真实值输入DeepUPE [8]DeepLPF真实值输入SID（U-Net）[4]DeepLPF地面实况图7：DeepLPF和各种最先进方法之间的定性比较更多详情请参见正文表3：与MIT-Adobe-5 K-UPE基准上的最先进方法的定量比较PSNR和SSIM报告的竞争作品，是复制从[8]。架构PSNR↑SSIM↑LPIPS↓重量数量DeepLPF24.480的情况。8870.103800KU-Net [21]22.240.850–1.3米人类发展报告网[9]21.960.866––[8]第八章22.150.850–3.3米白盒[10]18.570.701––扭曲和20.970.841––恢复[19][25]第二十五话23.040.8930.1581.0 M表4：SID数据集中RAW到RGB图像对定义的图像增强任务的定量性能比较（Fuji相机）[4]。架构PSNR↑SSIM↑LPIPS↓重量数量DeepLPF26.820.7020.5642.0 MU-Net [4]26.610.6800.5867.8百万与DPE结果相比。在第二行中，DeepUPE对场景进行了过度曝光，而DeepLPF保持了准确的曝光和色彩内容。最后一行比较了具有挑战性的低光照数据集的结果。SID模型输出呈现紫色而DeepLPF输出与地面实况相比提供了改进的最后，图5提供了一组参数过滤器，由我们的模型学习的热图表示。我们在补充材料中提供了其他定性结果。5. 结论在本文中，我们探讨了自动参数化的过滤器，灰空间局部图像增强。受专业图像编辑工具和软件的启发，我们的方法使用渐变、椭圆和多项式滤波器来估计图像编辑的序列，这些滤波器的参数可以直接从骨干网络提供的卷积特征回归，例如，U-Net 我们的本地化过滤器产生可解释的图像调整与视觉上令人愉快的结果和过滤器构成可插入和可重复使用的网络块能够提高图像的视觉质量。在今后的工作中可以进一步探索自动估计滤波器最优序列的应用; e.G. Gumbel softmax技巧[15]可以证明对于从潜在的大量图像编辑工具中选择操作是有用的我们认为，结合我们提出的本地过滤器与广告本地或全局过滤器类型和分割掩模，细化增强语义相关的像素，也提供了有趣的未来方向，可解释和节俭的自动图像增强。12835引用[1] 放大图片作者：Mathieu Aubry，Sylvain Paris，SamuelW.哈辛诺夫，扬·考茨，杜兰德神父。快速局部拉普拉斯 滤 波 器 ： 理 论 与 应 用 。 ACM 事 务 处 理 图 表 ， 33（5）：167：1九月2014. 二、十二、十七、十八[2] Yoshua Bengio通过随机神经元估计或传播梯度CoRR，abs/1305.2982，2013年。5[3] VladimirBychko vsky ， Syl vainParis ， EricChan 和 Fre´doDurand。使用输入/输出图像对的数据库学习摄影全局色调调整见CVPR，第97- 104页。IEEE，2011年。一、二[4] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西在IEEE计算机视觉和模式识别会议论文集，第3291-3300页二、六、七、八、十二、十九[5] Jiawen Chen ， Andrew Adams ， Neal Wadhwa ， andSamuel W. 哈 辛 诺 夫 双 边 引 导 上 采 样 。 ACM Trans.Graph. ，35（6）：203：1-203：8，Nov. 2016. 4[6] Qifeng Chen和Vladlen Koltun。用级联细化网络进行摄影图像合成。在IEEE计算机视觉国际会议论文集，第1511-1520页，2017年。7[7] Qifeng Chen，Jia Xu，and Vladlen Koltun.使用全卷积网络进行快速图像处理。在IEEE计算机视觉国际会议论文集，第2497-2506页，2017年。二、七[8] 陈玉生、王玉清、高满新、庄永玉。深层照片增强器：使用GANs从照片中进行图像增强的非配对学习。在IEEE计算机视觉和模式识别会议的论文集，第6306-6314页，2018年。二、四、六、七、八、十二、十五、十七、十八[9] Mich aeülGharbi ， Ji a wenChen ， JonathanTBarron ，SamuelWHasino f f，andFre´ doDurand. 用于实时图像增强 的 深 度 双 边 学 习 ACM Transactions on Graphics（TOG），36（4）：118，2017。二四八[10] 胡渊明，何昊，徐晨曦，王宝源，林志颖。Exposure：一 个 白 盒 照 片 后 处 理 框 架 。 ACM Transactions onGraphics（TOG），37（2）：26，2018。二、八[11] Sung Ju Hwang，Ashish Kapoor，and Sing Bing Kang.基于上下文的自动局部图像增强。在欧洲计算机视觉会议上，第569Springer，2012. 2[12] Sung Ju Hwang，Ashish Kapoor，and Sing Bing Kang.基于上下文的自动局部图像增强。在An- drew Fitzgiant、Svetlana Lazebnik、Pietro Perona、Yoichi Sato和CordeliaSchmid编辑的《计算机视觉施普林格柏林海德堡。2[13] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。使用深度卷积网络在移动设备上拍摄数码单反品质的照片在IEEE计算机视觉国际会议论文集，第3277-3285页，2017年。二、三、七、十二、十七、十八[14] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。Wespe：弱监督用于数码相机的照片增强器。在IEEE计算机视觉和模式识别研讨会会议集，第691-700页，2018年。2[15] Eric Jang ， Shixiang Gu ， and Ben Poole. 使 用 gumbel-softmax进行分类重新参数化。在ICLR，2017。8[16] Kyeongbo Kong，Junggi Lee，Woo-Jin Song，MinsungKang，Kyung Joon Kwon，and Seong Gyun Kim.实时图像增强的多任务双边学习。Journal of the Society forInformation Display，2019。2[17] Christian Ledig ， Lucas Theis ， Ferenc Huszar ， JoseCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew P.Aitken ， Alykhan Tejani ， Johannes Totz ，Zehan Wang，and Wenzhe Shi.使用生成对抗网络的照片逼真的单图像超分辨率。在2017年IEEE计算机视觉和模式识别会议上，CVPR 2017，檀香山，HI，美国，2017年7月21日至26日，第1057[18] Ming-Yu Liu，Thomas Breuel，and Jan Kautz.无监督图像到图像翻译网络。神经信息处理系统进展，第700-708页，2017年二、七[19] Jongchan Park，Joon-Young Lee，Donggeun Yoo，andIn So Kweon.失真和恢复：使用深度强化学习进行颜色增强。在IEEE计算机视觉和模式识别会议论文集，第5928-5936页，2018年。二、八[20] Stephen M Pizer ， R Eugene Johnston ， James PEricksen，Bonnie C Yankaskas，and Keith E Muller.对比度受限自适应直方图均衡：速度和效率。在第一次生物医学计算可视化会议论文集，第337-345页。IEEE，1990年。2[21] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络在Medical Image Computing andComputer-Assisted Intervention（MICCAI），LNCS的第9351卷，第234施普林格，2015年。（可在arXiv：1505.04597 [cs.CV]上获得）。七、八、十一、十二、十六、二十[22] E.施瓦茨河Giryes和A. M.布朗斯坦DeepISP：To- wardsLearning an End-to-End Image Processing Pipeline. IEEETransactions on Image Processing，28（2）：912-923，2019。6[23] YichangShih，Syl vainParis，Fre´ doDurand，andWilliamT.弗里曼。从一张户外照片中产生一天中不同时间的数据驱动幻觉。ACM事务处理图表，32（6）：200：1-200：11，Nov. 2013. 4[24] J·亚历克斯·斯塔克。使用直方图均衡化的泛化的自适应图 像 对 比 度 增 强 。 IEEE Transactions on ImageProcessing，9（5）：889-896，2000. 2[25] Ruixing Wang，Qing Zhang，Chi-Wing Fu，XiaoyongShen，Wei-Shi Zheng，and Jiaya Jia.使用深度照明估计的曝光不足照片 在IEEE计算机视觉和模式识别会议论文集，第6849-6857页，2019年。二、六、七、八、十一、十四[26] Z. Wang，E.P. Simoncelli和A.C.波维克多尺度结构相似性在图像质量评价中的应用。在第37届Asilomar会议信号，系统和计算机，2003年。612836[27] 严建州、林瑞麟、康星冰、唐晓鸥。一种用于图像色彩增强的学习排序方法在IEEE计算机视觉和模式识别会议论文集，第2987-2994页，2014年。2[28] Zhicheng Yan ， Hao Zhang ， Baoyuan Wang ， SylvainParis，and Yizhou Yu.使用深度神经网络的自动照片调整 。 ACM Transactions on Graphics （ TOG ） ， 35（2）：11，2016。2[29] 陆渊和孙剑。消费者照片的自动曝光校正。在欧洲计算机视觉会议上，第771-785页。Springer，2012. 2[30] Richard Zhang 、 Phillip Isola 、 Alexei A Efros 、 EliShechtman和Oliver Wang。深度特征作为感知度量的不合理有效性。在CVPR，2018年。7[31] Hang Zhao，Orazio Gallo，Iuri Frosio，and Jan Kautz.用于图像处理的神经网络的损失函数。IEEE Transactionson Computational Imaging，3（1），2017。6[32] Jun-Yan Zhu ， Taesung Park ， Phillip Isola ， Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。在I