高动态范围图像的非配对学习算法

14657高动态范围图像色调映射的非配对学习算法Yael Vinker Inbar Huberman-Spiegeldah Raanan Fattal{yael.vinker，inbar.huberman1，raanan.fattal} @ mail.huji.ac.il以色列耶路撒冷希伯来大学计算机科学与工程学院摘要高动态范围（HDR）摄影正变得越来越流行并且可通过DSLR和移动电话相机获得。虽然深度神经网络（DNN）极大地影响了图像处理的其他领域，但由于缺乏生成训练数据所需的地面实况解决方案的明确概念，它们用于HDR色调映射的使用受到限制在本文中，我们描述了一种新的色调映射方法，由产生低动态范围（LDR）再现，最好地再现本地LDR图像的视觉特性的独特目标的该目标使得能够使用基于HDR和LDR图像的不相关集合的非配对对抗训练，这两者都是广泛可用的并且易于获取。为了在这种最低要求下实现有效的训练，我们引入了以下新的步骤和组件：（i）范围归一化预处理，其估计并应用不同级别的基于曲线的压缩，（ii）保留输入内容的损失，同时允许网络实现其目标，以及（iii）使用更简洁的鉴别器网络，旨在促进复制原生LDR所具有的低级属性。评估结果表明，该网络能够产生逼真的无伪影色调映射图像，并在不同的图像上表现出最先进的性能保真度指数和视觉距离。1. 介绍高动态范围（HDR）摄影在过去几十年中在专业和非专业摄影师两者中获得了相当大的普及。HDR能力在许多DSLR相机以及主流移动智能手机中可用在常规的低动态范围（LDR）设备上打印或显示这些图像需要色调映射步骤以减小它们的动态范围。后者显示了自己作为一个不平凡的任务，并提请consid-图1.通过我们的方法产生的色调映射HDR图像。每张图像左侧的四张曝光照片描绘了原始场景中非常高的古老的研究成果与许多图像处理和恢复任务不同，色调映射HDR图像没有真实的早期的方法使用全局色调再现曲线（TRC），它比线性包围更好地利用了输出动态范围[5，24，47]。这些曲线避免了曝光过度和曝光不足的像素，但是它们的收缩性质导致局部对比度的严重降低因此，更现代的方法将其目标集中在使用细节分离和增强技术[6，8，9，33，35，39，48]来保留或增强局部对比度这些方法产生高度详细的图像，但应用高水平的压缩仍然是一个挑战，在避免边缘相关的伪影或实现平衡的对比度水平和整体照片逼真的AP。忍耐深度神经网络（DNN）通过使用包含地面真实示例的大型训练集，极大地影响了各种图像处理任务，例如超分辨率[20]和去模糊[43]。在缺乏地面实况数据的情况下，HDR色调映射中的流行方法是使用现有色调映射算子（TMO）来产生图像标签的面板，并使用图像质量指数来缩小它以获得最终的训练示例[34，38]。14658训练后的网络有望在每个图像上重现最佳可用结果，但不会超过其底层TMO算法的性能。此外，所使用的质量指标奖励满足少量规则，因此它们使训练偏向于过拟合这些属性。一些方法包含人工监督，但它们仍然依赖于最终选择的索引[55]，或者通过选择单个注释器[30]来做出主观决定。在本文中，我们描述了一种新的基于DNN的TMO，该TMO经过训练以产生具有在本地LDR图像中发现通过将这个独特的目标制定为对抗训练，我们用大量可用的高质量LDR图像取代了获得配对训练样本无监督对抗训练是一个相当微妙的过程，容易出现各种不稳定性。为了实现有效和成功的培训，我们的方法使用了以下几个新步骤和组件：（i）在将输入HDR图像馈送到网络之前，我们通过范围压缩曲线来映射其亮度，该范围压缩曲线减小其方差并固定其范围。为了训练和应用我们的方法从任意来源的图像，我们使用一个自适应的压缩水平，我们估计每个输入图像的基础上。此外，（ii）我们将结构保存损失，惩罚超出局部调整的亮度和对比度的变化。该项确保输入图像内容被保留并且不发生模式塌陷。最后，（iii）我们描述了使用相对浅的鉴别器网络的集合，以便更好地匹配原生LDR图像的低级属性，并抑制困扰现有TMO的边缘相关伪影。我们证明了我们的方法的能力，有效地产生自然的外观和无伪影的LDR渲染的高挑战性的HDR场景。对基准HDR图像的定量评估显示其优于已建立的图像质量指标和视觉距离。2. 相关工作我们在这里简要回顾了多年来开发的不同色调映射方法，重点是最近的基于DNN的方法。色调映射算法。色调映射算法通常分为全局算子和局部全局运算符根据像素色调映射像素，并在图像上应用相同的曲线。值得注意的示例使用线性缩放[52]、非线性色调曲线[47]和对数色调曲线[21，5]。S形曲线的类别与人类视觉系统（HVS）[31]中的响应相关联，并且在[36，41]中使用。计算效率和没有过度曝光和曝光不足的像素是其主要优势全球运营商。然而，它们的非局部推理导致以对比度损失为特征的次优局部处理。本地运营商通过基于图像的本地内容来调整其操作来解决这个缺点。一些作品[23，35，39]从HVS的局部适应机制中推导出它们的然而，使用空间不变滤波来分析图像导致边缘周围的不希望的光晕效应。为了最小化这些影响，建议使用不同类型的边缘感知滤波器，例如各向异性扩散[48]、鲁棒平均[4]、双边滤波器[6]、加权最小二乘法[8]、局部拉普拉斯金字塔[33]和多尺度分解[12]。另一个最近的工作梁等。[25]使用l0和l1稀疏度来分解图像细节。另一种方法通过在图像梯度的精细尺度[9，44]和对比度的低通测量[28]上操作来解决该问题。这项研究工作导致色调映射HDR图像的能力的显着改进，同时保留其局部对比度和最小化边缘相关的伪影。然而，如上所述，由于对比度不平衡，高压缩水平仍然可能导致伪影或受损的真实性。基于DNN的色调映射。尽管缺乏地面实况训练数据，但是提出了许多方法用于利用DNN进行HDR Hou等人[17]训练网络以使用VGG感知损失从其对数变换的亮度图再现输入HDR图像[20]。该方法在假定对数的压缩效果将在该范数下持续并且给定所使用的有限网络容量的情况下操作。他们的网络必须针对每个输入图像进行专门训练。Gharbi等人[11]使用受双边网格启发的网络架构来执行给定输入和输出示例对的各种图像增强操作。这种方法的重点是在实时再现的增强。几种最近的方法[3，30，32，34，38，55]使用条件GAN [18，50]训练它们的色调映射网络，以获得匹配分布的更抽象的度量。然而，该条件框架需要成对的输入HDR和对应的色调映射LDR。这些方法的不同之处在于它们获得配对数据的方式以及它们使用的额外相似性损失。Patel等人[34]，Ranaet al. [38]和Caoet al.[3]通过在每个示例HDR图像上应用色调映射算法列表并选择具有最高色调映射质量指数（TMQI）[53]的结果作为其地面实况标签来构建它们的训练对。Panetta等人[32]在监督的低光图像数据集上训练。这些方法使用额外的重建损失来帮助其对抗训练的收敛。和Caoet al.使用VGG-感知损失，Patel等人使用L1损失，以及Panettaet al. 使用该损失与梯度轮廓损失的组合14659NNNNC最大值（Y）LD输入HDR鉴别器预处理色调映射LDR数据HDR数据LstructL自然色彩还原图2.色调映射管道。给定输入HDR图像，我们估计将其亮度Y映射到固定范围图Yc中所需的压缩水平。后者被馈送到色调映射网络以及用于定义结构保留损失。 该网络还被训练以最小化相对于原生LDR图像的对抗性损失。最终输出图像是从所得亮度N（Yc）和输入图像的色度产生的。我们分别用蓝色和绿色标记参与网络N和D训练的组件。以便更好地考虑边缘信息。Zhang等人[55]通过向三个摄影师提供色调映射工具箱来合并人工监督，他们可以使用色调映射工具箱然后将具有最高TMQI分数的图像用作训练标签。Rico等人[30]使用MIT-Adobe 5 K数据集[2]，该数据集也由多个（五个）摄影师生成，允许对每个训练图像应用不同Rico等人最终使用仅一个专家的色调映射结果作为训练标签，并且他们还采用基于VGG的重建损失。与这些方法相比，我们通过训练我们的网络来再现原生LDR图像的视觉属性，从而减轻了对成对训练示例的需求。最后，让我们谈谈低光图像增强方法的工作路线。虽然这些方法不是设计来处理HDR图像的，但是它们也被期望操纵（增加）图像的亮度。由于这些操纵对输入图像施加比HDR TMO弱得多的改变，因此基于全局曲线的方法是足够的。事实上，郭和李等人。[14]使用深度学习预测图像特定曲线映射。Wang等人[49]使用修饰过的图像来训练一个网络来处理曝光不足的图像，以及Jiang等人。[19]为此目的训练一个无监督的GAN。与我们的方法不同，这项工作没有采取任何特定的措施来允许它应用显着水平的动态范围压缩。3. 方法我们首先简要概述我们的新色调映射流水线，如图2所示，然后详细描述其每个步骤。与其他TMO类似[9，41，48]，我们执行在YUV颜色空间中的输入HDR的亮度通道Y我们依靠对抗训练的力量来匹配原生LDR图像的视觉外观。 这种类型然而，训练是一个微妙的过程，容易出现各种不稳定性。为了确保稳定的训练，在我们的流水线的第一步，我们通过应用适当压缩量的TRC将输入亮度Y映射到固定范围内。该量是根据Y然后将所得图像馈送到色调映射网络中，该色调映射网络被训练以再现原生LDR的视觉属性并去除由所应用的TRC产生的偏差。这通过相对于原生LDR图像的数据集的对抗训练来实现。我们增加了这个训练过程中的损失，保留了输入图像的结构完整性，通过限制的行动的亮度和对比度的局部变化。该损耗还确保不发生模式崩溃。最后，通过[41，48，9]中使用的过程恢复输出彩色图像。自适应曲线压缩。不同HDR图像的亮度范围可以相差几个量级，这带来了应用不同压缩级别的需要。输入的这种可变性似乎挑战并破坏了其训练的收敛性。因此，作为预处理步骤，我们使用全局曲线映射将输入亮度Y映射到固定范围。映射的范围从线性变换到severe对数状曲线，这取决于输入Y所需的压缩水平。该TRC族由下式给出：Y（x）=log.λY（x）+εΣ/log（λ+ε），（1）14660NNDD↓×DNNEYLLDRDk（↓YL）−1YHDRKCk∈{0，1，2}（二）输入HDRDCGAN建议网络图3.色调映射网络的操作。该图示出了输入HDR、在被输入到网络之前的Yc的色彩再现以及Yc上的动作。后者再现了Y c中缺失的显著量的对比度。该图还比较了由两个不同的鉴别器网络获得的结果。深度DCGAN架构导致图像中的伪亮区域和伪暗区域，如红色框所示较浅鉴别器网络的集合的使用实现了更一致的色调映射。其中，max（Y）是指图像像素x上的最大值，参数λ设置所应用的压缩水平，并且ε=0。05.所得亮度值被限制为[0，1]，而不管λ如何。对数曲线通常用于色调再现，因为它们类似于在人类视觉系统中发生的对光的压缩响应，也称为韦伯-费希纳定律[5]。然而，我们注意到，与现有的基于TRC的方法不同，我们使用自适应压缩水平，其中在不同图像上使用不同的λ在下面的第3.1节中，我们描述了确定此路径的方法基于Y.自然外观。适用的全球储税券互动网络然而，我们不训练从头开始构思新图像，而是专注于消除Yc相对于常规LDR图像的偏差由于这些差异与局部对比度和边缘相关效果有关，因此我们通过将其深度限制为两个卷积层来将焦点设置为该级别的图像建模。为了识别多个空间尺度上的差异，我们遵循[50]中的方法，并使用以下损失Σ。ΣkΣ2由方程式1、因其无法生产出足够的地方对比的水平。 为了避免这个缺点+ED。↓k N（Y）ΣΣ2Σ，以及应该使用由于在色调映射的再现中出现了多个图像，我们采用产生最类似于捕获原生LDR场景的LDR图像的色调映射图像我们利用对抗训练的非凡能力来重现给定示例图像的分布更具体地，我们训练鉴别器网络D以在N（Yc）和一组高保真原生LDR图像之间进行区分。通过训练N来欺骗D，其输出获得期望的外观。结果N其中，Y_L表示LDR训练图像的亮度通道，并且Y_c是使用等式（1）从Y计算的压缩亮度。1.一、k表示双三次2kim-年龄降尺度算子，并且k是在对应的图像尺度处应用的鉴别器网络。这些网络具有我们在3.2节中描述的相同架构以及的架构。最后，我们使用k来提高匹配LDR图像的自然外观的能力，通过训练它来最小化如图3所示。L=ΣEΣD。↓k N（Y）Σ−Σ2这种不成对的训练方案消除了收集或产生示例色调映射图像的需要如耳所知自然k∈{0，1，2}YHDRkc1.（三）与依赖于现有色调映射算法的[34，38]不同在无监督的情况下，我们的训练省去了[30，55]中假设的手动工作，并且在客观图像保真度测量方面得分更高。鉴别器网络的架构在这种方法的成功中起着核心作用。多层DCGAN架构原型[37]具有在多个尺度下的特征之间进行关联并且基于高级语义内容进行区分的能力。因此，这种架构通常用于训练对抗性基因。注意，L_D和L_natural两者都对应于最小二乘GAN训练损失[29]。图2总结了与这些对抗性损失相关的计算图。最后，图3示出了与通过我们的较浅网络的集合获得的更一致的结果相比，通过使用有效的深DCGAN风格的判别器产生的稳定性相关的伪影结构保护。将亮度动态范围映射到较窄的范围中不可避免地改变对象的亮度。这个过程可以在不改变物体形状的情况下进行，就位置而言LD=14661NNNλNNNNstruct×CCΣ图4.我们在色调映射网络中使用的U-Net架构。 每一层的跳过连接传递激活以及它们的平方根，如灰色框所示。以及它们的边缘的方向。然而，在Eq. 3不要求（Yc）具有与输入Y或Yc的任何相似性。为了避免该陷阱以及训练期间的任何模式崩溃，我们促进了输入Yc和输出（Yc）图像中的亮度归一化变化的共同出现。我们基于两个图像I和J的小图像块内的皮尔逊相关性通过下式导出该度量：每个图像。我们在这里解释我们确定这个水平的方法。当从野外收集训练图像时，或者将我们的TMO应用于来自任意源的图像时，与其亮度值的尺度相关的因此，基于最大Y值确定λ可能是不可靠的。使用由最大和最小输入亮度之间的比率计算的动态范围的选项可能是不稳定的，因为调节该估计的噪声水平在这种情况下不可用。为了避免这些不确定性并在任意图像上训练和应用我们的方法，我们导出以下λ的估计。具体地，由于λ控制等式（1）中的TRC。1，我们搜索使Yc最接近于规范LDR图像行为的值。由于HDR图像的亮度分布比LDR图像的亮度分布丰富得多，因此我们使用这些分布作为用于测量这种接近度的描述符。形式上，我们搜索最小化以下交叉熵的λmin− ΣH l（Y c）log.Hl（LDR）Σ，（6）ρ（I，J）=1npI，pJcov（pI，pJ）σ（pI）σ（pJ）、（四）L其中，由H（Yc）表示的Yc的直方图是λ的函数，并且H（LDR）表示na的直方图其中pI和pJ是I和J中的所有5乘5像素面片分别协方差cov和标准差σ也在这些补丁内计算。该测量通过所使用的贴片的总数np来归一化。我们使用此措施通过最小化来保持多个空间尺度下输入的内容和结构完整性L=Σρ（↓kY，↓kN（Y）），（5）k∈{0，1，2}动态LDR图像。后者是通过对来自DIV2k数据集的900张高质量图像的直方图进行平均计算的[1]。我们使用了20个由l索引的箱子。最后，我们解决了Eq中的优化。6使用随机搜索[45]。最后，在第4.3节中，我们报告了一项消融研究，该研究证明了与使用我们收集的图像中的原始亮度值进行训练和测试我们的方法相比，该估计的贡献3.2.实现细节我们将其与等式中的对抗性损失结合使用。三是训练。最后，我们注意到结构相似性指数（SSIM）[51]也在其补丁的基础上分析图像。然而，它不是不变的补丁亮度和对比度的变化因此，该指数与我们的目的是期望（Yc）在亮度和对比度上都经历重大变化。色彩再现。在推理时，我们使用[9，41，48]中使用的公式恢复输出彩色图像。具体地，输入HDR图像的每个RGB颜色通道C_in被独立地映射以通过C_out=（C_in/Y）s（Y_c）产生对应的输出通道。 我们使用默认的颜色饱和度参数s= 0。五、3.1. 压缩级别估计我们在Eq. 1允许我们应用不同级别的压缩，具体取决于色调映射网络架构。该网络由具有四个级别的U-Net架构[40]组成，每个级别包含两组3乘3卷积，ReLU和最大池。每个级别的过滤器数量都增加了一倍，从32个过滤器开始。我们使用2个池化因子和卷积转置来解池化。在输出层，ReLU运算符被sigmoid替换。该架构如图4所示。线性层（卷积）和ReLU算子的组合跨越分段仿射变换的空间。为了表达更平滑的亮度映射，我们将通过跳过连接的激活与它们的平方根连接起来，如图4所示。这一步使激活维度加倍，但随后的卷积减少了这个维度。如第4.3节中的消融研究所示，这些压缩逐点变换改善了色调映射图像的照片真实感。p14662×DN ×DN≥鉴别器架构。 我们使用三个独立的判别器，它们不共享它们的权重。网络具有由四层组成的相同架构前两个是4乘4卷积层，分别有16个和32个两个级别都有2个跨步合并。第三层使用未跨越的1乘1卷积，然后是具有sigmoid激活的输出全连接层。数据集。我们在从HDR+数据集[15]拍摄的HDR图像上训练网络，该数据集包含不同光照条件下的室内和我们使用来自该数据集的1000张图像进行训练，并使用另外1000张图像进行测试。每个图像被裁剪和重新缩放，以提供两个256乘256的图像。用于等式2中的对抗性损失的原生LDR图像2，取自DIV2k数据集[1]，其中包含1000张高质量图像。我们将这个数据集随机分成两半进行训练和测试。在这里，我们再次通过将每个图像裁剪为两个，并将它们重新缩放为256 × 256像素来增强每个集合培训详情。我们使用Pytorch框架实现了我们的模型，并使用Adam优化器在单个GeForce GTX1080TiGPU上对其进行了训练，学习率为10−4，用于和1 .一、5这个价格. 我们预-训练以区分Y_c和LDR图像50个epoch，然后在300个epoch上训练两个网络，每50个epoch的学习率衰减因子为一半。预训练阶段旨在稳定GAN训练。色调映射网络由大约4. 5M个参数，并且鉴别器总共31k个参数。训练这些网络花费了大约3个半小时。北京时报. 经过训练的色调映射操作员使用GPU处理1333x2000像素的图像需要0.5秒。4. 结果我们报告的定量和定性评价我们的色调映射网络旁边 的 国 家 的 最 先 进 的 算 法 Farbman 等 人 。 [8] ，Ferradanset al. [10] ， Guet al. [12] ， Maiet al.[27] ，Shanet al.[42] ， Shibataet al.[44] ， Pariset al. [33] ，Lianget al. [25]，Khanet al. [22]和Zhanget al. [56]。作者公布的默认参数用于测试这些方法。我们还比较了张等人的基于DNN的方法。[55]，Ranaet al. [38]，Panettaet al. [32]和Caoet al. [3]，通过在相同的测试图像集上运行我们的方法，这些方法用于其评估。4.1. 定量评价在该比较中，我们使用了色调映射图像质量指数（TMQI）[53]和盲TMQI（BTMQI）[13]，它们通常用于评估TMO。这些指标在来自HDR摄影调查数据集[7]的105个基准HDR图像上进行评估。的情况下公司简介Ferradans等人[10个国家]0.8364.563Mai等人[27日]0.8563.958Shibata等人[第四十四届]0.873.578Gu等人[12个]0.8713.878Shan等人[第四十二届]Zhang等人[56]*0.8740.883.6253.76Rana等人[38]*Farbman等人[八]《中国日报》0.880.886–3.602Liang等人[25日]0.8873.691Khan等人[22]*0.889–Ma等人[26日]0.8953.868Cao等人[3]*0.9–Paris等人[33个]0.9062.988我们的0.919 2.89Zhang等人[55]** 0.874 3.519我们的 * 0.902 3.24Panetta等人[32]*0.8733.44我们的 *0.8833.041表1.平均TMQI评分（越高越好）和BTMQI（越低越好），两者都是在HDR调查数据集的相同105张图像上计算的[7]。在（*）中，这些分数直接取自相应的论文。（**）中的评分是在HDRI Haven数据集[54]的304张图像上计算的，用于评价[55]，（*）中的评分是在[32]中用于评价的456张图像上计算的。竞争对手Fre'chetInceptiondistance（FID）[16]是一个工作台-用于测量分布之间的距离的标记分数从Inception网络中提取的视觉描述符[46]。我们使用该距离来测量我们的色调映射图像和原生LDR图像的然而，该距离需要大量图像（10，000），这在HDR成像领域中当前不可用。相反，我们使用这个距离的一个变体，我们称之为pixFID，并且可以使用更少的图像进行可靠的评估。在该测试中，我们从HDR+数据集[15]收集了1000个图像，并从DIV2k数据集[1]收集了另外1000个测试LDR图像在补充材料的附录中，我们描述了该距离，并显示了其与FID的一致性。色调映射图像质量指数。我们的网络经过训练，以再现原生LDR图像的视觉外观，同时保留输入的结构内容。TMQI和BTMQI都奖励这些品质，并且实际上，如表1所报告的，我们的方法实现了最佳分数，在TMQI中具有不可忽略的余量，紧挨着最高分数色调映射算法和Zhang等人的最近的基于DNN的方法的列表。[55]，Ranaet al. [38]，Panettaet al. [32]和Caoet al.[3]的文件。请注意，后面的基于DNN的方法不是下一个最高得分。14663Liang等人Rana等人我们Shibata等人Liang等人Rana等人我们Farbman等人Paris等人Zhang等人我们Gu等人Liang等人Rana等人我们图5.由不同方法产生的色调映射图像在列表中添加TMO。因此，除了推动HDR色调映射的最新技术之外，我们的方法使用DNN来这样做，如我们在下面指出的，DNN在更有效的平台中可用。Fre'chet初始距离。表2报告了通过不同方法获得的pixFID值，其中我们的网络获得最低（最佳）值。这表明我们的色调映射图像与原生LDR图像具有最接近的统计相似性。注意，Liang等人的最近算法。是我们最接近的竞争对手由于基于DNN的方法的代码不可用，因此未在基于DNN的方法上评估该分数。4.2. 目视评价图5提供了通过在上述测试中获得最高分数Shibataet al.似乎产生了适当的压缩水平，但也过分强调精细的细节和薄晕。Liang等人s方法显示较少的边缘相关伪影和足够的压缩，但包含相当适度的局部和全局对比度。Ranaet al.产生对比度丰富的无光晕图像，但由于压缩量不足，也包含过暗区域Farbman等人的算法都是有效的。和Paris等人。产生无伪影的图像，但似乎应用了导致较弱对比度的不足的压缩水平Zhang等人结果被更好地压缩并且包含改进的对比度。最后，Guet al.实现了相当程度的压缩，但是遭受了过度强调的精细细节和较小的光晕效应。由我们的方法产生的色调映射图像似乎不受视觉伪影的影响，并且具有足够的压缩量而没有过度压缩。14664TMO pixFIDShan等人[第四十二届]1.22Shibata等人[第四十四届]1.20Ferradans等人[10个国家]1.165Mai等人[27日]1.141Paris等人[33个]1.107Gu等人[12个]1.105Farbman等人[八]《中国日报》1.102Liang等人[25日]1.04我们的1.008表2. Pix elFre′ chet初始距离（越低越好），根据DIV2k数据集的本地LDR图像计算。和曝光不足的区域。局部和全局对比度看起来相当平衡，并且与在对比度丰富的原生LDR图像中发现的对比度一致。附加的并排比较图像可以在本文的补充材料中找到。用户研究。最后，为了进一步评估我们结果的视觉质量，我们进行了一项用户研究，该研究遵循[25]中使用的方案。具体来说，它由8名参与者组成，他们被要求对[25，33，38，12，8]和我们的方法产生的1到8张图像进行评分。图像彼此相邻地显示（以随机顺序）。参与者对测试的目的很天真，并被要求根据图像的真实性和未经处理的程度对图像进行我们的方法获得了最高的平均得分6.43，标准差为1.6，其次是[25]，平均得分为5.78，标准差为2.04，然后是[33]（4.39，1.99），[8]（4.70，1.98），[12]（2.43，1.95）和[38](2.14，1.28）。总结这些结果的图可在补充材料中找到。4.3. 消融研究为了证明第3节中描述的不同组件的贡献，我们评估了通过关闭它们获得的作为参考，我们提醒，我们的方法实现了1.008的pixFID和0.919的TMQI。自适应压缩级别。使用TRC的TMO通过以下两种方式之一确定压缩量：(i)对输入图像的原始亮度值进行操作，即，省略等式中除以max（Y）。1，并且允许它们的范围影响压缩[9，6，8]，或者（ii）如在[21]中，输入亮度被归一化到固定范围，即，使用固定的压缩量λ=5000，在等式2中1.一、为了成功地处理不同动态范围的图像，我们的方法适应它所应用的压缩级别。此外，它从输入直方图估计该水平，并避免亮度尺度来自不同来源的图片。 使用固定λ=1000将TMQI评分显著降低至0.89，并 且省 略亮 度 归一 化将 pixFID破 坏到 1.096 并 且将TMQI破坏到0.75。我们在补充材料中提供了视觉演示。平方根变换。如上所述，我们使用√x变换来增强我们的U-Net架构。以更好地跨越平滑色调映射算子。 通过省略这些变换，pixFID分数增加到1.219，TMQI降低到0.869。正如我们在补充材料中所展示的那样，这些转变的视觉影响是实质性的。鉴别器集成。 我们还评估了使用以多种图像分辨率应用于两种替代方案的浅鉴别器网络的集合的重要性 ： （ i ） 在 最 好 的 图 像 分 辨 率 下 使 用 单 个 浅DCGAN，以及（ii）使用单个更深的DCGAN架构[37]。第一个选项的结果也是pixFID 1.096和TMQI0.912的劣分如补充材料中所示，在图像的粗略尺度下恢复对比度的能力明显受损。图3示出了由训练深度DCGAN判别器网络中涉及的不稳定性导致的伪影，尽管该选项对视觉分数没有显著影响，即，1.043和TMQI为0.92。对抗性损失。在没有GAN损失的情况下，网络仅被训练以使结构损失最小化并且导致输出输入色调映射图像不变的身份映射，在这些设置下的TMQI和pixFID分数相应地为0.8和1.131。结构保护。最后，我们报告说，我们的结构保存损失的removal不允许我们的训练收敛。5. 结论我们提出了一种新的训练方法，与现有的基于DNN的方法不同，该方法不需要通过设置产生自然外观的LDR渲染的目标来配对训练示例。为了允许这种最小设置成功，我们提出了一种范围归一化预处理，其估计并应用不同级别的基于曲线的压缩，将网络的动作限制在亮度和对比度的局部变化的损失，以及一个更简洁的鉴别器网络，旨在促进原生LDR拥有的低级属性我们评估了我们的方法在几个图像保真度指标，并报告其优越的性能。视觉检查显示其产生具有平衡对比度水平的自然外观色调映射的能力。引用[1] Eirikur Agustsson和Radu Timofte。Ntire 2017挑战单幅图像超分辨率：数据集和研究。在14665IEEE计算机视觉和模式识别会议，2017年7月。五、六[2] VladimirBychko vsky ， SylvainParis ， EricChan 和 Fre´doDurand。使用输入/输出图像对的数据库学习摄影全局色调调整在2011年第二十四届IEEE计算机视觉和模式识别会议上。3[3] X. Cao，K.黎氏Yanushkevich和M.R. 史密斯高动态范围图像的对抗性和自适应色调映射算子。2020年IEEE计算智能研讨会系列（SSCI），第1814-1821页，2020年。二、六[4] 杰弗里·迪卡洛和布莱恩·万德尔渲染高动态范围图像。Proceedings of SPIE - The International Society for OpticalEngineering，3965：392-401，05 2000. 2[5] 弗雷德里克·德拉戈、卡罗尔·米兹·科维斯基、托马斯·安嫩和千叶则茂。用于显示高对比度场景的自适应对数映射Comput. Graph. Forum，22：419- 426，2003. 一、二、四[6] 杜兰神父和茱莉·多尔斯。用于显示高动态范围图像的快速双边滤波在Proceedings of the 29 th Annual Conferenceon Computer Graphics and Interactive Techniques ，SIGGRAPH一、二、八[7] M.D.费尔柴尔德HDR摄影调查，第233- 238页。2007年1月。6[8] Zeev Farbman ， Raanan Fattal ， Dani Lischinski ， andRichard Szeliski.边缘保留分解，用于多尺度色调和细节处理。ACM Transactions on Graph-ics（Proceedings ofACM SIGGRAPH 2008），27（3）：出现，2008年8月。一、二、六、八[9] Raanan Fattal，Dani Lischinski，and Michael Werman.梯度域高动态范围压缩。 ACM Trans.Graph. ，21：249-256，2002. 一二三五八[10] Sira Ferradans，Marcelo Bertalmio，Edoardo Provenzi，and Vincent Caselles.色调映射的视觉适应与对比知觉分析 IEEE Transactions on Pattern Analysis and MachineIntelligence，33（10）：2002-2012，2011. 六、八[11] Mi c ha e？ lGharbi ，Ji a wenChen ，JonathanTBarron ，SamuelWHasino f f，andFre？doDurand. 用于实时图像增强 的 深 度 双 边 学 习 ACM Transactions on Graphics（TOG），36（4）：118，2017。2[12] B. Gu，W.Li，M.Zhu和M.王. 高动态范围图像色调映射的 局 部 IEEE Transactions on Image Processing ， 22（1）：70-79，2013. 二、六、八[13] Ke Gu ， Shiqi Wang ， Guangtao Zhai ， Siwei Ma ，Xiaokang Yang，Weisi Lin，Wenjun Zhang，and WenGao.通过分析信息、自然度和结构对色调映射图像进行盲 IEEE Transactions on Multimedia ， 18 （ 3 ） ： 432-443，Mar. 2016. 6[14] Chunle Guo，Chongyi Li，Jichang Guo，Chen ChangeLoy，Junhui Hou，Sam Kwong，and Runmin Cong.用于弱光图像增强的零参考深度曲线估计。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2020年6月。3[15] 塞缪尔·W.放大图片创作者：Jonathan T.Barron，FlorianKainz，Jiawen Chen，and马克·莱沃伊用于移动相机的高动态范围和低光照成像的 连 拍ACM Transactions on Graphics （ Proc.SIGGRAPH Asia），35（6），2016。6[16] Martin Heusel、Hubert Ramsauer、Thomas Unterthiner、Bernhard Nessler和Sepp Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。在重症盖永诉 卢 克 斯 堡 S 。 Bengio ， H. 瓦 拉 赫 河 Fergus ， S.Vishwanathan和R. Garnett，编辑，神经信息处理系统进展30，第6626- 6637页。Curran Associates，Inc. 2017. 6[17] 先虚侯、姜端、裘国平。深度特征一致的深度图像变换 ： 缩 小 、 脱 色 和 HDR 色 调 映 射 。 CoRR ，abs/1707.09482，2017。2[18] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。CVPR，2017年。2[19] Yifan Jiang，Xinyu Gong，Ding Liu，Yu Cheng，ChenFang，Xiaohui Shen，Jianchao Yang，Pan Zhou，andZhangyang Wang.启迪：无需配对监督的深度光增强。IEEE传输图像处理。，30：2340- 2349，2021. 3[20] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。2016年欧洲计算机视觉会议。一、二[21] Nima Khademi Kalantari和Ravi Ramamoorthi。动态场景的深度ACM Transactions on Graphics（Proceedings ofSIGGRAPH 2017），36（4），2017。二、八[22] Ishtiaq Rasool Khan Wajid Aziz和Seong-OShim. 使用感知量化器和图像直方图的色调映射IEEE Access，8：31350-31358，2020。6[23] 埃德温·兰德和约翰·麦肯亮度和视网膜理论。Journal ofthe Optical Society of America，61：12[24] 格雷戈里·沃德·拉森，霍莉·拉什米尔，还有克里斯汀·派阿特科.一种用于高动态范围场景的可见度匹配色调 再 现 算 子 。 IEEE Transactions on Visualization andComputer Graphics，第291-306页，1997年。1[25] Zhetong Liang，Jun Xu，David Zhang，Zisheng Cao，and Lei Zhang.用于色调映射的混合l1-l0层分解模型。在IEEE计算机视觉和模式识别会议（CVPR），2018。二、六、八[26] Kede Ma ， Hojatollah Yeganeh ， Kai Zeng ， and ZhouWang.通过优化色调映射图像质量指数实现高动态范围图像压缩。IEEE Transactions on Image Processing，24（10）：3086-3097，2015. 6[27] Zicong Mai ， Hassan Mansour ， Rafal Mantiuk ， PanosNa-siopoulos，Rabab Ward，and Wolfgang Heidrich.优化用于向后兼容的高动态范围图像和视频压缩的色调曲线。IEEE transactions on image proces