基于协作双边学习的UHD图像HDR重建网络

×基于协作双边学习的郑卓然1，2，3，任文琪2，3 *，曹晓春3，王涛4，贾秀义1，2*1南京理工大学计算机科学与工程学院2南京大学社会安全图像与视频理解江苏省重点实验室3SKLOIS、IIE、CAS4华为诺亚摘要现有的单图像高动态范围（HDR）重建方法试图扩大照明范围。它们不能有效地在重建结果中生成合理的纹理和颜色，特别是对于超高清（UHD）图像中的高密度像素。为了解决这些问题，我们提出了一个新的HDR重建网络的UHD图像的颜色和纹理细节的协同学习。首先，我们提出了一种双路径网络，以低动态范围（LDR）输入的降低分辨率来提取内容和色彩这两种类型的特征用于拟合用于实时HDR重建的双边空间仿射模型为了提取LDR输入的主要数据结构，我们23.021.019.018.016.014.0PSNR vs速度FMFPL JSI-GANLRCP（CVPR'odNetPS'2020）3DLUT（TPAMI'202PS30fN十七、RCNOG'20HD（T）的UnM（神经元I2020年）dNet2018）Expan（CGF）'2017（TOG0个）I'202（AAA）020）OG'2（T）的RNetHDRs欧10- 410- 310- 210- 11 102103运行时间建议使用3D Tucker分解和重构来防止学习的双边网格中的伪边缘和噪声放大。因此，高质量的内容和色彩特征可以在引导的双边上采样上被资本化地重建。最后，我们将这两个全分辨率特征图融合到HDR重建结果中。我们提出的方法可以实现实时处理的UHD图像（约160 fps）。实验结果表明，该算法在公共基准测试和真实UHD图像上的重建效果优于现有的HDR重建方法.1. 介绍高动态图像可以显示丰富的外观，例如亮度、对比度和纹理细节。然而，由于硬件设备的物理限制，大多数移动设备只能捕获有限动态范围内的图像现有方法将不同曝光的LDR图像融合成单个HDR图像[9，14]。然而，这种技术只适用于静态场景，而鬼影*通讯作者。图1.我们提出的增强方法和FiveK数据集上最先进的方法之间的速度和准确性的权衡[8]。红线表示UHD图像重建的实时方法。右侧黄色区域表示无法直接处理UHD图像的方法，需要使用下采样-增强-上采样（DEU）策略。例如，最大分辨率可以由Ex- pandNet [26]，HDRCNN [15]，FMFPL [29]和JSI-GAN [21]大约是2K，而LRCP [25]和UnModNet [42]只能在大约512512分辨率的图像上运行。该算法在UHD分辨率（4K或更高）下高效准确地生成增强图像伪像经常出现在动态场景或手持摄像机中。此外，难以在同一场景中获得具有不同曝光水平的多个LDR最近，已经开发了几种方法[10、16、21、25、29、36、39、42]以使用平移不变性模型（CNN）从LDR输入重建HDR图像。然而，这些方法具有以下自然限制[41]。首先，由于现有深度模型的参数是固定的，因此这些网络需要用相同的权重来增强其次，前向模型通常在可学习模型的帮助下增强LDR图像，这不可避免地消耗大量的4449峰值信噪24450计算资源的数量。例如，UnMod- Net [42]和LRCP [25]的当前单图像HDR重建方法无法在具有24 G RAM的GPU上直接增强超高分辨率图像（4K）虽然早期的轻量级深度模型HDRCNN [15]和Ex- pandNet [26]可以在2K图像上运行，但评估指标的性能低于FMFPL [29]和我们的，如图1所示。因此，从LDR图像中恢复丢失的边缘和颜色仍然是一个棘手的问题。综上所述，设计一个高精度和高效率的深度网络来重建UHD图像的边缘和颜色仍然是一个挑战。为了实现这一目标，我们提出了一个协作学习框架，以融合各种信息，并在双边空间中使用高效且可解释的过滤模块[11]。我们设计了一个双路径网络与边缘感知仿射模块协作学习颜色和纹理细节。特别地，我们的算法提取了低分辨率的内容和颜色特征用于双边网格学习，并恢复了两个高质量的特征图（一个主要集中在边缘和纹理上，另一个集中在颜色上）。然而，我们注意到，通过双路径网络学习的双边网格倾向于在恢复的图像中产生新的边缘、光晕或噪声。因此，我们提出了一个三维塔克重建方案，以防止伪边缘和噪声放大的基础上的低秩特性。最后，我们融合这两个高分辨率的功能，以产生重建的UHD HDR图像。由于双边网格的变化是根据局部区域的内容和颜色发生的，因此我们提出的算法能够恢复空间变化。所提出的双路径网络还可以帮助细化学习的双边仿射模型中的颜色和纹理此外，我们的方法在单个Titan RTXGPU上处理UHD图像的时间不到6 ms本文的贡献总结如下：• 我们提出了一种新的双路径网络，通过在双边空间中协作学习纹理和色彩特征，这使得所提出的网络能够实时处理UHD HDR图像。• 我们通过3D Tucker重建块在双边网格学习过程中实施平滑项，这防止了重建结果中的伪边缘和噪声放大。• 我们提出了一个LeakAdaIN和一个自进化的损失函数，用于训练加速和视觉感知增强。在合成图像和真实图像上的实验结果表明，该算法在任意空间尺寸上对最先进的HDR重建方法表现良好2. 相关工作多图像HDR重建。最传统的HDR重建技术依赖于多个曝光。确定LDR图像。[14、32]。为了消除动态场景中的伪影，需要对图像进行配准和后处理.最近的方法[20，30，34，37]应用CNN或结合一些其他方法来融合多个LDR图像。不同之处在于，我们专注于从单个曝光过度或曝光不足的LDR图像构建HDR单幅图像HDR重建。由于缺乏颜色和纹理信息，单幅LDR图像重建为HDR图像比多幅图像融合重建更具挑战性。传统方法估计照明密度和饱和度，以提高动态范围[1，2，3，4，5]。然而，随着AD-随着深度学习的发展[10，21，25，29，42]，已经开发了一些方法来学习从LDR输入到HDR输出的映射函数例如，HDRCNN方法专注于通过在过度曝光或曝光不足区域中回退到编码器-解码器架构来恢复丢失的细节[15]。Marnerides等人[26]建立多分支网络，通过扩张卷积获得图像的高频和低频信息。此外，应用固定的逆相机响应函数（CRF）来重建从原始信号丢失的丢失信息然而，固定CRF可能不适用于从多次曝光图像捕获的图像。一些最近的方法[25，42]受到严格的先验知识和物理规则的约束。由于大量的规则约束，这些模型被分成多个过程，以增强单个LDR图像。例如，LRCP [25]采用去量化、非线性映射和裁剪动态范围来构造最终结果。然而，这些方法消耗大量的计算资源。相比之下，我们的方法通过学习颜色和纹理信息来直接重建HDR图像，以端到端的方式增强LDR输入，并节省了大量的计算资源。UHD图像增强。已经提出了一些方法[17，18，33，35，38，40大多数现有方法通过使用几个卷积层来实现实时处理[40]。特别是，双边滤波器/网格在加速[7，12，13]中引起了长期关注，这是双边空间中图像的边缘感知操纵[6，33，35]。例如，HDRNet [17]通过像素级感知的仿射变换然而，这种局部仿射模型有首先，由于单个双边网格中有限的单元存储容量，直接提取和变换输入的单个网络倾向第二，直接将双边网格转换为高分辨率图像，忽略了双边网格的噪声放大。相反，我们提出的方法恢复颜色和边缘在一个24451制导张量LDR输入三线性插值网状栅格指导图输出特性塔克重建双边网格H塔克重建C塔克重建切片应用仿射转型×内容特征颜色特征添加+LLeakyAdaIN下采样Fusion CNN卷积模块双边网格内容要素路径颜色特征路径点卷积融合块指导图LDR输入指导图图2.所提出的单图像LDR-to-HDR网络的架构，其由三个部分组成。第一步从低分辨率系数预测流（双路径网络）开始，该低分辨率系数预测流联合学习内容和色度特征以拟合两个仿射双边网格。然后采用三维Tucker重建算法去除双边网格的伪边缘和噪声，并利用切片和应用算子恢复高分辨率的纹理和颜色特征。最后，特征融合块将这两个高质量特征组合以产生增强的结果。我们提出的算法支持UHD图像HDR重建在一个单一的泰坦RTX GPU着色器在6毫秒(a) 输入（b）AdaIN（c）LeakyAdaIN（d）地面实况图3. LeakyAdaIN拟合数据分布的有效性。(a)LDR输入图像的 直 方 图 。 (b)AdaIN 拟 合 的 直 方 图 。 (c) 我 们 提 出 的LeakyAdaIN模型的数据分布接近地面真相（d）。协作双路径网络，而双边网格的信息通过Tucker重构去噪。3. 该方法给定UHD LDR图像，我们的模型首先通过所提出的双路径网络以降低的分辨率重建两个双边系数网格。我 们 提 出 了 一 个 新 的 泄 漏 自 适 应 实 例 归 一 化（LeakyAdaIN），自适应地融合颜色和纹理特征的双路径网络的工作。同时，为了消除伪边缘和去除学习的双边网格中的噪声，我们引入3D Tucker分解和重构来约束这些仿射矩阵平滑地变化。利用这两个回归的仿射双边网格，我们可以通过全分辨率的指导因子生成高质量的边缘/纹理和颜色特征图。图2示出了所提出的UHD图像HDR重建网络的架构3.1. 协作式双边网格学习尽管由于对比度和可见度的劣化，LDR输入中跨弱边缘的两个像素在空间和频域中接近，但是这两个像素在空间域和频域中是接近的。特征W图4.使用3D Tucker重建的高质量特征重建的流水线。远离双侧滤波器视角。因此，我们考虑预测仿射模型，通过双路径网络恢复双边空间中的尖锐内容（结构，边缘和纹理）和颜色。具体地，上游路径使用LDR输入的灰度图像来提取内容信息，而下游路径将高斯模糊彩色图像作为输入以聚焦于彩色信息。通过LeakyAdaIN进行协作学习。给定LDR输入，我们首先将UHD图像降低到256 256的固定分辨率。 然后，我们通过馈送相应的灰度图像和高斯模糊彩色图像将网络分成双路径，并分别使用预训练的VGG19[31]提取内容Fc和彩色特征Fc在学习过程中，我们提出了一个新的LeakyAdaIN来帮助正则化每条路径的变换，以便网络在尊重边缘的同时产生生动的颜色输出我们的LeakyAdaIN是自适应实例规范化（AdaIN）的扩展[19]，它包含内容输入x和样式输入y，并对齐通道平均值灰度图像内容特征塔克重建切片应用输出特性L颜色特征L LL L塔克重建切片&应用HDR输出高斯模糊图像输出特性VGG19VGG19融合块融合块融合块融合块24452××1→z.Σ∫，××−(a) 不带Tucker（b）1D Tucker（c）Ours（d）GT图5.3D Tucker重建允许我们的模型在双侧空间中学习(a)以及（b）分别示出了没有Tucker重构和具有1D Tucker重构的学习的双边网格的数据分布。(c)是我们的模型学习的数据分布，它接近（d）的目标分布μ和x的方差σ，LDR输入作为线性变换，然后生成3通道高质量全分辨率特征图。虽然双边网格是一种有效的特征存储容器，可以在LDR输入中保持详细的边缘和纹理，但由于双边网格缺乏物理约束，特别是对于UHD图像，很容易引入一些伪边缘和噪声。为了解决这个问题，我们通过引入Tucker重建[22]在双边网格中强制平滑项。与[22]不同，我们提出了一个3D Tucker重建块来去除学习的仿射模型中如图4所示，我们首先制作学习的双边网格B的三个副本。我们可以将双侧网格视为3D张量（HWC）通过忽略网格单元，并使用Tucker分解和重构方法分别在H、W和C三个视角下操作每个双边网格，AdaIN（x，y）=σ（y）x−µ（x）σ（x）+µ（y）。（一）Fz[l，m，n]←TRr（TRdz→1（Bu[l′，m′，n′]）），（3）通常，AdaIN是向目标分发数据的最接近的方法然而，（1）对于两个输入的数据分布融合具有强的物理约束和偏移本文认为缺少颜色信息的内容特征需要补充 风 格 颜 色 特 征 。 受 [19] 的 启 发 ， 我 们 提 出 了LeakyAdaIN，以产生具有更高自由度的融合信息，LeakyAdaIN（x，y）=s（p（y））σ（y）x−µ（x）+s（p（y））µ（y），σ（x）（二）其中p表示样式数据的全局池化和线性变换，s是S形函数。为了评估所提出的LeakyAdaIN的有效性，我们将我们的LeakyAdaIN与AdaIN进行比较，并在图3中示出了最后一个LeakyAdaIN层之后的学习特征图的直方图。如图所示，使用LeakyAdaIN可以比（b）中的AdaIN更好地对内容分布（c）进行建模。通过3D Tucker重建的双侧网格然后，我们将内容特征F c和颜色特征F g重新成形为两个双边网格，其中每个坐标都是三维的。重新整形的Fl和Fg可以看作是一个16 8 8双边网格，其中每个网格单元包含12个数字。然后，我们使用网格采样1函数来恢复高分辨率的内容和颜色特征图。如图4所示，利用LDR输入的相同维度构建具有坐标引导的两个我们需要双侧网格的网格单元，并使用三线性插值来填充引导张量（具有12个通道的张量）。最后，我们采用仿射变换，通过使用12通道张量切割和三个R，G，B通道1https://pytorch.org/docs/master/nn.functional.html#torch.nn.functional.grid_sample其中[l’=16， m’=8， n’=8]表示双边网格单元的坐标，d和z分别是张量分解和重建过程。 我们使用tucker分解2方法来压缩dimen然后我们使用Tucker重建2来将维度1扩展到L'。对于塔克重构2，我们设置塔克秩=[1’//2 ， m’//2 ， n’//2] ， init=‘random’ ， 并 且tol=10e5。该操作首先将某个维度z压缩为低秩表示，这表明该空间只有一层数据，最后用这层数据恢复原始空间维度z。将重建的三个网格平均以生成最终的平滑双边网格。3D Tucker重建执行学习的双边网格以去除伪边缘和噪声，并且充当低秩先验以正则化双边空间中的清晰图像的数据分布。如果没有3D Tucker重建，网络会错误地估计数据分布，如图5所示。因此，在切片和应用操作之后，可以重构UHD分辨率下的高质量内容和颜色特征图6示出了LDR输入与我们的重构特征之间的比较。如图所示，通过协作双边学习重建的内容和颜色特征此外，灰度图像可以表达图像的空间和结构信息，而模糊图像可以表达颜色特征。3.2. 高质量特征融合为了有效地混合重建的高质量内容和颜色特征，我们将三个多层卷积块串联起来，每个块中具有跳过连接，以2http://tensorly.org/stable/auto_examples.html24453ΣLΣ1L=Σ¨×L(a) 输入（b）我们的（纹理）（c）GT（a）I（40epo.）（b）Ig（40epo.） （ c）I（60epo.） （d）Ig（60epo.） （ e）I（80epo.）（f）1克（80 epo.）图7.网络的输出（I）和在训练阶段中的不同时期的对应伽马校正图像（Ig如图所示，如果输出太亮（例如，40和60个时期），而如果输出太暗则倾向于使其变亮（例如，80个时期）。211917(d)输入（e）我们的（颜色）（f）GT(a)输入（PSNR/SSIM）（b）SES（19.26/0.58）（c）DEU（19.54/0.60）15LRCPUnModNet HDRCNN扩展网络(d)PSNR图6.我们的合作双边学习方法可以有效地提取内容（边缘/纹理）的细节和颜色分布。(a)示出了LDR输入的边缘信息;（b）中恢复的高质量边缘接近（c）中的地面实况。(d)显示了LDR输入的颜色直方图。（e）中恢复的高质量颜色直方图接近（f）中的地面实况。过滤重要特征。每个卷积块被带入反转残差[28]，这在保持性能的同时减少了计算工作。3.3. 损失函数我们通过最小化L1来优化所提出的网络损失和新的自演化损失Lse，D图8. LDR-HDR策略（SES和DEU）的比较。SES方案忽略了全局信息，因此容易产生伪影和伪边缘。针对LRCP [25]，UnModNet [42]，3DLUT [38]，扩展的Net [26]，HDRCNN [15]，FMFPL [29]，JSI-GAN [21]和人类发展报告网[17]。此外，我们进行了三项消融研究，以证明我们方法的每个部分的有效性。执行代码将向公众提供。4.1. 训练数据为了训练和评估所提出的网络，我们使用[9]和[8]中的两个数据集来训练所提出的方法=1IDii=1-Ji+λLse、（四）以及比较方法。 第一训练数据 在[9]中是多曝光融合数据，其被划分为m1-m9曝光水平，并且正常曝光可以被重新其中D是训练图像的数量，I是结果我们的网络输出，而J是网络输出的对应地面真值我们引入自适应自演化损失，其允许网络在每次迭代期间自动学习网络输出I的适当伽马校正Ig作为地面真相。我们保留80%的图像用于训练，并对其余20%的图像进行测试对于另一个数据集[8]，我们选择Expert A重新触摸的图像作为输入图像的相应增强图像，同时我们使用工具包（图像格式转换器）将DNP格式转换为JPG格式。我们哪里DseDi=1 我我ΣIi（a，b）γ[a，b，N（a，b）]、（五）¨保留4500张图像用于训练，并对剩余的500张图像进行测试。为了公平比较，我们在与我们的算法相同的训练数据集上对所有比较方法进行了微调。γ[a，b，N（a，b）]= 2[128-mask （a ，b ）]，（6）其中，通过对原始图像执行逆颜色处理来生成掩模，然后将掩模与a3 3步长为2的高斯核。此外，a和b表示图像网络训练过程的像素。我们还尝试了对抗性损失，但我们注意到L1损失和SE可以在增强的LDR中获得生动的颜色和清晰的纹理。如图7所示，我们验证了自适应伽马校正对训练过程的影响。4. 实验结果我们提出的模型进行评估合成数据集和现实世界的图像。所有的结果都进行了比较SESDEU24454×4.2. 实现细节实现环境为PyTorch 1.7版本，并应用Adam优化器来训练模型。我们使用512的分辨率512个图像，批量大小的16来训练总共3000个时期的网络。 由于最 近 的 HDR 增 强 模 型 HDRCNN [15] ， ExpandNet[26]，FMFPL [29]，JSI-GAN [21]，LRCP [25]，UnModNet [42]无法在单个Titan TRX GPU上直接增强UHD图像。受[41]的启发，我们为这些方法设计了两种策略。首先，下采样-增强-上采样（DEU）方案以降低的分辨率应用HDR增强方法，然后对增强的图像进行上采样另一个正在分裂-24455LPSNR/SSIM20.50/0.4915.76/0.4914.02/0.3615.84/0.3121.43/0.53+∞/1PSNR/SSIM23.52/0.6517.33/0.5916.51/0.5715.34/0.4924.08/0.67+∞/1PSNR/SSIM16.92/0.4818.44/0.4719.98/0.5016.14/0.5721.61/0.59+∞/1(a)输入（PSNR/SSIM）（b）LRCP（19.83/0.59）（c）HDRCNN（20.49/0.61）（d）HDRNET（22.17/0.62）（e）LUT3D（21.65/0.73）（f）Our（24.48/0.0.72）（g）GT（+∞/1）图9. M暴露数据集的增强结果[9]。我们的方法获得更好的视觉质量和恢复更多的图像细节相比，其他国家的最先进的方法。表1.在PSNR、SSIM、Q分数[27]和运行时间方面对FiveK和M曝光数据集（分辨率范围从4K到5K）进行定量评估，其中*表示通过DEU方案计算的运行时间。HDRCNN [15][26]第二十六话FMPL [29]JSI-GAN [21]LRCP [25]UnModNet [42]人类发展报告网[17]3DLUT [38]我们峰值信噪比（dB）17.2517.8021.4823.1418.9417.7919.8315.7523.29FiveKSSIM 0.65590.67330.75810.77110.71950.70620.76410.61520.7702Q评分42.3444.1745.8846.6443.9840.1543.4639.8846.68时间（ms）18年22y51岁55岁78y94年566峰值信噪比16.5616.8918.5120.0218.7917.9719.1714.9522.22M曝光SSIM 0.54510.59810.71700.72890.69930.70290.72990.47310.7593Q评分36.2940.0443.5544.7839.6841.9042.4433.7445.76时间（ms）20年23岁78y90y81岁95年698增强拼接（SES），其将图像分割成模型可以处理的最大块，然后将增强的块拼接到原始图像的分辨率。我们比较了这两种策略在我们的UHD测试数据集提取从几个公共数据集。如图8所示，SES具有伪边缘，因为它不考虑图像的全局结构。图8还展示了DEU获得更高的性能并生成图像的全局结构。到目前为止，我们对这六个深度模型使用了DEU策略[15，21，25，26，29，42]。表2.3D Tucker重建、自演化和双路径方案的有效性定量结果证明了每个模块的有效性。不带Tucker 1D Tucker不带 单通道我们的PSNR 20.81 20.3522.03 19.9723.290.69 0.68 0.70 0.580.7702Q-评分42.89 43.01 44.79 40.5146.684.3. 评价定量评价。在两个数据集上评估所提出的方法：M-曝光[9]和五K [8]的测试数据。我们提出的方法和其他LDR-to-HDR方法的比较结果如图9所示。可以观察到，最近的深度模型[15，17，25，26，38，42]在可视化图像中仍然存在一些伪边缘和噪声然而，由我们的算法在图9（f）中生成的增强结果接近于图9（g）中的地面实况图像。M-暴露和FiveK数据集的定量结果报告于表1中。表1展示了我们的方法的有效性能。请注意，我们在测试阶段对对数域中的模型进行了微调，并在对数域中计算PSNR、SSIM和Q-Score定性评价。我们评估所提出的算法与不同的国家的最先进的方法在现实世界中的UHD LDR图像。图10显示了五个具有挑战性的真实世界图像的视觉比较。如图所示，HDRNet和3DLUT使得对比度降低并且伴随着增强结果中的伪影的出现，LRCP和HDRCNN在一些区域中示出颜色失真。相比之下，我们的算法能够在图10（f）中生成鲜艳的颜色。由于我们的方法考虑了UHD图像的全局信息，因此深度模型考虑了整个图像的对比度和纹理信息。24456∞(a) 输入（b）LRCP（c）ExpandNet（d）HDRNet（e）3DLUT（f）我们的图10.增强现实世界LDR图像的结果。我们的方法获得生动的色彩和恢复更多的图像细节相比，其他国家的最先进的方法。前两张图像是2K分辨率，最后三张图像是4K分辨率。PSNR/SSIM 22.52/0.73 21.01/0.7023.32/0.78PSNR/SSIM 21.76/0.69 22.21/0.7122.14/0.77± 1(a) 输入（b）w/o Tucker (c)1D Tucker（d）Ours（e）Ground truths图11.3D塔克重建的有效性(a) （b）单一路径（c）我们的（d）地面实况图12.没有颜色信息可以帮助恢复双路径网络上的图像。4.4. 消融研究3D塔克重建的有效性。我们进行以下两个实验：1）去除Tucker重构，以及2）在学习的双侧网格上使用1DTucker重构。表2将我们的方法与M-暴露[9]数据集上的这两个基线进行了比较。作为(a) 输入（b）颜色（c）我们的（d）GT图13.灰色输入在我们提出的网络的上层内容流中的有效性。如图11所示，没有Tucker重建或使用1D Tucker重建往往会产生伪影。定量和定性结果均表明，所提出的三维Tucker重建能够去除伪影、伪边缘和噪声。自我演化损失的有效性 我们在训练阶段去除了自演化损失函数，并比较了我们提出的算法。我们注意到，所提出的自演化损失函数的训练损失在训练阶段迅速下降。然而，在不使用自演化损失的情况下，收敛速度相对较慢表2还表明了拟议的自演进损失的有效性合作学习的有效性。我们删除了网络中的颜色流和建议的LeakyAdaIN，并直接通过内容流回归最终输出。图12表明，双路径网络可以通过确保以下方面来进一步增强估计结果+∞/124457(a) 输入（b）我们的（c）地面实况（d）输入（e）我们的（f）地面实况图14.Dehazed（第一行）和Deblured（第二行）分别在[24]和[23]的公共数据集上得到结果在结果中捕获了精细的结构细节和生动的颜色，例如图12（c）中所示的绿树和红地毯的颜色细节表2还展示了所提出的协作学习在双路径网络中的有效性。此外，我们还进行了一个实验，通过改变输入的内容流的灰度为低分辨率的彩色图像。图13展示了作为输入的灰色图像可以进一步增强“艺术板”的纹理细节4.5. 运行时在运行时间方面，所提出的网络相对于所有比较HDR重建方法[15，17，21，25，26，29，38，42]表现良好。所有方法都在同一台机器上执行，该机器使用 Inter （ R ） Xeon （ R ） CPU 和 NVIDIA Titan RTXGPU进行评估需要注意的是，我们只考虑GPU处理的运行时间。我们计算了M-暴露[9]和FiveK [8]数据集的平均运行时间，如表1所示。这些方法显然不如我们的算法有效[15，26]的早期HDR重建方法比[21，29]的最近方法执行得更快，但仍然比我们的效率低。虽然3DLUT和HDRNet具有与我们相似的运行时间，但这两种方法不能在Fivek和M-曝光数据集上获得高定量结果。4.6. 模型和网络我们的模型可以扩展到天气条件（例如，朦胧的日子）和运动模糊。我们进行了一些实验来展示潜力。对于图像去雾和去模糊任务，我们分别从[24]和[23]中随机选择70%的训练样本来训练所提出的模型。我们在图14中展示了一些朦胧和模糊图像的去雾和去模糊结果。模糊图像的亮度由于模糊干扰而趋于具有一些白色漂移，而模糊图像的亮度范围由于像素被平滑而被压缩。既然我们的模型可以通过提出的纹理细节和颜色范围的协作双边学习来解决压缩图像的亮度范围问题，我们的算法还可以去除退化输入中的雾和模糊。此外，双边网格的构造需要是图像中场景的边缘信息在频域分析中，雾霾和图像模糊都填充了大量的低频信息，双边学习使用滤波器提取原始图像的高频细节。然后，使用LDR图像的边缘细节（高频信息）来学习作用于原始图像的低频区域的更好的双边网格。5. 结论本文提出了一种基于协作学习的UHD图像HDR重建方法。我们的算法协同学习的内容和颜色细节的双路径网络资本上提出的LeakyAdaIN层，并建立相应的双边网格在每个补丁，以保持详细的内容和颜色的LDR输入。同时，我们通过3D Tucker recruitment对学习的双边网格施加平滑项，以防止伪边缘和噪声放大。定量和定性的结果表明，我们提出的算法，与其他国家的最先进的模型相比，可以达到166 fps的单个UHD图像，并产生令人满意的视觉效果在现实世界的UHD图像。谢 谢 。 本 课 题 得 到 了 国 家 自 然 科 学 基 金 项 目2020AAA0109304 的 资 助 。 61802403 、 62176123 、62025604、U1736219、U1936208）、江苏省自然科学基金（BK20191287）、中央高校基础研究基金（30920021131）。北京新星计划（No. Z201100006820074），以及北京市科学技术协会的精英科学家资助计划。24458引用[1] AhmetOguzA kyuz ，RolandW. 作者：BernhardE. Riec ke，ErikReinhard，andHeinrichH. Bülthof f. HDR显示器是 否 支 持 LDR 内 容 ？ ： 心 理 物 理 评 估 。 ACMTransactions on Graphics，26（3）：38，2007. 2[2] FrancescoBanterle ， KurtDebattista ， AlessandroArtusi ， Sumanta N. Pattanaik ， Karol Myszkowski ，Patrick Ledda，and Alan Chalmers.用于生成HDR内容的高动态范围成像和低动态范围扩展计算机图形论坛，28（8）：2343-2367，2009。2[3] Francesco Banterle，Patrick Ledda，Kurt Debattista，andAlan Chalmers.逆色调映射。在CGIT，2006年。2[4] Francesco Banterle，Patrick Ledda，Kurt Debattista，andAlan Chalmers.为高动态范围应用扩展低动态范围视频。InCG，2008. 2[5] Francesco Banterle ， Patrick Ledda ， Kurt Debattista ，Alan Chalmers，and Marina Bloj.逆色调映射的框架。The Visual Computer，23（7）：467-478，2007. 2[6] 乔纳森·T.Barron，Andrew Adams，YiChang Shih，andCar-losHer na'ndez. 最 后 的 双 边 空 间 立 体 合 成 散 焦 。CVPR，2015。2[7] 乔纳森·T.巴伦和本·普尔。快速双边求解器。在ECCV，2016年。2[8] VladimirBychko vsky ， Syl vainParis ， EricChan 和 Fre´doDurand。使用输入/输出图像对的数据库学习摄影全局色调调整CVPR，2011。一、五、六、八[9] 蔡建瑞、古书航、张磊。从多曝光图像学习深度单图像对比度增强器IEEE Transactions on Image Processing，27（4）：2049-2062，2018。一、五、六、七、八[10] 陈冠英，陈超峰，郭石，梁哲通，K宽义。黄先生及张磊先生。HDR视频重建：一个由粗到细的网络和一个真 实 世 界 的 基 准 数 据 集 。 CoRR， abs/2103.14943 ，2021。一、二[11] Jiawen Chen ， Andrew Adams ， Neal Wadhwa ， andSamuel W.哈辛诺夫双边引导上采样。ACM Transactionson Graphics，35（6）：203：1-203：8，2016. 2[12] 陈志文、西尔瓦因·帕里斯和杜兰神父。双边网格实时边缘感知图像处理。ACM Transactions on Graphics，26（3）：103，2007. 2[13] Qifeng Chen，Jia Xu，and Vladlen Koltun.使用全卷积网络进行快速图像处理。InICCV，2017. 2[14] Paul E.德贝维克和吉坦德拉·马利克从照片恢复高动态距离辐射图。在ACM SIG中-GRAPH，2008年。一、二[15] 放 大 图 片 作 者 ： Gabriel Eilertsen ， Joel Kronander ，Gyorgy Denes，Rafal K. Mantiuk和Jonas Unger。使用深cnn从单次曝光重建HDR图像。ACM Transactions onGraphics，36（6）：178：1-178：15，2017。一、二、五、六、八[16] Yuki Endo、Yoshihiro Kanamori和Jun Mitani。深反向色调映射。ACM Transactions on Graphics，36（6）：177：1-177：10，2017。1[17] Mic hae¨ lGharbi，纪文臣，乔纳森·T. 塞缪尔·巴伦 哈辛诺和杜兰神父。 深双侧24459用 于 实 时 图 像 增 强 的 学 习 。 ACM Transactions onGraphics，36（4）：118：1-118：12，2017。二五六八[18] Bin He，Ce Wang，Boxin Shi，and Ling-Yu Duan.Fhde2网：全高清演示网络。在ECCV，2020年。2[19] Xun Huang和Serge J.贝隆吉实时任意样式传输，具有自适应实例规范化。InICCV，2017. 三、四[20] Nima Khademi Kalantari和Ravi Ramamoorthi。动态场景的深度ACM Transactions on Graphics，36（4）：144：1-144：12，2017。2[21] Soo Ye Kim ， Jihyong Oh ， and Munchurl Kim. JSI-GAN：基于gan的联合超分辨率和逆色调映射，具有针对UHD HDR视频的逐像素任务特定滤波器。在AAAI，2020年。一、二、五、六、八[22] 塔玛拉湾Kolda和Brett W.巴德张量分解及其应用。SIAM Review，51（3）：455-500，2009. 4[23] Wei-Sheng Lai ， Jia-Bin Huang ， Zhe Hu ， NarendraAhuja，Ming-Hsuan Yang.单幅图像盲去模糊的比较研究。在CVPR，2016年。8[24] Boyi Li，Wenqi Ren，Dengpan Fu，Dacheng Tao ，Dan Feng，Wenjun Zeng，and Zhangyang Wang.对单图 像 去 雾 及 其 他 方 面 进 行 基 准 测 试 。 IEEETransactions on Image Processing ， 28 （ 1 ） ： 492-505，2019。8[25] 刘玉伦、赖伟胜、陈玉胜、高义龙、杨明轩、庄永玉、黄家斌。单图像HDR重建通过学习逆向摄像机流水线。在CVPR，2020年。一、二、五、六、八[26] Demetris Marnerides ， Thomas Bashford-Rogers ，Jonathan Hatchett 和 Kurt Debattista 。 Expandnet ： Adeep convolution- lutional neural network for highdynamic range expansion from low dynamic rangecontent. Computer Graphics Forum，37（2）：37-49，2018. 一、二、五、六、八[27] Manish Narwaria，Rafal K. Mantiuk，Matthieu PerreiraDa Silva，and Patrick Le Callet. HDR-VDP-2.2：一种用于高动态范围和标准图像的客观质量预测的校准方法 。 Journal of Electronic Imaging ， 24 （ 1 ） ：010501，2015. 6[28] 放大图片作者：Andrew G. Howard，Menglong Zhu，AndreyZhmoginov，andLiang-ChiehChen.Mobilenetv2：反演残差和线性瓶颈。在CVPR，2018年。5[29] Marcel Santana Santos、Tsang Ing Ren和Nima KhademiKalantari。使用具有掩蔽特征和感知损失的