动态场景下图像复原的潜力评价与探索

2067†动态场景下图像复原潜力的探索与评价张成<$1、苏少林<$1、朱宇1、严庆森2、孙金秋1、张燕宁1*1西北工业大学计算机科学与工程学院2澳大利亚阿德莱德大学澳大利亚机器学习研究所https://github.com/Justones/IRP摘要在动态场景中，由于运动的叠加或避免运动时快门速度过快导致的低信噪比，图像往往会出现动态模糊。从采集到的图像中恢复出清晰、干净的结果在很大程度上取决于恢复方法的能力和输入的质量。尽管现有的图像恢复研究主要集中在开发模型以获得更好的恢复结果，但很少有人研究如何以及哪种输入图像导致更好的恢复质量。为了更好地研究图像具体来说，我们首先建立了一个包含复合畸变的动态场景成像数据集，并应用图像恢复过程来验证IRP存在的合理性基于这个数据集，我们研究了IRP的几个属性，并提出了一个新的深度模型来准确预测IRP值。通过逐步提取和选择性融合退化特征，该模型在IRP预测中显示了其优越性由于所提出的模型，我们然后能够验证各种图像恢复相关的应用程序是如何受益于IRP预测。 我们展示了IRP的潜在用途，用于选择有价值的帧的滤波原理、用于改进恢复模型的辅助指导、以及用于优化相机设置以在动态场景下捕获更好图像的指示器。1. 介绍在具有动态运动的真实世界成像场景中，由于运动对象，退化是常见的因素或摇动装置。为了避免模糊，摄影师可以*表示相等贡献。本课题得到了国家自然科学基金项目的资助.U19 B2037，61901384，陕西省自然科学基础研究计划编号：2021 JCW-03和空天地海一体化大数据应用技术国家工程实验室。‡通讯作者：玉珠。NIQE=53.19NIQE=61.70 NIQE=74.83PSNR=30.29 PSNR=32.47PSNR=36.49(a)(b)（c）第（1）款图1.我们如何提出的概念IRP不同于传统的图像度量视觉质量。给定在动态场景中不同曝光下捕获的图像序列（第一行），IQA度量NIQE [23]和人类观察者都喜欢（a）或（b）作为相对较好的镜头，但它们不一定会导致更好的恢复结果（第二行）。作为比较，感知差的图像（c）导致最佳的恢复图像质量。结果表明，发展IRP度量的必要性，该度量甚至在处理之前预测恢复的图像质量是否良好。所有图像都由相同的恢复模型MPR [40]处理，以确保公平性。缩短曝光时间，但会导致低照度区域和臭名昭著的噪声[5，6，32]。随着相机设置的变化，失真的类型可能会改变，但几乎不会减少。为了减轻令人讨厌的失真，需要不同的图像恢复算法：可以应用去模糊方法来去除从适当曝光捕获的图像中的运动模糊，或者应用去噪方法来减轻由于缩短曝光而引起的噪声伪像。然而，在噪声-模糊权衡中，不同类型的失真输入导致不同的恢复结果。自然，一个问题出现了，在权衡之下，哪种图像会导致更好的恢复结果？这个问题是根本性的，但在文献中还没有得到很好的研究。据我们所知，为了获得更好的修复效果，大多数研究都集中在开发修复体，2068出租ms [7，13-由于恢复图像的质量在很大程度上取决于恢复模型和输入，在本文中，我们提出了图像恢复潜力（IRP）的概念，表示一个固有的图像属性，衡量的潜在价值的图像，可以探索恢复。虽然直观上，失真较少的图像具有较高的质量导致更好的恢复结果，这里的质量度量如图1的顶行所示，给出在动态场景中捕获的图像序列，图像质量评估（IQA）度量NIQE [23]和人类观察者都倾向于喜欢图像（a）或（b）作为相对更好的镜头，然而，这些相比之下，感知质量差的图像（c）实现最佳恢复结果，如底行所示。因此，这一现象启发了我们发展IRP概念的必要性。由于传统的IQA度量[28，44]旨在测量当前视图的图像质量并提取适应人类视觉系统（HVS）的感知特征，因此提出了IRP来预测恢复的图像质量是否良好，甚至在处理之前，并且更多地关注与恢复过程密切相关的退化。为了研究建议的IRP，我们首先建立了a dynamicscene imaging dataset by simulating 5500 de- gradedimages captured under various camera settings.然后，我们对数据集中的每幅图像进行了4种有代表性的恢复算法，并验证了IRP属于固有的图像属性，无论如何应用具体的恢复算法。我们进一步深入研究了动态成像场景中存在的失真，包括噪声，模糊和低照度，并提出了一个深入的模型，以准确的IRP预测。该模型通过分解失真因子和选择性融合退化特征，有效地揭示了图像的复原潜力。最后，我们将IRP预测应用到各种应用中，包括过滤图像序列中有价值的帧以进行有效处理，指导图像处理模型进行自适应恢复，以及优化相机设置以捕获图像，从而获得更好的恢复质量。总之，本文的贡献包括：• 我们引入了一个新的图像属性，命名为IRP，作为一个标准来衡量的图像，可以探索恢复的潜在价值。通过收集5500幅图像以及它们恢复的质量标签，我们研究了所提出的IRP的几个属性。• 我们分析了影响IRP的关键因素，并开发了IRP预测的深度模型。通过逐步提取动态场景中存在的图像失真，通过选择性地融合特征形成互补表示，我们验证了所提出的模型的优越的预测精度。• 我们展示了IRP在各种图像恢复相关应用中的潜在用途。IRP在过滤恢复过程中有价值的帧，为恢复模型提供辅助指导，以及在动态场景下捕获图像时优化相机设置方面表现出其有效性2. 相关工作2.1. 图像恢复根据图像中包含的主要退化类型，提出了不同的恢复任务。在动态场景中，当相机曝光设置设置为长以确保足够的光线时，运动将是明显的，并且需要去模糊方法。代表性模型包括常规方法[33，36]和基于CNN的模型[7，13，19，24，29，40，42]。同时，当曝光被设置为短以避免运动的叠加时，由于光线不足，噪声伪影将是明显的，并且需要去噪方法，包括常规技术[2，9，14，35]和基于CNN的方法[3，15，40，41，43]。上述方法，虽然achieev- ing提高性能，在自己的领域，然而，提出处理单独的图像恢复任务。作为比较，在本文中，我们的目标是开发一个通用的图像测量IRP，适应这两个恢复问题，我们有兴趣找出图像恢复相关的任务是如何受益于IRP预测。2.2. 图像质量评价IQA的目标是使机器能够感知图像的视觉质量，与人类的感知结果一致。通过评估图像现有的IQA方法，包括全参考IQA [30，31，45]，简化参考IQA [12，21，37]和无参考IQA [22，28，47]，根据原始参考图像的可访问性。虽然已经进行了许多工作来学习图像特征与其直接视觉质量之间的关系[27，34，44]，但没有一项工作研究了可以用于恢复的图像因此，本文提出并研究了IRP的概念，分析了它的性质，展示了它与IQA的区别，并评估了它在实际应用中的潜在用途。3. 关于IRP的为了研究IRP，我们首先建立了一个称为动态场景IRP（DS-IRP）的数据集。DS-IRP的集合2069∼∼×⌊·⌋×主要包括两个阶段。在第一阶段，我们收集了2，500个动态场景，每个场景中有11个图像，在各种相机设置下。由于在动态场景中，通过真实拍摄来获取地面实况图像是不切实际的，然而这在阶段2中是需要的，因此我们选择在动态成像形成之后模拟图像在第二阶段中，我们对从第一阶段收集的每个图像重新训练和测试4个代表性的恢复算法。然后通过参考地面实况图像计算恢复的图像质量来获取IRP标签。利用已建立的DS-IRP数据集，我们研究了IRP，并揭示了它的一些性质。3.1. 动态成像在我们的动态成像中，我们在sRGB空间中对从场景辐射亮度恢复到图像值I结束的成像过程进行建模，但特别注意场景中存在的动态运动。因此，整个动态成像形成可以表示为在曝光时间Δt期间包括辐射功率Δ t、运动信息m和噪声n的联合结果：I=G（n，m，n，t）（1）具体来说，我们考虑曝光期间的运动，然后将场景辐射转换为线性RGB像素值，如下[5，10，25]：简体中文组成散粒噪声n散粒和读出噪声n读出的组合，公式为：n=n次发射+n次读取（3）其中，nshot源自光的粒子性质，并且遵循泊松过程（Il+nshot）Poisson（Il）[32]，而nread与信号处理流程中的电压波动相关联，并且遵循具有设备特定标准偏差的零均值高斯分布，称为nreadGaussian（0，σ2）。最后，通过量化和有界变换将图像信号从线性RGB转换到sRGB空间，表示为：I=min（π（I1）γ+0. 5 mm，Mmax）（4）其中，γ和Mmax分别表示地板函数、伽马变换和摄像机传感器记录的最大值。3.2. IRP标签生成在获得27，500个动态成像结果后，我们进一步收集其IRP标签。由于IRP被提出来测量图像可以被探索用于复原的潜力，因此我们首先对图像应用图像复原算法，然后将IRP值表示为复原图像质量，该复原图像质量通过参考地面真值来计算。在IRP生成过程中，我们选择了四个代表-代表性的图像恢复方法，在处理各种图像失真时有效，包括Unet [26]，Ii=yp（的t0tmtdt）+n（2）[39][由于我们收集了11种不同曝光设置下的图像，其中，yp将在曝光时间Δt期间由曝光的感光点表示的接收到的光电子转换成电压，其进一步由传感器记录为线性RGB像素值。mt表示t时刻的运动，n表示整体噪音。在实践中，在将RGB转换为线性RGB信号之后，以等效但更简单的方式考虑运动。在[13]之后，我们将光流应用于线性RGB信号作为运动信息。具体地说，我们从视频三元组数据集[38]中选择包含真实场景运动的连续图像帧，并通过ARflow [20]估计光流，以表示动态存在的运动mt0。场景为了涵盖各种动态成像结果，不同的照相机曝光设置，我们在每个场景中采样11个不同的曝光时间，并根据曝光时间来缩放运动Mt0总共从vimeo-triplet数据集中选择了2，500个场景，每个场景包含11个图像结果对应于不同的曝光时间。在每个场景中，我们还从vimeo- triplet数据集中收集原始图像，该原始图像用作在第二阶段中用于生成IRP标签的地面真实图像。在动态成像中，噪声是另一个不可避免的影响成像质量的因素。总噪音N在所有场景中，在单独的曝光设置下训练和测试每个恢复模型，导致总共411 = 44次训练和测试过程。虽然混合所有图像进行训练和测试是可行的，但我们发现，单独使用一个模型时，模型处理从噪声到模糊的所有混合失真的因此，我们选择在每个单独的曝光设置下训练和测试恢复模型，期望模型可以探索最大量的具体地说，在2,500个场景中，我们选取2,000个场景用于训练复原模型，剩下的500个场景用于测试并得到复原结果。为了生成IRP值，我们计算恢复图像和地面真实值之间的PSNR和LPIPS [45]分数，以平衡失真和感知之间的权衡[4]。在将两个标准归一化到[0，1]的范围后，我们计算它们的平均值作为IRP测量。最后，对每幅图像，取4种恢复方法对应的4个IRP值的平均值作为最终的IRP得分。整个生成过程总共收集了500个11 = 5500个IRP标签这些标签以及在第1阶段收集的相应数据和IRP标签的例子可在我们的补充文件中找到。20700.90.80.70.60.50.4SRCC=0.980.90.80.70.60.50.4SRCC=0.9410.500 0.51照明10.500 0.51模糊10.500 0.51噪声0.30.20.20.30.40.50.60.70.8Unet0.30.20.20.30.40.50.60.70.8MIR图3.降解因子与IRP值关系的主观研究。0.90.80.70.60.50.40.3SRCC=0.990.90.80.70.6恢复模式10.500 0.51照明10.500 0.51模糊10.500 0.51噪声0.20.20.30.40.50.60.70.8MPR0.50 1 2 3 45登录曝光时间图4.退化因素与图像视觉质量关系的主观研究。图2.在前三个子图中，我们绘制了两个任意恢复模型之间的IRP值。恢复的图像质量在不同模型之间高度相关，表明IRP是固有的图像属性。在第四子图中，我们绘制了一个场景下四种恢复模型产生的IRP值，四种方法对应的IRP值也保持一致。3.3. IRP特性在建立DS-IRP数据集之后，我们现在能够研究IRP的几个属性具体地，我们探讨了IRP如何影响恢复模型的选择，失真因素如何决定IRP值以及IRP与图像视觉质量之间的差异。恢复模式的影响。显然，即使对于同一幅图像，选择不同的恢复模式也会导致不同的恢复图像质量。因此，我们感兴趣的是找出如何IRP是由选择恢复模型的影响为此，我们采用不同恢复模型下生成的IRP值来比较它们的相关性，结果如图2所示。从前三个子图中可以观察到，尽管应用了不同的恢复模型，但恢复的图像质量在所有模型中高度相关。在第四个子图中，我们显示了一个场景中四个恢复模型生成的IRP值如图所示，对于每幅图像，相对IRP值在不同的投影模型中保持一致。上述结果表明，即使使用不同的恢复模型，好的图像仍然是好的图像，即其可开发的恢复潜力保持一致。研究结果还表明，IRP属于一种固有的图像属性，它主要由图像外观映射而来，类似于现有的图像属性，包括视觉质量、亮度和清晰度等。影响IRP的因素分析 如等式（1）所示，动态成像过程由场景辐射亮度m、运动m、噪声n和曝光时间确定反射为IM上的照明、模糊和噪声年龄外貌因此，我们对这三个因素进行研究，分析它们如何影响IRP值。具体地说，我们进行了一个主观的用户研究的三个因素，通过标记的退化幅度对应于低照度，模糊和噪声在110幅图像随机选择的DS-IRP数据集。然后，我们在图3中绘制每个退化幅度与IRP值之间的关系。在我们的实验中，邀请40名观察员对范围为[0，1]的降解水平进行评级，其中较大的评级表示检测到的降解较少。从图3中，我们观察到，当照明和噪声问题严重时，IRP值与失真的幅度相关。然而，当两个劣化变小时，IRP不会相应地增加，这是由于在大多数场景中较长曝光时间导致的运动模糊增加这表明，当相机曝光设置变化时，不同类型的畸变在复合退化下成为决定性因素。同时，我们还发现，当图像模糊减少时，IRP值持续提高，这表明模糊总是起决定作用的IRP。IRP和图像视觉质量的比较。我们进一步将IRP与广泛研究的图像评价（即图像视觉质量）进行比较，以研究它们的差异。我们通过标记图像质量注释并在图4中绘制每个降级因子与视觉质量标签之间的关系来进行类似的用户研究。与图3相比，可以容易地观察到，图像退化，包括低照度、模糊和噪声，以与IRP不同的方式影响图像视觉质量可以看出，当复合失真变化时，视觉质量显示出与照明和噪声问题的单调相关性，而与模糊度的相关性较低根据上述观察，我们得出IRP和视觉质量之间的差异：在动态场景的模糊-噪声权衡下，光照问题是决定图像视觉质量的主要因素，但IRP相对“容易”失真，因为信息很容易恢复。噪音问题也意味着相对较小UnetMIRMPRHINetMIRHINetMPRIRP值IRP质量IRP质量IRP质量2071∈R.×Σ影响IRP属性，但在一定程度上决定视觉质量。在退化因素中，模糊度与IRP值的相关性最大，是4. 学习预测IRP在本节中，我们的目标是开发一个用于准确预测IRP的深度模型。该预测模型有望作为一个指标，应用于各种动态场景成像或恢复任务。由于我们已经分析了影响IRP值的三个主要因素及其相互作用，因此我们建议在我们的模型中通过各个分支逐步提取三个因素中的每一个，以便扩大一维转换缩放直方图FiResNetStage1选择性ASPPFn特征x 3Fusion x 3导向滤波器FbResNet编码器深度转换GAPGradually distill图5. IRP预测的建议模型架构。4.2.选择性融合降级特性IRP学习免费的IRP表示。此外，为了更好地理解复合失真中每种退化的影响，我们建议选择性地融合退化特征，这些特征最终通过多层感知器（MLP）回归4.1.逐步提取降解组分针对输入图像受光照、噪声和动态模糊等因素的影响，提出通过一系列预处理技术逐步提取退化分量，并逐一提取各分量由于图像光照主要影响图像的视觉表现，但又是具体来说，我们采用图像直方图在一个在-如上所述，当相机曝光设置变化时，不同种类的失真在复合退化中成为IRP的决定因素。为了动态调整主要失真因素，我们建议通过自注意机制（也见补充说明）选择性融合失真特征的三个部分，其动机是[39]。给定提取的特征Fi、Fn和Fb的三个部分，我们首先通过逐元素求和和全局平均池化将它们组合，以形成逐通道特征表示：s= GAP（Fi+Fn+Fb）（5）其中GAP表示全局平均池化，Fi，Fi，FiRH× W × C和sR1×1× C。然后，我们应用深度卷积与挤压ra，单独分支以提取照明统计。 我们来-绘制直方图的256个区间，并应用1层1D控制，tior到s，得到一个紧表示z∈R1×1×C卷积与核大小为7的bin。然后将直方图空间扩展以适合从其余两个分支提取的特征的大小，表示为Fi。接下来，为了从复合失真中提取噪声和模糊特征，我们在线性RGB空间中缩放图像信号以减轻z然后被馈送到具有扩展比r的三个并行的1 - 1卷积层中，以得到三个特征指示符u1、u2和u3，其进一步通过通道方式的softmax操作被重新加权到注意力激活：eui（6）照明，并通过另一分支提取噪声特征。在噪声特征提取分支中，我们使用fea-vi=J euj从ResNet50主干的第1阶段提取真正的提取器[17]，以提取低级特征。然后将这些特征送入3个ASPP块[8]以扩大感受野。通过这种方式，我们通过浅分支提取图像特征，该浅分支倾向于学习低水平噪声特征，表示为Fn。最后，为了提取模糊特征，我们对缩放图像应用引导滤波[16]操作，并使用整个ResNet50编码器通过第三分支提取场景特征。然后应用深度卷积以减少通道数量。我们表示特征Fb的第三部分。通过从整体统计中提取光照特征Fi，从低级别表示中提取噪声特征Fn，从高级别提取器中提取模糊场景特征Fb，我们期望这些特征形成互补表示，有效地准确预测IRP值。最后，退化特征Fi、Fn和Fb为通过分别乘以u1、u2和u3自适应地选择。选择性融合了三种退化特征，并对每种退化特征进行了细化，以适应场景曝光的变化，从而很好地适应了IRP预测任务。4.3. 回归IRP评分在提取退化成分并提取相应的特征后，对特征进行3次重复选择性融合然后将输出特征求和并全局平均汇集到矢量表示中。最后，应用三个全连接层将特征回归到IRP得分中。在训练过程中，我们最小化L1损失以进行优化。∈2072表1.DS-IRP数据集上的IRP预测精度比较结果作为IRP值的替换。然后，我们在模型预测分数和主观分数中计算SRCC和PLCC，并在图6中显示结果。同样，该模型在具有挑战性的真实世界数据上也优于竞争对手。表2.拟定模型的消融研究。0.80.750.70.650.60.550.50.450.4DBCNNKonCept 512 HyperIQA建议(a) SRCC0.750.70.650.60.550.50.450.4场景平均PLCC总体PLCCDBCNNKonCept 512 HyperIQA建议(b) PLCC5.3.消融研究图6.真实世界数据的IRP预测精度比较5. 实验在本节中，为了证明所提出的模型的优越性由于文献中缺乏用于预测新提出的IRP的模型，我们选择现有的IQA模型作为竞争对手。5.1. DS-IRP数据集我们将建议的DS-IRP数据集分为训练子集，验证子集和测试子集，每个子集包含70%，10%和20%的图像根据场景内容。所有竞争模型都按照其默认设置进行训练在评价过程中，我们计算了Spearman在DS-IRP中，我们计算每个场景内的SRCC和PLCC，并报告它们的平均值，表示为场景平均值。我们还计算了整个测试集上的两个标准，以评估整体模型的性能。如表1所示，所提出的模型大大优于竞争对手，表明所提出的架构的有效性5.2. 真实世界数据我们进一步比较了模型在现实世界场景中捕获的图像上的性能我们首先在真实世界中拍摄了20个包含动态运动的场景，每个场景下使用8个不同的曝光。该集合总共产生了160个成像结果，我们使用在DS-IRP数据集上训练的模型来预测它们的IRP值。由于缺乏真实IRP到真实世界数据，几种预先训练的恢复方法[7，40，42]被应用于处理真实世界数据，我们进一步收集了40名参与者的主观感知分数，以恢复我们进行消融研究，以验证每个模型组件的有效性。我们在模型中分别去除光照、噪声和模糊分支，以观察各个退化特征的效果然后，我们我们还使用ResNet50基线评估了模型性能，结果如表2所示。6. 应用在本节中，我们将使用建议的IRP预测模型演示受益于IRP预测的多个应用程序6.1. 高效处理存在诸如自动驾驶和机器人视觉导航的情况，其中在动态场景中捕获的图像需要被实时处理和恢复。为了满足时间和计算量的要求，图像滤波策略成为有效处理的解决方案。具体地，在显示相似场景内容的连续帧以这种方式，时间成本和整体恢复的图像质量都可以得到改善。在这种情况下，IRP预测可以作为一种过滤原则，我们评估了其在真实世界去模糊数据集GoPro上的有效性[24]。具体来说，我们将GoPro测试集分为105组，每组内包含10个连续帧。然后，我们根据预测的IRP值选择每个组内的最佳帧，并通过DMPHN [42]处理所选帧。我们评估整体模型的复杂性，平均时间消耗，灰，恢复质量和最佳帧选择精度在表3中。为了进行比较，我们还采用了两种IQA模型，它们在各自提出的IQA数据集上进行训练作为过滤原则，包括KonCept 512场景平均SRCC总体SRCC模型场景平均值整体SRCCSRCC基线0.8594 0.86080.7435 0.7758无照明0.9188 0.92220.8339 0.8543无模糊0.8886 0.89920.7814 0.8188无噪声0.8957 0.90290.7920 0.8242无选择性0.9335 0.93850.8278 0.8476充分0.9340 0.94120.8461 0.8687模型场景平均值整体SRCCSRCC[22]第二十二话0.3319 0.35600.1053 0.1877[44]第四十四话0.2631 0.33300.1869 0.2051HOSA [34]0.3360 0.34480.2269 0.2014[46]第四十六话0.8022 0.80080.6903 0.6956[18]第十八话0.8892 0.89840.7536 0.7839[28]第二十八话0.8483 0.85780.7383 0.7550提出0.9340 0.94120.8461 0.86872073×由MT-A由KonCept512选择由IRP（b）28.49分贝（c）25.18分贝（d）27.67分贝（e）27.64分贝（f）31.09分贝(g)32.38 dB（h）31.22 dB（i）30.75 dB（j）29.51 dB（k）27.47 dB图7.我们展示了IRP如何作为GoPro数据集的过滤原则。与KonCept 512和MT-A相比，IRP预测正确地选择了序列中最有价值的帧，从而有效地恢复。在真实失真的IQA数据集KonIQ-10 k上训练[18]，在智能手机照片上训练MT-A。表4.作为训练恢复模型的辅助指导的建议IRP的性能比较。物理和质量数据集SPAQ [11]。 我们还展示了质量-图7中的比较。表3.在GoPro数据集上进行模型评估，作为帧过滤原则。模型FLOPs（G）时间（s）PSNRSSIM精度DMPHN1099.350.052130.4530.9022-KonCept512152.2340.034231.8490.926349/105MT-A9.3940.020531.1550.911634/105IRP41.8950.024432.1400.935157/105从表3中，我们发现，对于所有三种滤波模型，平均恢复图像质量有所提高。这证明了图像过滤策略的可行性和现有IQA模型的潜在扩展用途。同时，在竞争的模型中，恢复的图像质量和帧选择准确性通过我们的IRP预测模型表现最好。 虽然我们的模型在合成DS-IRP数据集上进行训练，它的性能优于收集真实世界图像和主观分数进行模型训练的竞争对手。结果进一步证明了IRP预测作为一种优良的滤波原理在图像处理中的应用。6.2. 恢复模型我们还探讨了IRP是否也可以为训练自适应恢复模型提供指导。基本假设是，通过将图像及其IRP馈送到-模型PSNR SSIMCBD基线40.227 0.9793CBD满40.722 0.9818CBD + IRP(a) 噪音（b）CBD基地（c）CBD基地+IRP(d)地面实况图8.IRP作为恢复模型辅助指导的定性比较形成恢复模型，他们能够区分图像作为容易或困难的样本，从而学习自适应映射的图像显示各种恢复潜力。为了验证这一假设，我们从图像去噪数据集SIDD [1]中选择小的RGB数据进行评估。给定一个输入图像，我们通过5.1节中训练的模型提取其IRP特征，并使用11卷积层将特征映射调整为3个通道。与原始图像连接的特征图是2074(a) 自动曝光（b）IRP曝光（c）自动曝光恢复（d）IRP曝光恢复图9.IRP优化曝光设置与传统相机自动曝光设置的比较然后馈送到恢复模型中用于训练或测试。我们将模型性能与CBDnet [15]进行了比较，CBDnet也使用了辅助子网络，特别是在合成和真实噪声图像的混合上进行了训练，以估计图像噪声水平，用于恢复指导。我们还比较了在没有任何辅助指导的情况下训练的模型性能，表示为CBDnet基线，并在表4，图8中显示了结果。可以发现，通过添加辅助引导，CBDnet和IRP都提高了图像恢复基线。此外，通过提取IRP特征，恢复模型甚至比CBDnet更受益。虽然IRP是为了处理复合失真而提出的，但我们并没有在真实的噪声图像上显式地训练它，我们发现它在去噪任务上取得了令人印象深刻的性能。此外，由于IRP特征与恢复模型分开显示，因此预期IRP预测可以用作改进许多其他图像恢复任务的即插即用模块。6.3. 优化相机设置在上面的小节中，我们展示了IRP在单个去模糊或去噪任务上的应用，在这一小节中，我们进一步展示了它在真实世界复合失真下的用途。我们展示了应用IRP在现实世界动态成像场景中优化相机曝光设置的潜在用途。由于现有相机设备中的常规自动曝光设置优先保证足够的照明，因此在动态场景中，所捕获的图像是否最好的恢复是不能承诺的。我们在图9中展示了该应用程序，其中显示了从第5.2节收集的真实世界图像，这些图像是通过相机自动曝光和IRP预测选择的。原始失真的图像和恢复的结果，提出了定性比较。可以看出，传统的自动曝光设置倾向于捕获具有足够照明的图像，它们不会导致令人满意的恢复质量。作为比较，通过预测原始图像7. 结论在本文中，我们提出了IRP，一种新的图像属性测量其潜在的权力，可以探索恢复。我们首先建立了一个DS-IRP数据集，并探讨了IRP的性质。在此基础上，提出了一种逐步提取和选择引信退化特征的深度模型，实验结果表明了该模型结构的有效性。最后，IRP预测模型，我们能够将其应用于各种图像恢复相关的任务。IRP已经显示出其在过滤有价值的帧以进行有效处理、为恢复模型提供扩展指导、甚至在动态场景下捕获图像时优化相机设置方面的2075引用[1] Abdelrahman Abdelhamed，Stephen Lin，and Michael SBrown.智能手机摄像头的高质量去噪数据集。在IEEE计算机视觉和模式识别会议论文集，第1692-1700页，2018年。7[2] Michal Aharon，Michael Elad，and Alfred Bruckstein. K-SVD：一种为稀疏表示设计过完备字典的算法。IEEE信号处理学报，54（11）：4311-4322，2006。2[3] 赛义德·安瓦尔和尼克·巴恩斯。具有特征注意力的真实图像去噪。在IEEE/CVF国际计算机视觉会议集，第31552[4] 约柴·布劳和托莫·麦克利。感知失真的权衡。在IEEE计算机视觉和模式识别会议论文集，第6228-6237页，2018年。3[5] 常孟，冯华俊，徐志海，李奇。使用短曝光和长曝光原始图像对进行低光图像恢复IEEE Transactions on Multimedia，2021。第1、3条[6] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西在IEEE计算机视觉和模式识别会议论文集，第3291-3300页1[7] 陈良玉，卢欣，张杰，朱晓杰，陈成鹏. Hinet：用于图像恢复的半实例归一化网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第182-192页二、三、六[8] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence，40（4）：834-848，2017。5[9] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE Transactions on image processing，16（8）：2080-2095，2007. 2[10] Omer Dahary，Matan Bronby，Alex M Bronstein.数字云台：端到端深度图像稳定与可学习的曝光时间。在IEEE/CVF计 算 机 视 觉 和 模 式 识 别 会 议 论 文 集 ， 第119363[11] Yuming Fang，Hanwei Zhu，Yan Zeng，Kode Ma，andZhou Wang. 智能手机照片的感知质量评估在IEEE/CVF计算机视觉和模式识别会议论文集，第3677-3686页7[12] SeyedAlireza Golestaneh和Lina J Karam。基于局部加权梯度幅值离散小波系数熵的简化参考质量评价。IEEETransactions on Image Processing，25（11）：52932[13] Dong Gong，Jie Yang，Lingqiao Liu，Yanning Zhang，Ian Reid，Chunhua Shen，Anton Van Den Hengel，andQinfeng石从运动模糊到运动流：一种用于消除异构运动模糊的深度学习解决方案。在IEEE计算机视觉和模式识别会议论文集，第2319-2328页，2017年二、三[14] 古书航、张磊、左王梦、向楚风。加权核范数最小化及其在图像去噪中的应用。在Proceedings of the IEEEconference on computer vision and pattern recognition，pages 2862-2869，2014中。2[15] 史国，严子飞，张凯，左王梦，张磊。真实照片的卷积盲去噪。在IEEE/CVF计算机视觉和模式识别会议论文集，第1712- 1722页，2019年。二、八[16] 何开明，孙建，唐晓鸥。引导图像滤波。欧洲计算机视觉会议，第1-14页。施普林格，2010年。5[17] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。5[18] Vlad Hosu，Hanhe Lin，Tamas Sziranyi，and DietmarSaupe.Koniq-10 k：用于盲图像质量评估深度学习的生态有效数据库IEEE Transactions on Image Processing，29：4041-4056，2020。六、七[19] OrestKupyn、VolodymyrBudzan、MykolaMykhailych 、 DmytroMishkin 和 Jiˇr´ıMatas 。Deflurgan：使用条件对抗网络进行盲运动去模糊。在IEEE计算机视觉和模式识别会议论文集，第8183-8192页，2018年。2[20] Liang Liu ，Jiangning Zhang，Ruifei He ，Yong Liu ，Yabiao Wang ， Ying Tai ， Donghao Luo ， ChengjieWang，Jilin Li，and Feiyue Huang.类比学习：用于无监督光流估计的变换的可靠监督。在IEEE/CVF计算机视觉和模式识别会议论文集，第6489- 6498页，2020年。3[21] Yutao Liu ， Guangtao Zhai， Ke Gu ， Xianming Liu ，Debin Zhao，and Wen Gao.基于自由能原理和稀疏表示的降参考图像质量评估。IEEE Transactions on Multimedia ， 20 （ 2 ） ： 379-391 ，2017。2[22] 阿尼什·米塔尔、阿努什·克里希纳·穆尔蒂和艾伦·康拉德·博维克。空间域中的无参考图像质量评估。IEEETransactions on image processing ， 21 （ 12 ） ： 4695-4708，2012. 二、六[23] Anish Mittal、Rajiv Soundararajan和Alan C Bovik。制作“ 完 全 盲 ” 图 像 质 量 分 析 仪 。 IEEE Signal processingletters，20（3）：209-212，2012。一、二[24] Seungjun Nah，Tae Hyun Kim，and Kyoung Mu Lee.深度多尺度卷积神经网络动态场景去模糊。在IEEE计算机视觉和模式识别会议论文集，第3883-3891页，2017年。二、六[25] Emmanuel Onzon，Fahim Mannan，and Felix Heide.用于高动态范围物体检测的神经自动曝光。在IEEE/CVF计算机视觉和模式识别会议论文集，第7710-7720页，2021年。32076[26] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。3[27] 苏少麟，弗拉德·霍苏，林汉和，张燕宁，迪埃特马尔·索普。KonIQ++：通过联合预测图像质量和缺陷，提升野外无参考图像质量评估2021年第32届英国机器视觉会议。2[28] 苏少林、阎庆森、朱玉、张成、辛戈、孙金秋、张燕宁。自适应超网络引导下的野外图像质量盲评估。在IEEE/CVF计算机视觉和模式识别会议论文集，第3667-3676页，2020年。 二、六[29] Pei Wang，Wei Sun，Qingsen Yan，Axi Niu，Rui Li，Yu Zhu，Jinqiu Sun，and Yanning Zhang.基于模糊分量分割制导的非匀速运动模糊消除。模式识别，120：108082，2021。2[30] Zhou Wang，Alan C Bovik，Hamid R Sheikh，and EeroP Si-moncelli.图像质量评估：从错误可见性到结构相似性。IEEE图像处理学