低光图像恢复中基于质量辅助伪标记的半监督学习方法研究

4105基于质量辅助伪标记的Sameer Malik印度科学印度班加罗尔sameer@iisc.ac.inRajiv Soundararajan印度科学研究所，印度rajivs@iisc.ac.in摘要卷积神经网络已经成功地恢复在不良照明条件下捕获的图像。然而，这样的方法需要大量成对的低光和地面实况图像用于训练。因此，我们研究了当有限的低光图像具有地面真值标签时，用于低光图像恢复的半监督学习问题。我们在这项工作中的主要贡献是双重的。我们首先部署一个低光恢复网络的集合来恢复未标记的图像，并生成一组潜在的伪标签。我们对标记集中的对比度失真进行建模，以生成不同的训练数据集并创建网络的增强。然后，我们设计了一个基于对比自监督学习的图像质量度量，以获得由集成恢复的图像之间的伪标签。我们表明，使用伪标签训练恢复网络可以使我们即使使用很少的标记对也可以实现出色的我们在三个流行的低光照图像恢复数据集上进行了广泛的实验，以显示我们的半监督低光照图像恢复 算 法 优 于 其 他 方 法 的 性 能 。 项 目 页 面 可 在https://github.com/sameerIISc/SSL-LLR上找到。1. 介绍恢复低光图像是具有挑战性的，因为存在多种失真，如差的对比度，噪声和偏色。虽然存在几种传统的低光然而，CNN的缺点是需要大量对齐的低光照和干净的曝光良好的图像对进行训练。此外，这种模型是相机失真特定的，并且每次需要训练新模型时都需要收集换一个摄像头虽然有一些研究文章研究了在这种标记数据不可用时训练LLIR模型，[6，10]，但少量标记的示例是否也有助于设计更好的LLIR模型尚未探讨。在这种情况下，LLIR的半监督学习（SSL）的作用很有趣。在这里，目标是收集几对标记的图像，并使用大量未标记的图像来丰富训练。虽然SSL已被广泛研究的分类任务，只有少数作品探讨这种学习模式的图像恢复。大多数现有的SSL图像恢复方法都是基于使用特定于恢复任务的失真模型，例如单个图像去模糊[15]和去模糊[9，37]。这些方法不直接适用于半监督LLIR。在这项工作中，我们通过为未标记的数据生成伪标签来实现LLIR的SSL。为了生成伪标签，我们首先通过一系列的恢复模型来创建给定的未标记图像的几个增强版本然后，我们根据学习的质量评估器选择最佳图像作为未标记图像的伪标签虽然在图像分类文献[13，27]中存在SSL的伪标记和集成方法，但它们并不直接适用于LLIR问题。特别地，用于LLIR的集成和伪标签生成方法的设计是不平凡的。为此，我们的主要贡献和新颖性在于集成模型的设计和方法来产生伪标签的集成模型输出LLIR。我们设计LLIR模型的集成，通过创建一组专家模型，每个模型专家在恢复不同的失真的标记集。我们通过专门针对每个低光照标记图像对应的失真训练模型来做到这一点。我们首先学习失真模型，该模型将可用标记数据中的低光照和曝光良好的图像对联系起来。然后，我们使用这些失真模型为标记集中可用的每个曝光良好的图像生成更多失真的版本，以训练一个4106每个失真模型的恢复网络我们将复原网络的集合应用于每个未标记的图像，以生成其几个复原版本。给定一个未标记的图像，在恢复类似于给定的未标记的图像的失真专家的模型，预计将产生良好的图像质量。为了从集成模型产生的恢复版本中选择质量好的图像，我们设计了一个低光照恢复图像的质量评估模型我们注意到，没有参考图像可用于选择最佳伪标签。流行的无参考（NR）质量评估（QA）模型[11，22，40，42]不能现成使用，因为LLIR期间发生的失真非常不同，并且因相机而异。此外，没有人类标签来训练LLIR的这种质量模型。现有的无监督NR QA模型[23，41]也不能有效地捕获LLIR失真。因此，我们的第二个主要贡献是在设计一个自我监督的质量测量工具，可以选择最好的伪标签的半监督学习的图像恢复。设计了一种基于自监督对比学习的低光照恢复图像NR QA模型。特别地，我们使用未标记图像的大型语料库，并从这些未标记图像的多个恢复版本中学习特征在学习了这种自监督特征之后，我们计算这些特征与从曝光良好的图像中提取的这些特征的相似性，以获得质量分数。我们的质量指数基于这个分数被用来选择伪标签和训练恢复网络以及少数标记对。虽然最近有一些关于质量特征的自监督特征学习的对比学习的工作[18，19]，但这些主要用于监督设置以测量通用质量。此外，它们测量低光恢复图像的质量的能力还没有被探索。 我们提出 在半监督LLIR中用于伪标记的无监督质量度量的新应用。由于文献[14，38]中这种方法的成功，我们在简单的多尺度LLIR架构上进行实验。我们简单的多尺度恢复网络明确学习拉普拉斯金字塔分解的子带。我们观察到，基于CNN的恢复带通子带的模型即使在用很少的标签训练时也表现得很好。然而，低通子带的性能提供了很大的改进空间。因此，在我们的工作中，我们专注于低通子带的半监督学习。我们通过对三个公开的低光照图像数据集的广泛实验表明，与其他计算方法相比，我们的伪标签选择方法我们工作的主要贡献如下：• 我们创建了一个LLIR网络的集合，以通过低光失真模型生成数据来解决低通子带中的各种失真。• 我们设计了一种对比自监督特征学习方法，用于预测恢复的未标记数据的质量，以确定伪标签。• 我们通过在三个数据集上的大量实验表明，生成的伪标签可以有效地训练多尺度LLIR网络，从而获得优异的性能。2. 相关工作讨论了LLIR、半监督学习和无监督质量评估等领域的相关工作. 低光图像恢复：我们主要讨论基于学习的方法，因为我们的目标是半监督学习。 现有的LLIR方法包括retinex模型方法[33，36，43，44]， 多尺度子带学习方法[14，20，38]，剩余学习[32]和端到端学习方法[16，17，31]。基于Retinex模型的方法通过将低光图像分解为照度和反射率分量，将LLIR的照度调节方面与去噪问题分开。由于带通子带的稀疏性，多尺度子带学习方法对于LLIR也是成功的此外，低通子带的平滑性使得由于降低的噪声而更容易学习恢复的图像。端到端学习方法包括在几个层上连续细化恢复的低光图像的方法[17，31，32]。然而，基于CNN的方法需要大量的标记数据，并且需要研究它们的设计与有限的标记数据。用于图像恢复的半监督学习许多用于图像恢复的SSL方法涉及对未标记数据估计的失真进行先验。[37]中用于图像去噪的SSL方法在未标记数据的估计残差上施加高斯混合模型。另一种SSL图像去雾方法[15]对去雾未标记图像的暗通道先验施加稀疏先验。Yasarla等人通过将未标记数据的潜在向量投影到潜在空间模型上，为潜在表示生成伪标签[39]。在另一项工作[9]中，教师模型与学生模型的指数移动平均值用于为未标记数据生成伪标签。一致性正则化[24]是一种流行的SSL方法，已用于图像去噪，超分辨率和图像着色中的SSL在上述大多数工作中，SSL是通过非常特定于任务的失真建模来实现的，并且它们对LLIR问题的扩展并不简单。无监督质量评估：虽然存在过多的监督NR图像QA方法，但很少有非监督NR QA方法是成功的。NIQE [23]和IL-NIQE [41]代表了无监督NR的一些示例4107--BPLP----QA方法。这些方法主要是基于自然场景统计（NSS）和这些功能与原始图像语料库的比较而设计的。然而，这些基于NSS的特征可能无法准确捕获LLIR期间可能出现的所有畸变。特别地，基于NSS的特征通常仅在带通域中操作。因此，它们可能无法捕获失真，例如导致亮度水平变化的色偏和增强不足或过度。虽然最近有关于质量特征的对比学习的工作[3，18]，但质量预测仍然是有监督的，并且需要在人类得分上进行训练。3. 一种多尺度弱光图像复原在讨论我们的LLIR半监督学习方法之前，我们首先简要讨论一个简单的多尺度LLIR架构，它适合半监督学习。然后，我们在此基础上描述了我们的半监督学习方法。虽然存在几种LLIR方法，但由于几个原因，多尺度子带学习方法更首先，带通子带具有稀疏系数形式的良好行为统计，使得更容易学习恢复这些子带。其次，低通子带中的较高信噪比最后，显式地学习多尺度子带分别约束恢复图像以匹配每个子带中的地面实况图像，并导致有效的训练。在这项工作中，我们采用了一种简单而有效的多尺度子带学习方法简单多尺度恢复网络（SMSNet）。在SMSNet中，我们学习使用CNN模型预测地面实况图像的拉普拉斯金字塔子带，用于每个子带，如图1所示带通CNN恢复带通子带，由一系列具有残差连接的卷积层组成。低通CNN恢复低通子带，并进一步包括实例归一化层，以实现有效的低光增强。我们发现，这种简单的架构实现了更强大的性能在不同的数据集。有关SMSNet的架构、训练以及与其他流行LLIR方法的比较的更多详细信息，由于SMSNet的优越性能，我们现在分析该模型，以有效地利用它进行半监督学习图1. SMSNet的架构数据我们还提出了一个有趣的组合的结果，其中Bandpass CNN只使用5%的数据进行训练，而LowpassCNN则使用所有数据进行训练。我们注意到，这样的模型几乎与在所有数据上训练的模型一样好。这表明带通CNN即使在训练数据少得多的情况下也能很好地泛化。我们还报告了Bandpass CNN在100%数据上训练，Lowpass CNN在5%数据上训练的组合。该模型的性能差意味着在5%数据上训练的模型的性能下降的大部分可以归因于低通CNN没有很好地泛化由于带通CNN的良好性能，SMSNet的使用简化了LLIR的半监督因此，在本文的其余部分，我们只关注低通CNN的半监督学习，并保留在5%数据上训练的带通CNN。表1.使用SSIM/PSNR评估具有5%训练数据的S MSNet的低通（LP）和带通（BP）CNN。SONY FUJI LOL（索尼富士LOL）百分之五百分之五0.58/19.730.54/18.650.71/19.04百分百百分百0.74/23.050.69/22.630.78/21.91百分之五百分百0.72/22.720.67/22.130.77/21.72百分百百分之五0.59/19.920.56/18.940.72/19.204. 半监督学习方法我们现在描述我们的方法来训练低通CNN，当只有一小部分低光图像有相应的地面真实可用。令x和y表示曝光良好和低光图像对的低通子带令DL表示由N个曝光良好且低光低通子带对（x1，y1），. ，（xN，yN）。此外，令D U表示具有M个直通子带yN+1，.， yN+M。设xfr，yfr，Dfr和Dfr表示相应的全-L USMSNet分析：我们现在分析SMSNet的性能时，非常有限的数据可用于训练。我们在第5节中描述的数据集上进行实验在表1中，我们评估了SMSNet在5%的数据上训练时的性能。我们注意到，与在100%的分辨率版本。用于恢复低光低通子带的半监督学习的目标是除了标记数据DL之外还有效地使用可用的未标记数据DU。我们通过生成伪标签x=N+1，...，对于未标记的低光低通子带，x=N+M在以下4108低光5%模型模型1模型2模型3地面实况图2.通过在5%数据上训练的模型和来自学习的模型集合的三个模型恢复低光低通子带而获得的低通子带的比较这三个模型没有以任何特定的顺序选择。为了可视化，我们将恢复的低通子带与相应的恢复的带通子带重组以获得全分辨率图像。注意，从集合获得的三个图像中的至少一个在感知上优于来自5%数据模型的图像。图3.我们的伪标签生成方法的框图。在讨论中，我们将低通子带称为子带。我们生成伪标签的方法包括两个步骤如图3所示首先，我们生成一组势能伪标签的低光子带通过各种恢复模型。所得到的恢复的子带跨越宽范围的质量。在第二步中，我们从多个恢复版本中选择一个质量好的子带作为失真子带的伪标签。然后，我们从头开始使用标记的低光照和地面实况子带对以及未标记的低光照子带及其伪标签来训练LowpassCNN请注意，在我们的方法中，在从头开始训练低通CNN之前，只生成一次伪标签。4.1. 训练模型集成我们采用了一种集成的方法来训练多个恢复网络，为每个未标记的低光子带生成潜在的伪标签我们的集成应该能够生成具有良好质量的子带，以便其中一个可以作为伪标签。我们设计模型的集合如下。我们观察到，标记集合DL中的低光子带可以具有不同的对比度失真，例如对应于不同标记对的较差照明、较差对比度和色偏我们生成多个专家模型的恢复训练模型调整到不同的对比度失真的DL。在对比度失真上训练的模型预计将产生良好质量的图像。当它遇到类似的对比度失真时会变老。此外，我们认为，在SMSNet的低通CNN中包含实例归一化层使我们的增强鲁棒，并且与未标记数据中的对比度失真相关，未标记数据可能与标记数据略有不同。这是因为归一化层可以针对跨不同图像的对比度失真中的一些变化进行归一化。因此，由于这些归一化，网络可以将甚至稍微不同的对比度失真感知为相似的。由于我们仅具有对应于DL中的每个失真的一个标记对，因此我们创建具有多个子带对的训练数据集，该多个子带对具有如下的对应对比度我们为DL中的每对子带估计对比度失真模型，并通过在DL中可用的曝光良好的子带上使用该模型来生成训练数据集。 因此，我们生成N个训练数据集来训练N个恢复模型。为了生成训练数据集，我们采用[21]中提出的全分辨率图像的对比度失真模型。因此，我们对全分辨率图像中的失真进行建模，然后对其进行下采样以获得失真的低通子带。给定一对低光和曝光良好的图像yfr和xfr，低光图像被写为[21]yfr=f（xfr）+w，（1）其中f（？是对对比度失真进行建模的全局逐点函数，并且w表示噪声。f（. ）又被建模为以系数作为其参数的多项式函数。 用θf表示的参数通过最小化yfr和f（xfr）之间的均方误差来估计。我们将此对比度失真函数f与模拟噪声一起应用于其他曝光良好的图像。请注意，鉴于RGB图像中噪声的复杂性质，GAN通常用于噪声建模[2，12]。然而，由于缺乏足够的数据，GAN在这里的使用具有挑战性。此外，由于在几个尺度上的积极平滑，低通子带将不会有大量的噪声[25，26]。由于这些原因，我们分发了非常准确的噪声建模。具体地说，我们只是添加零均值高斯白噪声与标准的de-4109L--∈∈ V ∈{···}}pn=1∈n=1{ΣVz=∈′n将等于yfr和f（xfr）之间的误差的值的低通子带映射到生成的低光图像f（xfr），并从这些低通子带获得低通子带以创建训练数据集。在数学上，令从N个标记的图像对中的每一个估计的对比度失真函数为f1， f2，. f N.设n ∈ {1，2，. . . ，N}，并且Dfr，n是第n个使用fn（·）创建的训练数据集，并表示为这些恢复的子带分成四个象限，导致每个子带的四个不重叠的片。由于低通子带主要包括全局失真，例如增强过度和不足以及色偏，因此这些失真在来自相同子带的大尺寸块上变化不大。因此，对于来自其中一个恢复版本的给定锚补丁，我们将来自同一版本的补丁作为正对，而来自其他恢复版本的补丁则作为D fr，n={（xfr，f（xfr）+w），.，（xfr，f（xfr）+w）}。将版本存储为负对。L1n11NnnN （二）更正式地说，设Vn（n∈ {1，···，N}）表示现在，我们使用低通子带训练Lowpass CNNhn在来自第n恢复的版本的所有4个不重叠的补丁一个未标记的低光低通子带。我们这一批从Dfr，n获得的Dn对，以创建L L模型 hnN. 然后我们将这些模型应用于低-光子带yD U，以生成潜在伪标记的集合h1（y），...，h N（y）。在图2中，我们显示了一个低光图像和一些使用合奏产生的恢复版本。4.2. 伪标签选择从多个恢复的子带由从给定低光子带的N个恢复版本中提取的4N个现在，一对贴片p和q相似，如果p，qn对于任何n一二、N.如果贴片属于不同的低通子带，则它们是不相似的。令zp表示从补丁p获得的归一化（到单位范数）特征。p和q的对比损失，其中p，q∈ Vn由下式给出：由于缺乏地面实况，低光子带的版本是相当具有挑战性的。预训练的NR QA算法L（Vn）=−logs（p，q）陈伟霆可能无法捕获LLIR期间出现的失真。s（p，q）+n′=1I[n′n]q′Vs（p，q）（三）由于没有用于训练QA算法的标签，我们采用自监督学习方法设计质量指标。我们通过训练CNN模型（称为质量特征CNN（或QFCNN））来设计我们的QA方法，以从任何恢复的低通子带中提取质量相关特征。目标是设计能够捕获在低光子带放大期间出现的各种失真的功能然后，我们通过计算恢复的子带的特征与暴露良好的子带的特征的平均值之间的余弦相似性来计算恢复的子带的质量。注意，充分暴露的子带不是恢复的子带的对应对，因为其中，当n ′ n时，I[n′n =n]等于1，否则等于0，并且s（p，q）= exp（zTzq/τ）。这里τ是温度pa-我们将其设置为0。07. 一个批次中的总损失由L=NL（n）给出。注意，由于QFCNN是完全卷积的，尽管它是在子带补丁上训练的，我们在测试期间将其应用于整个子带，以最终评估质量。令由训练的QFCNN从恢复的子带h n（y），n=1，2，. . .，N，yD U是zn（y）. 令曝光良好的子带的特征在数据集xn 中，n=1，2，. . .，N，表示为z（xn）。令z表示xn的特征的平均值，对于未标记的数据获得恢复的子带。我们采用了一种在图像分类中广泛用于自监督特征学习的对比学习方法在对比学习中，对于给定的图像，1NNn=1z（xn）。hn（y）的质量可以得到为：q（hn（y））=（zn（y））Tz.（四）产生其正和负的增强。对比损失增加了正对特征之间的相似性，降低了负对特征之间的相似性。 为了使QFCNN能够学习失真感知特征，我们设计了具有相似失真的正对和具有不同失真的负为了生成这样的正负对，我们使用由系综产生的低光低通子带的多个恢复版本请注意，这些多个恢复的版本具有相同的内容，只是在distor- tions不同。具体来说，在给定的训练迭代中，我们使用从多个恢复版本中提取的补丁构建一批。为了提取补丁，我们将每个补丁虽然上述方法可以帮助评估全局对比度和颜色失真，但我们还采用基于参考的近似测量来捕获局部失真。令h0是训练成使用整个有限标记数据DL来恢复子带的CNN模型。我们观察到，该模型提供了一个合理的恢复子带h0（y），我们观察到，主要是缺乏局部文物，但可能会受到全球对比度失真。虽然这可能是不完美的，但我们通过结构相似性（SSIM）指数[35]比较恢复的子带hn（y）与h0（y）的集合，以估计局部伪影。我们观察到，当与我们在等式（4）中的质量指数组合以估计全局对比度失真时，这样的模型是有效的。我们用于选择伪标签的、4110×LL由下式给出Q（h n（y））= q（h n（y））+SSIM（hn（y），h0（y））.（五）我们选择y的伪标签为hn（y），其中n= arg max Q（h n（y））。（六）n =1，2，…N5. 实验数据集我们在See-In-the- Dark（SID）[1]和Low-Light（LOL）[36]数据集上进行实验。我们使用python库rawpy对SID数据集中的原始图像进行预处理，以获得sRGB图像。我们进一步将它们下采样到832 1248的分辨率。在每个数据集上，我们随机挑选5%和10%的地面真实训练图像以及相应的低光版本作为标记对。训练集的其余部分在没有地面真值标签的情况下用作未标记的数据集。我们报告了SSIM，峰值信噪比（PSNR）和色彩测量的平均恢复性能[7]，随机选择5%或10%标记对。我们注意到，低光恢复的图像往往遭受不饱和的颜色和评估的色彩与其他指标的恢复图像是很重要的。训练细节我们使用SMSNet，具有5个级别，包括4个带通子带和一个低通子带。我们使用的批量大小为16。对于100%训练数据的情况，我们分别在SID和LOL数据集上在SMSNet中训练CNN模型90个epoch和450个epoch。我们使用Adam optimizer，其学习（LR）为10−3，对于SID数据集，在50和70个epoch之后分别减少到10−4和10−5，对于LOL数据集，分别减少到250和350个为了训练低通CNN，我们在每次迭代中使用随机裁剪的大小为48的补丁。为了训练4个带通CNN，我们在不同级别使用大小为256、128、64和64的对于5%和10%标记的数据情况，我们分别将epoch和LR里程碑的数量缩放20和10我们用LR为1 e-4的QFCNN训练11个epoch，并在等式（3）中选择τ请参考补充第4.2节，以讨论如何我们选择了这些超参数我们用以下方法对我们1. 基线：我们的基线是前面讨论过的SMSNet仅在标记数据集DL上训练。未标记的数据集无论如何不用于基线。2. 增强数据：我们在八月训练模型标记数据。标记的数据集DL用来自合成生成的数据集{D1，. . . ，D N}。3. 老师：我们与中庸之道比较模型[28]，一种适用于低光恢复的流行半监督学习方法。低通学生模型的CNN是用标记的对以及教师模型输出的图像作为未标记的低光图像的目标来训练的4. 对抗性损失：我们使用一个训练Lowpass CNN的对抗性损失。对抗性损失的判别器经过训练，以区分来自标记集的地面真实图像和由低通CNN输出的图像。5. 转型一致性正则化（TCR）：我们与早期用于图像去噪和图像着色的低级别视觉任务的基于一致性的SSL方法进行了比较[24]。我们使用这种方法只训练SMSNet的低通CNN。6. EnlightenGAN：我们训练和评估一个未配对的低光图像恢复的学习方法[10]，将未标记的图像视为失真，将地面真实标签视为干净。性能评估我们在表2和表3中给出了我们提出的方法的数值我们看到显着的改进，我们的方法比其他方法在SSIM和色彩。虽然PSNR值大致相似，但我们观察到PSNR对亮度和颜色的微小变化非常敏感，否则无法感知[34]。色彩测量必须与SSIM指数一起解释。虽然EnlightenGAN的输出看起来色彩缤纷，但它包含大量空间伪影，导致其SSIM性能不佳。我们还在补充报告中报告了方差分析，其中我们注意到，我们的方法通过实现更高的SSIM分数和更小的分裂方差，在很大程度上优于Mean-Teacher。我们还在图4中展示了通过各种方法增强的低光图像的一些示例质量指标分析：我们用等式（5）中的质量指数的不同变化进行实验以挑选伪标签。我们将等式（5）中的SSIM索引的使用称为SSIM-0。我们考虑使用无监督QA模型NIQE [23]代替基于QFCNN的质量项。我们评估这些NR QA方法与和不出SSIM-0条款。我们比较了表4中的这些QA模型在用根据等式（6）选择的伪标签训练时实现的恢复性能此外，我们还比较了QA模型在Spearman秩序相关系数（SROCC）中值方面的性能与表1中给定低光图像的恢复版本5. 虽然我们基于QFCNN的模型实现了最佳性能，但我们看到SSIM-0项和NR QA项都很重要，单独使用这两项都无法实现最佳性能。在表4中，我们还评估了当使用恢复图像的集合的地面真实SSIM来挑选伪标签时所实现的性能。这用作4111·低光基线EG平均值-教师建议的地面实况图4.当只有5%的标记数据可用时，通过不同方法增强的图像示例。请注意，EG代表Enlighten-GAN。该方法增强后的图像具有较好的感知质量。表2.在多个数据集上使用SSIM、色彩度[7]和PSNR对5%标记数据情况进行客观评估。对于所有指标来说，价值越高越好。红色和蓝色分别表示最好和第二好的分数。100%数据是指在所有标记数据上训练的模型。请注意，我们没有突出显示EnlightenGAN的色彩结果，因为它的SSIM和PSNR分数非常低。索尼恢复性能的上限，使用我们的复原图像集合来实现。我们看到QA模型接近基于地面真实SSIM的模型的性能，并且差距相当小。模型包围分析：我们首先展示了如何频繁地在合奏中的每个模型产生最佳质量的图像为每个未标记的低光数据。我们在图5中显示了SONY数据集的一个分割的结果。最好的图像质量是SSIM指数。对于给定的低光图像，由于在类似的对比度失真上训练的模型具体地，给定模型产生最佳质量图像的低光图像的参数可以聚类在一起。然而，实例归一化层可以使网络对于失真的某些方面（诸如亮度和偏色）的微小变化具有鲁棒性。这促使学习的转换版本的恢复网络感知为相似的对比度失真函数f（）的参数，然后分析变换后的特征。我们通过一个分类网络学习变换，该网络将未标记图像的对比度失真特征θf作为输入，并在这些图像上进行训练，以根据地面真实SSIM指数从产生最佳质量图像的集合中预测模型。该网络是一个单隐层全连通网络，我们使用隐层特征作为变换后的特征进行分析。 设输入θf的隐层特征为g（θf）。然后，g（θf）被期望为更多信息，以理解来自系综的哪个模型针对给定的低光图像产生最佳质量的图像。 我们使用t-SNE [30]在二维空间中可视化这些学习的特征g（θ f）。在图5中，我们显示了SONY数据集上前4个最常用型号的一个分割的散点图这里，大点表示对比度失真函数的隐藏层特征，来自集合的模型基于该隐藏层特征方法富士LOLSSIM色彩度PSNRSSIM色彩度PSNRSSIM色彩度PSNR基线0.5822.4819.730.5421.5918.650.7119.0219.09提出0.6324.9719.920.5822.3818.840.7421.1719.42增强0.5821.6819.720.5521.9318.580.7219.8518.94老师的意思0.5721.7619.750.5521.8218.630.7318.6219.51TCR0.5918.4918.530.5114.6016.970.6714.5018.62对抗性0.5624.6619.210.4924.0917.830.7419.8619.45EnlightenGAN0.3132.0815.460.3331.1113.620.5733.3416.77100%的数据0.7427.4223.050.6923.6822.630.7819.3121.914112表3.10%标记数据情况下的客观评价红色和蓝色分别表示最好和第二好的分数索尼表4.通过用其他方法替代我们的QA方法，进行消融的SSIM评分。方法索尼富士LOLSSIM-00.560.570.66NIQE0.500.460.72QFCNN0.610.550.70带SSIM-0的0.610.560.73QFCNN与SSIM-00.630.580.74地面实况SSIM0.660.600.75表5. SROCC用于各种QA方法，这些方法与未标记数据上的地面真实SSIM有关。方法索尼富士LOLNIQE0.160.140.24QFCNN0.590.500.61带SSIM-0的0.480.600.60QFCNN与SSIM-00.740.750.71被训练过。较小的点对应于未标记的图像特征。我们看到，未标记的低光子带的失真特征通常接近于产生最佳质量恢复子带的系综模型。 请注意，该方法取决于标记数据集中存在的各种失真。如果没有标记的数据点具有类似于未标记的子带的失真，则该方法可能不会产生良好质量的伪标记。有关拟议方法局限性的更详细讨论，请参阅补充材料。6. 结论我们观察到，LLIR的多尺度子带学习架构自然适合于半监督低光图像恢复。虽然带通子带概括得很好，但在非常有限的数据上训练，我们的低通子带的半监督学习可以提高性能。我们展示了一种基于集成的生成多个恢复图像的方法，可以用于为未标记的低光图像选择伪标签。我们通过在我们从标记对创建的不同类型的失真图像上训练它们来创建一个恢复网络的集合。此外，我们还提出了一个自-图5.条形图显示了根据SSIM指数，来自集合的模型产生最佳质量图像散点图是通过将t-SNE应用于学习特征而获得的特征。请参阅文本以了解更多详情。请注意，这两个图都是针对SONY数据集的一个分割。有监督的QA措施，当与SSIM- 0一起使用时，我们表明，我们的方法在数据集上实现了卓越的性能，尽管使用有限的标记数据进行了训练。鸣谢：这项工作得到了印度政府科学技术部CRG/2020/003516号赠款的部分支持。方法富士LOLSSIM色彩度PSNRSSIM色彩度PSNRSSIM色彩度PSNR基线0.6424.0920.600.5820.8319.490.7319.8519.59提出0.6626.0720.500.6022.3619.360.7521.8819.48增强0.5821.6819.720.5521.9318.580.7219.8518.94老师的意思0.6324.0620.610.5920.8419.640.7418.8819.56TCR0.6519.9619.950.5415.3216.970.7014.2419.39对抗性0.6023.3520.410.5923.9519.550.7420.1519.22EnlightenGAN0.3132.0815.460.3331.1113.620.5733.3416.774113引用[1] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西在IEEE计算机视觉和模式识别会议论文集，第3291-3300页[2] 陈静雯，陈嘉伟，赵宏阳，杨明。基于生成对抗网络噪声建模的图像盲去噪在IEEE计算机视觉和模式识别会议论文集，第3155-3164页[3] Pengfei Chen，Leida Li，Qingbo Wu，and Jinjian Wu.Spiq：一种用于图像质量评估的自监督预训练模型。IEEE Signal Processing Letters，29：513-517，2022。[4] 陈婷，西蒙·科恩布里斯，穆罕默德·诺鲁齐，和葛offrey Hinton.视觉表征对比学习的一个简单框架国际机器学习会议，第1597-1607页。PMLR，2020年。[5] Ting Chen ， Simon Kornblith ， Kevin Swersky ，Mohammad Norouzi，and Geoffrey Hinton.大的自监督模型 是 强 半 监 督 学 习 器 。 arXiv 预 印 本 arXiv ：2006.10029，2020。[6] Chunle Guo，Chongyi Li，Jichang Guo，Chen ChangeLoy，Junhui Hou，Sam Kwong，and Runmin Cong.用于弱光图像增强的零参考深度曲线估计。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2020年6月。[7] David Hasler和Sabine E Suesstrunk。测量自然图像中的色彩丰富度。人类视觉和电子成像VIII，第5007卷，第87-95页。国际光学与光子学学会，2003年。[8] Kaiming He，Haoqi Fan，Yuxin Wu，Saining Xie，andRoss Girshick.用于无监督视觉表示学习的动量对比。在IEEE/CVF计算机视觉和模式识别会议论文集，第9729-9738页[9] Huaibo Huang，Aijing Yu，and Ran He.面向记忆的迁移学习在半监督图像去噪中的应用。在IEEE/CVF计算机视觉和模式识别会议论文集，第7732-7741页[10] Yifan Jiang，Xinyu Gong，Ding Liu，Yu Cheng，ChenFang，Xiaohui Shen，Jianchao Yang，Pan Zhou，andZhangyang Wang.启迪：无需配对监督的深度光增强。IEEE Transactions on Image Processing，30：2340[11] Le Kang，Peng Ye，Yi Li，and David Doermann.用于无参考图像质量评估的卷积神经网络2014年IEEE计算机视觉和模式识别会议，第1733-1740页[12] Dong-Wook Kim Jae Ryun Chung和 Seung-Won Jung 。Grdn：分组残差稠密网络，用于真实图像去噪和基于GAN的真实世界噪声建模。在IEEE/CVF计算机视觉和模式识别研讨会上，第0-0页[13] Dong-Hyun Lee等人伪标签：提出了一种简单有效的深度神经网络半监督学习方法，工程.在表征学习挑战研讨会上，ICML，第3卷，第896页，2013年。[14] 李嘉倩，李俊成，方黎明，方力，张桂旭。亮度感知金字塔网络用于低光图像增强。IEEE Transactions onMultimedia，第1-1页[15] 李仁汉，董云龙，任文琪，潘金山，高长新，桑农，杨明轩。半监督图像去雾。IEEE Transactions on ImageProcessing，29：2766[16] Seokjae Lim和Wonjun Kim。Dslr：用于弱光图像增强的深度叠加IEEE Transactions on Multimedia，第1-1页[17] Feifan Lv，Feng Lu，Jianhua Wu，and Chongsoon Lim.Mbllen：使用cnns的低光图像/视频增强。在BMVC，第220页，2018年。[18] Pavan C Madhusudana ， Neil Birkbeck ， Yilin Wang ，Balu Adsumilli，and Alan C Bovik.利用对比学习进行图像质量评价。IEEE图像处理学报，31：4149[19] 帕万角Madhusudana，Neil Birkbeck，Yilin Wang，BaluAdsumilli，and Alan C.波维克使用合成图像进行图像质量 评 估 在 IEEE/CVF Winter 计 算 机 视 觉 应 用 会 议（WACV）研讨会，第93-102页[20] Sameer Malik和Rajiv Soundararajan。Llrnet：一种用于弱光图像恢复的多尺度子带学习方法在2019年IEEE国际图像处理会议（ICIP）上，第779-783页[21] Sameer Malik和Rajiv Soundararajan。一种弱光图像复原的模型学习方法。在2020年IEEE国际图像处理会议（ICIP）上，第1033-1037页。IEEE，2020年。[22] Anish Mittal，Anush Krishna Moorthy，and Alan ConradBovik.空间域无参考图像质量评价。IEEE Transactionson Image Processing，21（12）：4695[23] Anish Mittal、Rajiv Soundararajan和Alan C Bovik。制作“ 完 全 盲 ” 图 像 质 量 分 析 仪 。 IEEE Signal processingletters，20（3）：209[24] Aamir Mustafa和Rafaelik K Mantiuk。变换一致性正则化：图像到图像翻译的半监督范例。在计算机视觉-ECCV 2020中：第16届欧洲会议，格拉斯哥，英国，2020年8月23日至28日，会议记录，第XVIII 16部分，第599-615页。Springer，2020年。[25] Javier Portilla、Vasily Strela、Martin J Wainwright和EeroP Simoncelli。基于小波域高斯尺度混合的图像去噪。IEEE Transactions on Image Processing ， 12 （ 11 ） ：1338[26] Umesh Rajashekar和Eero P.西蒙切利第11章摄影图像的多尺度去噪。在Al Bovik，编辑，The Essential Guide toImage Processing，第241- 249261.学术出版社，波士顿，2009年。[27] Lai