结合半监督和正无标记学习的全参考图像质量评估

5851结合半监督和正无标记学习的全参考图像质量评估曹跃1，万兆林2，任东伟1（右），闫子飞1，王梦左1，31哈尔滨工业大学计算机科学与技术学院2大连海事大学人工智能学院3鹏程实验室cscaoyue@gmail.com，zlwan@dlmu.edu.cn，rendongweihit@gmail.com，{yanzifei，wmzuo}@ hit.edu.cn摘要全参考图像质量评价（Full-reference image qualityassessment，IQA）通过测量失真图像与原始质量参考图像的视觉差异来评价失真图像的视觉质量，已被广泛应用于低水平视觉任务。在训练FR-IQA模型时，需要两对标记数据，平均意见得分（MOS），但收集起来费时费力。相比之下，未标记的数据可以很容易地从图像退化或消除过程中收集，这使得利用未标记的训练数据来提高FR-IQA性能是令人鼓舞的。此外，由于标记数据和未标记数据之间的分布不一致性，未标记数据中可能会出现离群值，进一步增加了训练难度。在本文中，我们建议将半监督和正无标记（PU）学习利用无标记数据，同时减轻异常值的不利影响。特别地，通过将所有标记的数据视为正样本，利用PU学习来识别负样本（即，离群值）来自未标记数据。半监督学习（SSL）被进一步部署，以利用积极的未标记的数据，通过动态生成伪MOS。我们采用了一个双分支网络，包括参考和失真分支。此外，在参考分支中引入了空间注意力，使其更加关注信息区域，并使用切片Wasser-stein距离进行稳健的差异图计算，以解决GAN模型恢复图像所引起的错位问题大量的实验表明，我们的方法在基准数据集PIPAL，KADID-10 k，TID 2013，LIVE和CSIQ上表现良好。源代码和模型可在 https://github.com/happycaoyue/JSPL 上获得。1. 介绍图像质量评估的目标是提供能够自动预测图像质量的计算模型图1.说明联合半监督和PU学习（JSPL）方法，该方法减轻了未标记数据中离群值的不利影响，以提高IQA模型的性能。实际图像质量与人的主观感觉一致在过去的几十年中，在开发全参考（FR）图像质量评估（IQA）指标方面取得了重大进展，包括峰值信噪比（PSNR）和结构相似性指数（SSIM）[58]，这些指标已广泛用于各种图像处理领域。最近，基于CNN的FR-IQA模型引起了越来越多的关注，它通常学习从失真和原始图像到平均意见得分的映射。大多数现有的基于CNN的FR-IQA模型使用具有平均意见得分（MOS）的成对标记数据进行训练，因此需要大量的人类判断。为了降低收集大量标记数据的成本，一种潜在的替代方法是利用几乎免费的未标记样本进行半监督学习最近，半监督IQA算法[38，39，55，59，63]受到了相当大的关注，这些算法使用标记和未标记数据都但是，未标记的数据可以以各种不受约束的方式收集，并且可能具有与标记的数据大不相同的分布。阳性标记数据阳性未标记数据IQA模型预测评分半监督学习正非标记学习二元分类器未标记数据推理阳性标记数据未标记数据培训积极负5852数据因此，离群值通常是不可避免的，并且对半监督学习有害[22]。在本文中，我们将半监督和积极的未标记（PU）学习利用未标记的数据，同时减轻离群值的不利影响。PU学习旨在从阳性样本的标记集合以及阳性和阴性样本的未标记集合中学习二元分类器，并且已广泛应用于图像分类[8]和异常检测[68]。对于我们的任务，具有MOS注释的标记图像可以自然地被视为阳性样本。如图1，然后利用PU学习来发现和排除离群值，即，阴性样本，来自无MOS注释的未标记图像集。然后，部署半监督学习（SSL）来利用标记集和正未标记图像来训练深度FR-IQA模型。此外，通过PU学习的预测还可以充当置信度估计的角色，以逐渐选择有价值的正未标记图像用于SSL。因此，我们的联合半监督和PU学习（JSPL）方法提供了一种有效和方便的方式来结合标记和未标记的集合，以提高FR-IQA的性能。此外，我们还提出了一种新的FR-IQA网络，用于突出信息区域，并抑制失真和原始图像之间的错位的影响。像大多数现有的方法一样，我们的FR-IQA网络涉及暹罗（即，双分支）特征提取结构，用于失真和原始图像。原始和失真特征然后被馈送到距离计算模块以生成差异图，差异图被传播到分数预测网络以获得预测分数。然而，对于基于GAN的图像重建，失真图像通常与原始图像在空间上不对齐，使得像素级欧氏距离不适合表征失真图像的感知质量[18，19]。为了缓解这一点，顾[18]引入了逐像素扭曲操作，即，空间扭曲差（SWD）。在这项工作中，我们将切片Wasserstein距离扩展到其本地版本（LocalSW），以使差异映射对小的错位具有鲁棒性，同时保持其局部性。此外，人类视觉系统（HVS）通常对包含更多信息内容的图像区域给予更多视觉关注[33，44，51，60]，并且通过考虑与人类视觉固定或视觉感兴趣区域检测的相关性已经实现了显著的性能改善[14，32，34]。考虑到HVS的特性，我们利用原始特征上的空间注意力模块来强调更多的信息区域，然后将其用于重新加权距离图以生成校准的差异图。进 行 了 大 量 的 实 验 来 评 估 我 们 的 JSPL 方 法 FR-IQA。在标记训练集的基础上，我们使用几个有代表性的数据集来收集未标记数据，图 像 退 化 或 恢 复 模 型 。 在 感 知 图 像 处 理 AL 出 租（PIPAL）数据集[19]上，结果表明JSPL，LocalSW和空间注意力都有助于我们方法的性能增益，这与评估基于GAN的图像恢复结果的感知质量的最新技术相比表现良好。我们进一步在四个传统的IQA数据集上进行了实验，LIVE [47]、CSIQ [33]、TID 2013 [45]和KADID-10 k [35]，进一步显示了我们的JSPL方法相对于最先进方法的优越性。概括起来，这项工作的主要贡献包括：• 联合半监督和PU学习（JSPL）的方法，利用图像与MOS注释，提高FR-IQA性能。与SSL相比，PU学习在我们的JSPL中起着至关重要的作用，它排除了离群值，并逐渐为SSL选择正的未标记数据。• 在 FR-IQA 网 络 中 ， 空 间 注 意 力 和 局 部 切 片Wasserstein距离被进一步用于计算差异图，以强调信息区域并抑制失真图像与原始图像之间的错位效应。• 在五个基准IQA数据集上的广泛实验表明，我们的JSPL模型对最先进的FR-IQA模型表现2. 相关工作在本节中，我们简要回顾了基于学习的FR-IQA，半监督IQA以及基于GAN的图像恢复的IQA。2.1. 基于学习的FR-IQA模型根据对原始质量参考的可及性，IQA方法可分为完全参考（FR）、减少参考（RR）和无参考（NR）模型。FR-IQA方法将失真图像与其原始质量参考进行比较，可以进一步分为两类：传统的评估指标和基于CNN的模型。传统的度量是基于一组与HVS属性相关的先验知识然而，由于视觉感知是一个复杂的过程，很难用有限的手工特征来模拟HVS。相比之下，基于学习的FR-IQA模型使用各种深度网络从训练数据中提取特征，而无需专业知识。对于深度FR-IQA，Gao等人[15]首先计算了参考图像和失真图像之间VGGNet层的特征图的局部相似性。然后，将局部相似性汇集在一起以获得最终的质量分数。DeepQA [2]应用CNN将敏感度图回归到主观评分，主观评分是从失真图像和错误图中生成的。Bosse等人[6]提出了一种基于CNN的FR-IQA方法，其中感知5853j=1我 我i=1Nu--图像质量是通过对分块分数进行加权合并来获得的。学习的感知图像块相似性（LPIPS）[73]计算参考和失真的深度特征表示之间的欧几里得距离，并且可以灵活地嵌入到各种预训练的CNN中，例如VGG [52]和AlexNet [30]。受益于SSIM类结构和纹理相似性措施，丁等。[13]提出了一种基于内射映射函数的深度图像结构和纹理相似性度量（DISTS）。Hammou等人[23]提出了一种基于选择特征相似性和集成学习的梯度增强（EGB）度量集成。Ayyoubzadeh等人[3]使用具有空间和通道注意力的Siamese-Difference神经网络来预测质量分数。所有上述指标都需要大量的标记图像来训练模型。然而，手动标记是昂贵和耗时的，这使得它更好地利用未标记的图像来提高IQA性能。2.2. 半监督IQA近年来，半监督IQA算法引起了相当大的关注，因为它们使用更少的费用和更容易访问的未标记数据，并且有利于性能的提高[10]。虽然半监督学习在视觉和学习任务中得到了广泛的研究和应用，但半监督IQA的研究仍处于起步阶段。Tang等人[55]采用深度信念网络进行IQA任务，该方法使用未标记数据进行预训练，然后使用标记数据进行微调。Wang等人[59]通过组合标记和未标记数据，将半监督集成学习用于NR-IQA，其中未标记数据被并入以最大化集成多样性。Lu等人[40]引入了半监督局部线性嵌入（SS-LLE）来将图像特征映射到质量分数。Zhao等人[75]提出了一种基于SSL的人脸IQA方法，该方法利用目标域中的未标记数据通过预测和更新标签来微调网络在医学成像领域，标记数据的量是有限的，并且注释的标签是高度私密的。SSL [38，39，63]通过将未标记的数据与标记的数据相结合来实现更好的医学IQA性能，从而提供了一种尽管如此，上述研究表明，标记和未标记的数据是来自同一分布。然而，不可避免的分布不一致性和离群值对SSL有害[22]，但在半监督IQA中仍然较少研究。2.3. 基于GAN的图像恢复生成对抗网络（Generative Adversarial Networks，GAN）在图像恢复中被广泛采用，以提高恢复结果的视觉性能。然而，这些图像通常遭受类似纹理的伪像，也就是基于GAN的扭曲，这些扭曲看起来是精细的，但实际上是假的。尾此外，GAN容易产生空间失真和错位的恢复结果，这也对现有的IQA方法提出了新的挑战。最近，已经提出了一些有趣的研究来提高基于GAN的图像增强的IQA的性能。SWDN [18]提出了一种称为空间扭曲差异（SWD）的逐像素扭曲操作，通过比较相应位置周围小范围内的特征来缓解空间未对准Shi等人[50]在参考和失真分支中部署了面向参考的可变形卷积和块级注意力模块，以提高基于GAN的失真的IQA性能为了对GAN生成的类似纹理的噪声进行建模，IQMA [21]采用多尺度架构来测量失真，并在细粒度纹理级别评估图像。IQT [9]将CNN和Transformer结合起来用于IQA任务，并实现了最先进的性能。尽管在评估基于GAN的失真方面已经取得了进展，但现有方法是基于通过监督学习的标记数据。相比之下，这项工作提出了一种联合半监督和PU学习方法以及一种新的IQA网络，用于利用未标记的数据和缓解空间错位问题。3. 该方法3.1. 问题设置由x=（IRef，IDis）表示原始质量参考图像IRef和失真图像IDis的二元组，并且y表示地面实况MOS。基于学习的FR-IQA旨在找到由Θf参数化的映射f（x），以预测近似y的质量得分y。 大多数现有的FR-IQA方法都是基于监督学习，其中收集大量MOS注释非常耗时且繁琐。在这项工作中，我们考虑了一个更鼓舞人心和实际可行的SSL设置，即，使用标记数据以及具有离群值的未标记数据训练FR-IQA模型虽然SSL已被建议用于开发未标记的数据以提高IQA性能，但我们注意到，当以不同且不受约束的方式收集未标记的数据时，离群值通常是不可避免的。例如，一些未标记二元组的参考图像质量可能不满足要求。并且未标记的数据还可能包含在标记数据中看不到的并且对于IQA训练是不必要的失真类型令P ={x，y}Np表示正标记数据，U=xj表示未标记数据。本文提出了一种半监督和PU学习的联合方法（JSPL），用于对具有潜在离群点的未标记数据进行杠杆老化 除了IQA模型f（x）之外，我们的JSPL 还学习了一个由Θ h参数化的二元分类器h（xj），用于确定未标记的二元组是否定的（即，异常值）或阳性样本。5854≥≥JuuΣ ΣΣ特征提取网络分数预测网络f1RefF2RefF3间隙（S）Ref民建联民建联民建联我ReffsDiffLocalSW距离空间注意间隙（S）平均预测评分fDis3fsDist民建联民建联民建联F2Dis间隙（S）我Disf1Dis3× 3 Conv+ ReLU1× 1 Conv+ ReLUL2合并民建联双重注意障碍间隙（S）空间全局平均池图2.我们的FR-IQA网络图示。该方法采用双分支结构进行特征提取，一个用于参考，另一个用于失真。特征提取网络在三个尺度上对参考图像和畸变图像进行特征提取。距离计算模块生成上述两个特征之间的差异图。空间注意力模块在信息量更大的区域上给予更大的权重以获得校准的差异图，然后将其馈送到分数预测网络以预测最终分数。3.2. JSPL模型提出了一种半监督和PU联合学习（JSPL）模型，用于从标记数据P和未标记数据U中学习IQA模型f（x）和二进制分类器h（x）。特别地，PU学习用于学习h（x）以识别正的未标记样本。SSL用于从标记和正未标记样本中学习f（x）。在下文中，我们首先描述PU学习和SSL的损失项，然后介绍我们的整体JSPL模型。PU学习。为了学习h（x），我们将P中的所有样本视为正样本，将U中的所有样本视为未标记样本。对于正样本xi，我们简单地采用交叉熵（CE）损失，CE（h（xi））= − log h（xi）。（一）每个未标记的样本xj应该是正样本或负样本，因此我们需要输出h（xj）接近1或0。为此，我们引入熵损失定义为，H（h（xj））=−h（xj）logh（xj）−（1−h（xj））log（1−h（xj））。（二）我们注意到，熵损失已被广泛用于SSL [17]。当仅使用CE损失和熵损失时，对于任何样本x，h（x）可以简单地产生1。为了解决这个问题，对于给定的未标记样本的小批量Bu，我们在-对于未标记的数据，只有正的未标记的样本（即，h（xj）τ）。这里，τ（例如，=0。5）是用于选择阳性未标记样本的阈值。对于阳性未标记样本，我们也采用MSE损失，（f（xj），yj其中yj表示x j的伪MOS。在SSL中，锐化通常用于分类任务，为未标记的样本生成伪标签[4，53]，但不适合回归任务。受[31，37]的启发，我们使用移动平均策略在训练期间获得yjyj<$（t）=α·yj<$（t−1）+（1−α）·ft（xj），（7）其中α（=0. （5）动力。yj（t）表示训练的t次迭代之后的伪MOS，并且ft（xj）表示训练的t因此，我们将SSL丢失定义为：L SSL= i（f（xi），yi）+jIh（xj）≥τ. f（xj），yj≠0.（八）Ih（xj）≥τ是一个指示函数，如果h（xj），则它为1τ否则为0JSPL模型。考虑到SSL和PU学习的损失，JSPL的学习目标可以写为，负向强制（NE）损失用于约束，在每个小批次中存在至少一个阴性样本，minΘf，ΘhL=LSSL+LPU。（九）NE（Bu）=−log. 1−minx∈Bh（xj）<$.（三）我们注意到，我们的JSPL是一个联合学习模型，FR-IQA网络f（x）和二元分类器h（x）可以结合上述损失项，我们定义了PU学习损失，LPU=iCE（h（xi））+j H（h（xj））+BNE（Bu）。（四）SSL. FR-IQA 是回归问题。对于具有地面实况MOSyi的标记样本xi，我们采用均方误差（MSE）损失定义为，（f（xi），y i）=（五）5855L通过最小化上述目标函数来学习。特别地，对于给定的小批量未标记样本，我们首先通过最小化PU来更新二元分类器。然后，为每个未标记的样本更新伪MOS，并选择阳性未标记的样本此外，阳性未标记样本与标记样本的小批量合并，以通过小批量更新FR-IQA网络。使用LSSL。5856RefDisRefDis∈∈××·RefDisDiff×DiffRefDisRefRef-f×M∈GAP（ C）fsMfsWfsRef海（S）fsDiffGMP（ C）fsDistGAP（ C）渠道全局平均池化GMP（ C）全渠道全局最大池化Concatenate海（S）空间方面当地平均P冷却乙状元素-wiseProduct特征投影累积分布（排序）1-D Wasserstein距离图3.提出的局部切片Wasserstein距离（Lo-calSW）计算模块测 量 投 影 参 考 的 累 积 分 布 与 失 真 特 征 图 之 间 的 1-DWasserstein距离。3.3. FR-IQA网络结构如图2所示，我们提出的FR-IQA由一个图4.用于差异图校准的空间注意力，其中基于参考特征的空间注意力用于重新加权距离图以生成校准的差异图。是的。相反，我们建议局部切片Wasserstein（Lo-calSW）距离，通过比较特征图的分布来以前的切片Wasserstein损失[12，24]已经被提出来计算全局切片Wasserstein距离。考虑到fs和fs之间的错位通常是局部的，特征提取网络和得分预测网络。特征提取网络采用连体（即，双分支）结构，分别以参考图像和畸变图像作为输入。它基于VGG 16 [52]，由三个不同的尺度组成，即，s=1、2和3。并从两个方面对VGG16网络进行了进一步的改进。首先，VGG中的所有最大池化层都被替换为L2池化[25]，以避免在降采样时出现混叠。其次，为了提高拟合能力，将[67]中使用的双注意力块（DAB）集成到不同规模的骨干网络中。参考图像IRef和失真图像IDis被馈送到特征提取网络中以获得参考特征。在 小 范 围内 ， 我 们 采 用LocalSW 距 离 ， 将 fs 和 fs（RH×W×C）分成J个不重叠的分辨率为pp的块，即，J=（H/p）（W/p）。图图3举例说明了使用面片对aRef 和aDis （ Rp×p×C）计算LocalSW 距离。特别地，我们首先在Ref和Dis上使用投影算子Φ来获得投影特征Φ（aRef）和Φ（aDis）（Rp×p×m），其中m=C/2。然后，我们通过每个通道上的排序操作Sort（）实现累积分布（即，（1）（2）（3）（4）（5）（6）（7）（8）（9）（10）（11）（12）（13）（14）（15）（16）（17）（18）（19）（11）（19）（10）（19）（1并且可以通过下式获得该贴片对的切片v的LocalSW距离SW[v] =Sort（Φ（aRef）[v]）−Sort（Φ（aDis）[v]）。（十）真实fs和失真特征fs（s=1，2，3），分别为-此外，我们计算所有的活泼地 然后，局部切片Wasserstein（LocalSW）距离切片和所有面片以形成LocalSW距离图sf s××mHW提出产生距离图fDist，和空间at-Dist∈ R pp.张力模块被部署用于对距离图进行重新加权以生成针对每个尺度的校准的差异图fsS.如图2所示，得分预测网络具有三个分支，其中每个分支涉及两个11卷积层和空间全局平均池化层。将fs馈送到第s个分支，以生成标度s处的分数，并且对所有标度处的分数进行平均以产生最终分数。在下文中，我们详细说明LocalSW距离和差分图校准。LocalSW距离。给定参考特征fs差分地图校正的空间注意。显然，图像区域对视觉质量的贡献是空间变化的。信息区域的影响更大，在预测最终成绩时应给予更多的重视在基于学习的FR-IQA中，ASNA [3]基于解码器特征计算空间和通道注意力，以改善MOS估计。实际上，局部区域的重要性应该由参考图像来确定，而不是由解码器特征和距离图来确定。因此，我们采用了一个更简单的设计，通过计算基于参考特征的空间注意力，同时将其应用于距离图，以生成和失真特征fs、 一个直接的解决方案是ERER校准的差异图。如图4所示，温泉-元素方式的差异，即，|fss直径 |. 这里|·|去初始注意模块采用参考特征fs大规模注意元素的绝对值。 基于GAN的恢复易于产生空间畸变的结果，并且与参考图像不对准，而元素级差异对于空间不对准不鲁棒s作为输入。 然后，我们使用两个33个卷积层随后是沿着信道维度的全局平均池化和最大池化，以形成特征图Fs。最后，一个1×1卷积层，然后是sigmoid激活Φ（aRef）[1] Φ（aRef）[2]Φ（aRef）[m]pppCppppp的RefppppppC一个分遣队Φ（aDis）[1]pΦ（aDis）[2]pΦ（aDis）[m]5857×WDiff×表1.总结了五个IQA数据库，[2019-04- 27][2019 -04][2019 - 04-05][2019- 05]DMOS与MOS成反比。数据集编号参考 #Dis. #评分类型#评分等级类型评分范围[47]第四十七话29779525kDMOs【0，100】CSIQ [33]3086665kDMOs[0，1][45]第四十五话253,00024524k个MOS[0，9]KADID-10k [35]8110,1252530.4kMOS[1、5]PIPAL [19]250 25，850 401.13mMOS[917，1836年]并且部署局部平均池化以生成空间图像分辨率为288 288.验证集由25幅参考图像和1000幅畸变图像组成。由于PIPAL的测试集是不公开的，我们在本文中报告的评价结果验证集通过在线服务器1。PI- PAL数据集中的失真图像包括传统的失真图像和通过多种类型的图像恢复算法（例如，去噪、超分辨率、去块等）以及基于GAN的恢复模型。值得注意的是H如果PIPAL验证集中的失真类型在加权映射fs∈Rp×p，其中局部平均池化区域的大小被设置为p × p。校准差训练集。未标记数据。我们 采取 一千 图像块然后可以通过使用fs重新加权来获得映射fsDiffsW（288×288），随机来自DIV2K [1]验证集，以逐元素的方式计算距离图fDist的每个通道，而最终得分可以通过将fs馈送到得分预测网络中来预测3.4. 二元分类器二元分类器的网络结构比较简单，由两部分组成。第一部分涉及VGG16中的前12个卷积层（即，3个尺度）。第二部分与FR-IQA模型中的得分预测网络具有相同的结构。4. 实验在本节中，我们首先介绍了实验设置和所提出的方法的实现细节。然后，我们进行消融研究，分析所提出的方法，并比较它与国家的最先进的IQA方法在五个基准数据集。最后，我们评估我们的方法的泛化能力。4.1. 实验设置标记数据。采用了五个IQA数据集在实验中，包括LIVE [47]，CSIQ [33]，TID 2013 [45]，KADID-10 k [35]和PIPAL [19]，其配置如表1所示。 LIVE [47]、CSIQ [33]和TID 2013[45]是三个相对小规模的IQA数据集，其中失真图像仅包含透射失真类型（例如，噪声、下采样、JPEG压缩等）。KADID-10 k [35]进一步将去噪算法的恢复结果合并到失真图像中，从而产生中等大小的IQA数据集。由于在这四个数据集上没有给出训练、验证和测试的明确划分，我们通过以下方式将数据集随机划分为训练集、验证集和测试集：以60%、20%、20%的比率分割参考图像，重新排序。为了减少随机分割造成的偏差，我们运行随机分割十次。 在这四个数据集上，比较结果报告为十次评价实验的平均值。PIPAL [19]是一个大规模的IQA数据集。训练集由200幅参考图像和23，200幅失真图像组成。Flickr2K [56]作为未标记数据中的参考图像。对于畸变图像的获取，我们采用以下三种方式：（i）ESRGAN合成：所有参考图像都被下采样，然后使用50组中间ESRGAN模型进行超分辨恢复后的图像被视为未标记数据中的畸变图像。（ii）DnCNN合成：我们将高斯噪声添加到参考图像中以获得退化图像，使用50组中间DnCNN模型恢复这些图像(iii)KADID-10 k合成：在[35]之后，我们通过随机选择5个失真级别中的2个来向参考图像添加25种退化ESRGAN和DnCNN中间模型的更多细节可以在补充材料中找到。我们注意到ESRGAN和DnCNN在PIPAL的验证集中没有被采用，这保证了PIPAL验证集中的失真类型与我们收集的未标记数据不相交评价标准。对于每个实验装置报告了两个评价标准，即，Spearman秩相关系数（SRCC）用于测量预测精度，Pearson线性相关系数（PLCC）用于测量预测单调性。4.2. 实现细节我们对本文中提出的所有模型使用Adam优化器[29]我们随机裁剪大小为224 224的图像块，并对训练样本执行翻转（水平/垂直）和旋转（90°，180°或270°）以进行数据增强。监督学习。我们用标记数据训练了所提出的FR-IQA模型，总共进行了20，000次迭代。学习速率初始化为1e-4，迭代10,000次后降为1e-5此外，我们根据经验发现，即使进一步增加训练迭代，IQA模型也不会获得任何性能提升。联合半监督和PU学习。 我们使用预训练的IQA模型初始化网络参数，学习率为1e-5，迭代20，000次。的伪MOSy_j用预训练的IQA初始化1https://competitions.codalab.org/competitions/2805058580--表2. PLCC / SRCC性能，对PIPAL [19]和KADID-10 k [35]进行了关于网络结构的消融研究。号民建联SALocalSWPIPALPLCC /SRCCKADID-10kPLCC /SRCC1’’’0.835 /0.8240.899 /0.8892✓’’0.843 /0.8370.908 /0.9053’✓’0.849 /0.8380.927 /0.9194✓✓’0.852 /0.8490.941 /0.9405✓’✓0.861 /0.8570.929/0.9256✓✓✓0.868/0.8680.943/0.944模型超参数p，即，对于PIPAL和传统IQA数据集，局部切片Wasserstein距离（LocalSW）中的区域大小分别设置为8和2。动量参数α设置为0。九十五超参数τ随着迭代而变化，即，对于第t次迭代，τ =max τ t/T0，τmin，其中参数τ0，T0和τmin被设置为0。9，1，000和0。5所示。4.3. 消融研究所有消融实验均在PI- PAL [19]和KADID-10 k [35]上进行，考虑到这两个数据集的畸变类型非常不同。网络结构。我们首先研究我们的三个建筑组件的影响，即，双注意阻滞（DAB）、空间注意（SA）和局部切片Wasser-stein距离（LocalSW）。在表2中，可以看到，在PIPAL数据集上，移除LocalSW导致最大的性能下降，这主要是由于基于GAN的失真图像中的空间未对准所引入的当去除SA模块时，IQA模型为不同的信息内容区域分配相同的权重，导致准确性低。同样，DAB也对最终性能做出了贡献。培训战略。我们对三种不同类型的未标记数据进行了消融实验，ESRGAN合成，DnCNN合成，KADID-10 k合成，并将所提出的JSPL与半监督学习（SSL）进行比较，即，组合标记和未标记的数据，而无需PU学习。从表3中，我们有以下观察结果：（i）首先，与其他两种合成类型相比，使用ESRGAN合成的未标记数据的分布类似地，KADID-10 k数据集与KADID-10 k合成具有相同的失真类型。研究表明，标记数据和未标记数据分布的不一致性是半监督学习的一个关键问题。因此，在随后的实验中，我们选择更接近标记数据的（ii）第二，从SSL和JSPL的六组比较实验中，我们可以看到JSPL的表现优于SSL。这是因为我们的JSPL可以排除负离群值，使la的分布表3.在PIPAL [19]和KAID-10 k [35]上使用SL、SSL或JSPL方式的不同数据集获得PLCC / SRCC结果。方法菩提未标记数据PLCC /SRCCKADID10k未标记数据PLCC /SRCCSL-0.868 /0.868-0.943 /0.944SSLESRGAN合成0.872 /0.870DnCNN合成0.870 /0.868KADID-10 k合成0.867 /0.866ESRGAN合成0.930 /0.932DnCNN合成0.945 /0.944KADID-10 k合成0.959 /0.958JSPLESRGAN合成0.877 /0.874DnCNN合成0.875 /0.872KADID-10 k合成0.873 /0.870ESRGAN合成0.945 /0.948DnCNN合成0.959 /0.957KADID-10 k合成0.963 /0.961表4.PIPAL [19]数据集上IQA方法的性能比较一些结果来自NTIRE 2021 IQA挑战报告[20]。方法类别PLCC SRCC方法类别PLCC SRCC马[41] 0.203 0.201PI [5] NR 0.166 0.169[43] 2019 - 04 - 23峰值信噪比0.292 0.255SSIM [58] 0.398 0.340LPIPS-亚历克斯[73] 0.646 0.628LPIPS-VGG [73] 0.647 0.591PieAPP [46] 0.697 0.706[6] 2016年12月31日[13]2016年12月26日[19] 0.668 0.661[23] 0.775 0.776DeepQA [2] 0.795 0.785ASNA [3] 0.831 0.824[50] 0.867 0.866[21] 2016 - 05 - 01 00：00：00[9] 2016年12月31日VIF [48]VSNR [7] 0.375 0.321国际货币基金组织[70][33] 2019年02月08日NQM [11] 0.416 0.346UQI [57]国际金融公司[49] FR 0.677 0.594[36] 0.469 0.418RFSIM [71] 0.304[69] 0.654 0.566[72] 0.561 0.467FSIMc [72]MS-SSIM [61]我们的（SL）FR 0.868 0.868我们的（JSPL）0.877 0.874beled数据和积极的未标记的数据更一致，而SSL是不利的影响，这些离群值。4.4. 与现有技术的4.4.1PIPAL数据集如表4所示，我们比较了18个传统的评价指标和12个基于CNN的FR-IQA模型与两种不同学习策略下的提议模型，即，监督学习（SL）和JSPL。与传统的评价指标相比，基于CNN的FR-IQA模型更符合人的主观质量评分。尽管在PIPAL数据集上进行了再训练，但开创性的 基 于 CNN 的 FR-IQA 模 型 的 性 能 ， 例 如 ，[13][14][15][16][17][18][19]虽然SWDN [18]设计了一个逐像素对齐模块来解决基于GAN的失真中的未对齐问题，但相应的特征提取网络并不足以有效地实现令人满意的结果。相比之下，考虑到基于GAN的失真的性质和特征提取网络的设计，IQT [9]，IQMA [21]和RADN [50]在已发表的文献中在PIPAL上实现了top3性能。由于空间注意力和LocalSW模块，所提出的使用监督学习的方法在PIPAL上获得了比RADN [50虽然我们采用监督学习策略的FR-IQA模型略逊于IQT [9]和IQMA [21]，但提出的JSPL策略通过利用充足的正未标记数据，同时减轻不利的5859表5. LIVE [47]、CSIQ [33]、TID 2013 [45]和KADID-10 k [35]数据库的性能评价。方法类别生活CSIQTID2013KADID-10kSRCC PLCC SRCC PLCC SRCC PLCC SRCC PLCC[42]第四十二话0.939 0.935 0.746 0.829 0.604 0.694--[第16话]0.940 0.944 0.835 0.874 0.680 0.753--科尔尼亚[66]0.947 0.950 0.678 0.776 0.678 0.768 0.541 0.580M3 [65]0.951 0.950 0.795 0.839 0.689 0.771--HOSA [64]0.946 0.947 0.741 0.823 0.735 0.815 0.609 0.653[26]第二十六话0.956 0.953------[27]第二十七话0.961 0.962 0.815 0.823 0.717 0.762--DIGaM-NR [6]0.960 0.972--0.835 0.855--[6]第六话0.954 0.963--0.761 0.787--ResNet-ft [28]0.950 0.954 0.876 0.905 0.712 0.756--[28]第二十八话0.963 0.964 0.812 0.791 0.800 0.802--美国有线电视新闻网[74]0.968 0.971 0.946 0.959 0.816 0.865 0.501 0.569CaHDC [62]0.965 0.964 0.903 0.914 0.862 0.878--HyperIQA [54]0.962 0.966 0.923 0.942 0.729 0.775--PSNR0.873 0.865 0.810 0.819 0.687 0.677 0.676 0.675SSIM [58]0.948 0.937 0.865 0.852 0.727 0.777 0.724 0.717MS-SSIM [61]0.951 0.940 0.906 0.889 0.786 0.830 0.826 0.820VSI [70]0.952 0.948 0.942 0.928 0.897 0.900 0.879 0.877FSIMc [72]0.965 0.961 0.931 0.919 0.851 0.877 0.854 0.850MAD [33]0.967 0.968 0.947 0.950 0.781 0.827 0.799 0.799VIF [48] FR0.964 0.960 0.911 0.913 0.677 0.771 0.679 0.687DeepSim [15]0.974 0.968--0.846 0.872--DIQaM-FR [6]0.966 0.977--0.859 0.880--WaDIQaM-FR0.970 0.980--0.940 0.946--[第13话]0.955 0.955 0.946 0.946 0.830 0.855 0.887 0.886PieAPP [46]0.918 0.909 0.890 0.873 0.670 0.749 0.836 0.836LPIPS [73]0.932 0.934 0.903 0.927 0.670 0.749 0.843 0.839Ours（SL）FR0.970 0.978 0.965 0.968 0.924 0.912 0.944 0.943我们的（JSPL）0.980 0.983 0.977 0.970 0.940 0.949 0.961 0.963outliers的影响4.4.2对传统数据集我们的方法有两种学习方式，SL和JSPL与其他四个跨平台IQA数据集（包括LIVE [47]、CSIQ [33]、TID2013 [45]和KAID-10 k [35]）上的竞争对手进行了比较。从表5中我们可以观察到，与NR-IQA模型相比，FR-IQA模型实现了更高的性能，因为原始质量参考图像 为 质 量 评 估 提 供 了 更 准 确 的 参 考 信 息 。 虽 然WaDIQaM-FR [6]在TID 2013数据集上的SRCC度量方面与我们的方法实现了几乎相同的性能，但在LIVE和PIPAL数据集上不如我们的方法，表明其有限的泛化能力。在所有测试集上，所提出的FR-IQA模型