无参考图像质量评估的基于深度元学习的度量方法

14143MetaIQA：用于无参考图像质量评估的朱汉成a，b，李磊达a，吴金健a，董伟胜a，石光明a，西安电子科技大学人工智能学院b中国矿业大学信息与控制工程学院aldli@xidian.edu.cn，a{jinjian.wu，wsdong}@ mail.xidian.edu.cn，agmshi@xidian.edu.cnzhuhancheng@cumt.edu.cnb摘要最近，人们对利用深度卷积神经网络（DCNN）进行无参考图像质量评估（NR-IQA）越来越感兴趣。尽管取得了显着的成功，但人们普遍认为训练DCNN严重依赖于大量注释数据。然而，IQA是一个典型的小样本问题。因此，大多数现有的基于DCNN的IQA方法基于预先训练的网络进行操作然而，这些预先训练的网络不是为IQA任务设计的，导致在评估不同类型的失真时存在泛化问题。基于这种动机，本文提出了一种基于深度元学习的无参考IQA度量。其基本思想是学习人类在评价具有各种失真的图像质量时所共享的元知识，然后可以很容易地适应未知的失真。具体来说，我们首先收集了一些NR-IQA任务的不同失真。然后采用元学习的方法学习各种失真共享的先验知识。最后，在目标NR-IQA任务上对质量先验模型进行微调，以快速获得质量模型。大量的实验表明，所提出的度量优于国家的最先进的一个很大的幅度。此外，从合成失真中学习的元模型也可以很容易地推广到真实失真，这在IQA度量的现实应用中是非常需要的1. 介绍近年来，社交网络的爆炸性增长产生了大量的图像。数字图像从采集、压缩、存储到传输，在其生命周期的任何阶段都可能发生失真，导致接收到的视觉信息丢失。因此，委员会认为，* 通讯作者：李蕾达非常需要数字图像的可靠质量评估度量来为最终用户挑选高质量图像。S.虽然人因此，需要客观图像质量评估（IQA）[20]来模仿人类来自动评估图像质量，其在图像恢复[6]、图像检索[13]和图像质量监控系统[23]等方面具有广泛的通常，IQA方法可分为三类：全参比IQA（FR-IQA）[17]、简化参比IQA（RR-IQA）[11]和无参比IQA（NR-IQA）[54]，取决于质量评价期间所需的参比信息量。虽然FR-IQA和RR-IQA方法可以实现有希望的性能，但在现实世界的情况下，参考图像通常不可用。因此，NR-IQA方法由于直接对畸变图像进行处理，近年来引起了广泛的关注。同时，参考信息的缺乏也给NR-IQA方法带来了巨大的挑战。早期的NR-IQA方法主要关注特定的失真类型，例如块效应[25]，模糊[24]和振铃效应[29]。 这些方法的前提是图像中只有一种已知类型的失真。由于失真类型通常是未知的预先在现实世界的应用中，越来越多的注意力已在过去的几年中在通用NR-IQA方法中吸引了越来越多的注意力[39，32，56，51，50，12，54，49，10]。这些方法试图通过手工制作[39]或学习[54]特征来表征图像失真的一般规则，并在此基础上建立图像质量预测模型。近年来，深度卷积神经网络（DCNN）[14]在许多计算机视觉任务中取得了巨大成功[4，5]，这也催生了许多基于DCNN的NR-IQA方法[16，2，28]。30、52、58、57]。这些方法取得了显著的效果，14144. . -是的照亮白噪声运动模糊质量优先级知识快速自适应未知的扭曲图1.这是我们动机的一个例证。人类能使用从各种失真（例如，增亮、白噪声和运动模糊），用于快速适应未知失真（例如，由移动相机捕获的图像）。因此，有必要使NR-IQA模型学习这样的质量先验知识，以获得高的泛化性能。比传统的手工制作的基于特征的NR-IQA方法有更好的性能[39，32，56，51，50，12]。主要原因是DCNN包含大量参数，这些参数有助于了解图像数据与人类感知质量之间的复杂关系。同时，从广义上说，训练DCNN需要大量的注释数据。不幸的是，收集大量的图像质量数据来训练基于DCNN的IQA模型是困难的，因为人工注释图像质量是非常昂贵和耗时的。因此，现有带注释的IQA数据库[41，38]的规模通常是有限的，因此直接使用这些数据库训练深度IQA模型很容易导致过度拟合。为了解决这个问题，现有的工作通常求助于预训练的网络模型，其中大的训练数据是可用的，例如。ImageNet图像分类任务[1，44]。虽然这些度量可以在一定程度上缓解过拟合问题，但当面对未知失真的图像时，泛化性能并不令人满意。在我们看来，这主要归因于这样一个事实，即预训练的模型不是为IQA任务设计的，因此它们不能容易地适应新类型的失真。在现实世界的情况下，人类可以很容易地从各种失真的图像中获得质量先验知识，并快速适应未知失真图像的质量评估，如图1所示因此，NR-IQA方法在评价各种失真图像质量时，学习人类共享的先验知识是至关重要的基于这种动机，本文提出了一种基于深度元学习的新型NR-IQA度量，可以使机器学会学习，即能够通过相对少量的训练样本快速学习相关的新任务[45，48]。特别是，亲-提出的方法利用基于多个失真特定NR-IQA任务的双层梯度下降策略来学习元模型。失真特定NR-IQA任务实际上是针对特定失真类型（例如，JPEG或模糊）。与现有方法不同的是，学习后的元模型可以在评估具有各种失真的图像时捕获人类共享的元知识我们工作的贡献总结如下。我们提出了一种基于深度元学习的无参考图像质量度量与现有的IQA度量不同，NR-IQA模型具有很好的泛化能力，能够很好地适应各种失真。我们采用元学习来学习人类在评价图像质量时不同类型失真之间的共享元知识。这是通过使用基于多个失真特定NR-IQA任务的双层梯度优化来实现的。Meta知识充当用于快速适应未知失真的理想预训练模型我们已经做了广泛的实验，五个公共IQA数据库包含合成和authen- tic扭曲。结果表明，该模型在泛化能力和评价精度方面明显优于现有的NR-IQA方法。2. 相关工作2.1. 无参考图像质量评估NR-IQA可以分为失真特定方法[25，24，29，47]和通用方法[39，32，56、51、50、12、54、49、10]。在特定失真方法中，通过提取已知失真类型的特征来评估图像质量。这种度量与人类感知取得了显著的一致性。然而，考虑到实际应用中失真类型通常是未知的，它们的应用范围相当有限[15，9]。因此，通用NR-IQA方法最近受到越来越多的关注[31]。通常，传统的手工制作的基于特征的通用NR-IQA方法可以分为基于自然场景统计（NSS）的度量[8，32，33，39]和基于自然场景统计（NSS）的度量[8，32，33，39]。基于学习的指标[53，54，36]。基于NSS的方法认为自然图像具有一定的统计特性，在不同的畸变下，这些特性会发生变化。Moorthy等人。 [33]提出从离散小波变换（DWT）域提取NSS特征，用于盲图像质量评估。 Saad等人[39]利用离散余弦变换（DCT）的统计特性来估计···14145图像质量。Mittal等人 [32]通过在空间域中提取NSS特征提出了一种通用的NR-IQA度量，并取得了有希望的性能。除了基于NSS的方法之外，还开发了基于学习的方法。提出了码本表示方法[53，54]，通过支持机器回归（SVR）模型预测主观图像质量分数。Zhang等人。 [36]将影响人类视觉系统的语义级特征与图像质量估计的局部特征相结合。近年来，基于深度学习的通用NR-IQA方法已经证明了优于传统方法的预测性能[1，44，55，28，2，30，52，58，57]。深度学习的一个关键问题是它需要大量的标记数据，但IQA是一个典型的小样本问题。在[1]中，Bianco等人在大规模数据库上预训练了一个用于图像分类任务的深度模型，然后对NR-IQA任务进行了微调。Talebi等人 [44]通过预测主观质量意见评分的感知分布提出了一种基于DCNN的模型，并通过在ImageNet数据库上进行预训练来初始化模型参数[22]。Zeng等人。 [55]还在IQA数据库上微调了几种流行的预 训 练 深 度 CNN 模 型 ， 以 学 习 概 率 质 量 表 示（PQR）。这些方法使用从图像分类任务中学习到的深层语义特征作为先验知识来辅助NR-IQA任务的然而，图像分类和质量评估在本质上有很大的不同，这导致了深度NR-IQA模型的泛化问题S.与这些方法相比，在本文中，我们利用元学习[45]来探索NR-IQA任务的更有效的2.2. 深度Meta学习深度元学习是一种知识驱动的机器学习框架，试图解决如何学习的问题[45]。人类可以有效地学习从有限的训练数据中提取新任务，主要依赖于相关任务的先验知识。元学习就是通过模仿人类的这种能力来获取先验知识模型。通常，元学习可以分为三种主要方法：递归神经网络s（RNN）基于内存的方法[40，34]，基于度量的方法[42，43]和基于优化的方法[7，35]。基于RNN记忆的方法使用具有分类器的RNN来存储来自先前任务的经验知识，以用于学习新任务[40，34]。基于度量的方法主要学习将输入空间映射到新嵌入空间的嵌入函数，并利用最近邻或线性分类器进行图像分类[42，43]。基于优化的方法旨在学习模型的初始化参数，该参数可以通过使用少量训练样本微调模型来快速学习新任务[7，35]。虽然这些方法是为图像分类任务中的少量学习而设计的[48]，但基于优化的方法更容易扩展，因为它基于梯度优化而不限制网络结构[7]。受此启发，我们提出了一种基于优化的NR-IQA任务的Meta学习方法，该方法使用许多特定于失真的NR-IQA任务来学习图像中各种失真的共享先验知识。NR-IQA任务需要对图像的感知质量进行定量测量，这使得它比图像分类任务更加复杂和困难因此，我们用更有效的梯度优化来定制深度Meta学习。3. 我们的方法在本节中，我们将详细介绍用于无参考图像质量评估的深度元学习方法。图像失真的多样性导致了深度NR-IQA模型的泛化问题。有鉴于此，我们的方法利用元学习，通过多个失真特定的NR-IQA任务，寻求图像失真的一般规则。也就是说，我们通过许多具有已知失真类型的NR-IQA任务来学习共享质量先验模型，然后针对具有未知失真的NR-IQA任务对其进行微调。我们的方法的总体框架如图2所示，它由两个步骤组成，即，质量先验模型的元训练和未知失真的NR-IQA的微调。在第一步中，我们利用一些特定于失真的NR-IQA任务来建立元训练集，该元训练集进一步分为两个集合：支持集和查询集。然后，采用从支持集到查询集的双层梯度下降方法学习质量先验模型。在第二步中，我们对目标NR-IQA任务的质量先验模型进行微调我 们 的 方 法 被 称 为 基 于 元 学 习 的 图 像 质 量 评 估（MetaIQA）。3.1. 质量先验模型共享质量先验知识之间扭曲 如[31]所述，大多数现有的NR-IQA方法是失真感知的，其对图像失真类型敏感。此外，当前IQA数据库上的可用训练数据不能直接训练有效的深度NR-IQA模型。这限制了训练好的NR-IQA模型在具有不同畸变类型的图像之间的泛化能力因此，我们需要从图像的各种失真中学习一个共享的质量先验知识模型，并使其快速推广到未知的失真。受深度元学习中学习的启发[45]，引入了一种基于优化的方法来从许多NR-IQA任务中学习共享质量先验知识的模型参数对于NR-IQA任务，我们期望学习的模型可以快速推广到具有不可知失真的图像。因此，我们使用两级14146DSL∈{}S√2SQn=1QSτiDDD图2.我们用于无参考图像质量评估的深度元学习方法的概述框架梯度下降法学习这种泛化能力。首先，将每个NR-IQA任务的训练数据分为支持集和查询集。然后，我们使用支持集我们的目的是学习一个共同的原则，或者在人类评价图像质量时在各种失真之间建模。因此，我们获得元训练集计算模型参数和张力的梯度p（τ）Meta={Dτn，Dτn}N一系列的扭曲-用随机梯度下降来更新它们最后，查询集用于验证更新的模型是否被有效地执行。通过这种方式，该模型可以在具有不同失真的NR-IQA任务中学习快速泛化能力。从支持集到查询集的两级梯度下降方法称为两级梯度优化。使用双层梯度优化的元学习。由于基于优化的元学习方法可以很容易地应用于任何使用随机梯度下降的深度网络，我们引入了一个深度回归网络fθ进行NR-IQA测试如图2所示，深度回归网络由卷积层和全连接层组成卷积层来自流行的深度网络，我们采用全局平均池化（GAP）操作来产生完全连接的层。然后，我们添加另一个全连接层来生成深度回归网络的输出特别地，对于输入图像x，我们将其馈送到深度网络中以生成图像y的预测质量得分，具体的NR-IQA任务，其中n和τn是支撑集合和查询集合，N是任务总数。为了在不同的NR-IQA任务之间捕获广义模型，我们从元训练集中随机抽取k个任务作为小批量（1k≤N）。< 对于第i个支持在mini-batch中设置D，可以计算损失由等式2，表示为τi（i 1，2，. . .，k）。由于我们深度回归网络比[7]中的分类网络更复杂，并且有更多的样本可用于训练，我们利用更有效的随机梯度下降（SGD）方法来优化我们的模型。因此，我们首先计算损失函数的一阶梯度Lτi与所有模型参数相关，定义为gθ=<$θLτi（fθ）。（三）然后，我们使用Adam [21]优化器在支持集τi（i =1，2，.，k），其定义为ΣS定义为y=fθ（x;θ），（1）亚当（Lτi′，θ）：θi←θ−αs=1mθ（s），（4）vθ（s）+θ其中θ表示初始化的网络参数。由于我们期望最小化图像x的预测质量分数和地面实况质量分数之间的差异，因此使用平方欧几里德距离作为损失函数，其采用以下形式L=<$fθ（x;θ）−y<$2，（2）其中y表示输入图像x的地面实况质量分数。特定失真图像Gblur JPEG未知失真图像深度回归网络任务使用. . -是的DMOS：66.36 DMOS：32.10DMOS：6.39. . -是的一级SGD微调y之前知识间隙质量优先级模型256二等级SGD512. . -是的质量模型质量先验模型的Meta学习任务1. . -是的任务N针对未知失真进行微调1.303.831.433.771.872.332.872.901.104.30. . -是. . -是. . -是. . -是. . -是. . -是任务-查询集任务支持集141472 2θ（s）其中，α= 1e−8，α是内部学习率。mθ（s）和vθ（s）表示梯度的原始一阶矩和原始二阶矩，其公式为：mθ（s）=µ1mθ（s−1）+（1−µ1）gθ（s），（5）vθ（s）=µ vθ（s−1）+（1−µ）g2，（6）其中mθ（0）= 0，vθ（0）= 0。µ1和µ2分别是mθ（s）和vθ（s）的指数衰减率。 gθ（s）表示14148联系我们QDTRSp（τ）D我i=1iK′2′m′（s）τMetaSQi=1我我S在步骤S（S1，2，...，S）。正如我们前面提到的，我们期望用支持集更新的质量模型可以在查询集上执行得很好。与[7]中计算二阶梯度相反，我们然后第二次计算更新模型参数的一阶梯度，以减少计算量-′我们模型的复杂性模型参数θi为使用Adam优化器更新查询集上的S步Dτi（i = 1，2，.，k），采用以下形式该模型无需学习额外的参数，大大提高了学习效率，增强了模型的泛化F 或 查 询 图 像 x ， 可以通过 捕获质量 模型 y=fθte（x;θte）的输出来获得预测质量s核心y ∈。所提出的MetaIQA的整个过程总结在算法1中。算法1基于元学习的IQA（MetaIQA）ΣS输入：元训练集Dp（τ）={Dτi，Dτi}N，其中亚当（Lτi，θi）：θi←θi−α波夫、（7）+我TRQDi任务支持集和任务查询集，s=1θ（s）N是任务总数，目标NR-IQA具有M个训练图像的任务，查询图像x，学习其中mθ′（s）和vθ′（s）分别是一阶矩和二阶矩梯度矩对于k个任务的小批量，所有任务的梯度被整合以更新最终模型参数，其被定义为1Σk速率β输出：x的预测质量得分y=1：初始化模型参数θ;2：/先验模型的元训练/3：对于迭代= 1，2，. 做θ←θ−βki=1（θ−θi），（8）4：在Meta中对一小批k个任务进行采样;5：对于i = 1，2，...， 凯多其中β是外部学习速率。 通过这种方法，我们6：/第一级计算/′τi7：计算θ D上的Adam（Lτ，θ）;p（τ）8：/第二级计算/DMeta来训练我们的深度回归网络fθ。最后，各种图像失真共享的质量先验模型9：计算Dqi上的θ i = Adam（L τ，θi）;可以通过具有双层梯度优化的元学习来获得。10：结束11：更新θ←θ−β1Σk（θ−θ）;3.2. 针对未知失真进行微调在从一些失真特定的NR-IQA任务中训练出质量先验模型后，我们将此模型作为先验知识，对失真未知的NR-IQA任务进行微调 给定来自目标NR-IQA任务的具有注释质量分数的M个训练图像，我们将第i个图像的预测质量分数和地面实况质量分数表示为yi和yi（i=1，2，.， M），respect i vel y. 我们首先使用平方欧几里德距离作为损失函数，其公式为：12：结束13：/n用于NR-IQA任务的微调/14：在NR-IQA任务上更新θte=Adam（L，θ）; 15：将x输入质量模型fθte;16：reetu rnyyoung.4. 实验4.1. 数据库我们在两种数据库上评估了我们的方法的性能：综合失真的IQA数据库1L=MΣMi=1你好我好2.（九）和真实扭曲的IQA数据库。综合失真的IQA数据库可用于生成元训练集和评估一般的然后，我们利用Adam优化器来更新NR-IQA任务上P步的质量先验模型，它被定义为我们的质量先验模型对不可见失真的量化性能，包括TID 2013 [38]和KADID-10 K [27]。表1列出了每个数据库的信息。真实扭曲的IQA数据库用于验证-Adam（L，θ）： θteΣP←θ −αfp=1mθ（p）vθ（p）+、（10）验证我们的质量先验模型对真实失真图像的泛化性能，包括CID 2013 [46]，LIVE challenge [9]和KonIQ-10 K [26]。CID2013数据库其中αf是微调的学习率。mθ（p）和vθ（p）是梯度的一阶矩和二阶原始矩。最后，可以获得质量模型，用于评估具有未知失真的图像值得注意的是，我们方法的微调过程并不τ在元训练集上迭代采样k个θ14149包含六个子集，总共480个真实失真的图像，由79个不同的数码相机捕获受试者参与了用户研究，以评估图像的质量评分，评分范围为[0，100]，评分越高，质量越高LIVE挑战14150×−−−−表1.关于参考图像数量的综合失真IQA数据库总结（参考文献），失真图像（Dist.），失真类型（Dist.类型）和评分范围。分数越高表示质量越高。数据库参考Dist.Dist. 类型评分范围[第38话]253,00024[0，9]KADID-10K [27]8110,12525[1、5]数据库包含1，162张来自移动相机的真实失真图像，如运动模糊，过曝或欠曝，噪音和JPEG压缩。通过众包实验获得了图像的质量分数，其范围在[0，100]之间，分数越高表示质量越高。最近，在[26]中引入了由10，073个图像组成的相对大规模IQA数据库KonIQ-10 K。每个图像的质量分数是由约120名工作人员的五分评分平均得出的，范围在[1，5]内，分数越高，质量越高。4.2. 实现细节在所提出的模型中，采用流行的网络架构ResNet18[14]作为我们的骨干网络。所有的训练图像被随机裁剪为224 224像素的补丁，用于馈送到所提出的模型。我们使用双层梯度优化来训练我们的模型，内部学习率α为1e−4，外部学习率β为1e−2，基于Pytorch实现[37]。我们将微调学习率αf设置为1e 5。这些学习在每五个时期之后速率下降到0.8的因子，并且总时期是100。对于模型训练和微调，权重衰减为1e5。其他超参数设置如下：小批量大小k为5，指数衰减率μ1为0.9，指数衰减率μ2为0.99，学习步骤S为6，学习步骤P为15。4.3. 评价标准在我们的实验中，Spearman对于N个测试图像，PLCC定义为PLCC和SROCC的范围从-1到1，并且更高的绝对值指示更好的预测性能。4.4. 与最新技术水平的比较综合失真图像的评价。为了验证我们的元模型对未知 失 真 的 泛 化 性 能 ， 我 们 通 过 在 TID 2013 [38]和KADID-10 K [27]数据库上使用Leave-One-Distortion-Out交叉验证，将我们的方法与六种最先进的通用NR-IQA方法进行了比较。在实现中，假设数据库中有N种失真，我们使用（N 1）列车畸变的种类-ing，剩余的一种失真用于性能测试。这些方法是BLIINDS-II[39]，BRISQUE [32]，ILNIQE [56]，CORNIA [54]，HOSA [49][22]《易经》云：“君子之道，焉可诬也？有始有终。为了公平比较，原始作者发布的所有NR-IQA方法的源代码都是在相同的培训-测试策略下进行的表2列出了我们的方法和最先进的NR-IQA方法的测试SROCC值，每种失真类型的最佳结果以粗体标记。可以看出，我们的方法在两个数据库的整体性能（平均结果）上都优于其他方法。对于大多数失真类型（TID2013上24个中的19个和KADID-10 K上25个中的19个），我们的方法可以实现最佳的评估性能。在TID2013数据库中，我们的方法的SROCC值高于0.9结果表明，基于元学习的NR-IQA方法能够有效地学习共享的质量先验模型，并快速适应未知失真类型的NR-IQA任务。泛化性能真实扭曲的图像。为了进一步评估从真实失真的IQA的合成失真中学习的质量先验模型的泛化性能，我们将所提出的方法与五种最先进的基于手工特征的方法和六种最先进的基于深度学习的通用NR-IQA方法进行了比较。五种手工制作的基于特征的NR-IQA方法是BLIINDS- II [39]，BRISQUE [32]，ILNIQE [56]， 科尼亚[54][49]《易经》云：“六道轮回。IQA方法有BIECON [18]、MEON [30]、WaDIQaM-ΣN （s −µ ）（s−µ）[2]，[3]，[4]，[5]，[6]，[7]，[9]，[10]，[11]，[12]，[13]，[14]，[15]，[16]，[17]，[19]，[1PLCC=. ΣNi=1i=1i（si−µsi）2.SIIΣNi=1si（si−µ（i）2、（11）为了与这些方法在CID 2013 [46]、LIVE挑战[9]和KonIQ上报告的结果进行公平比较，其中，si和si表示第i个图像的地面实况和预测质量分数，µsi和µsi表示每个图像的平均值。令di表示第i个测试图像在地面实况和预测质量分数中的等级之间的差，SROCC被定义为6Nd2SROCC= 1i=1i。（十二）N（ N2−1）10K [26]数据库，我们遵循[2，49，52]中相同的实验在CID2013数据库中，六个子集中的四个用于模型训练，其 余两个子集 用于测试。 在LIVE challenge和KonIQ-10 K数据库中，所有图像被随机分为80%的训练样本和20%的测试样本。所有实验进行10次以避免随机性的偏差，并报告PLCC和SROCC的平均结果14151Dist. [39]第一届全国人大常委会副委员长李克强出席会议[32]表2.TID 2013和KADID-10 K数据库上留一失真交叉验证的SROCC值比较AGN0.79840.93560.87600.44650.75820.90800.9473ANC0.84540.81140.81590.10200.46700.87000.9240SCN0.64770.54570.92330.66970.62460.88020.9534MN0.20450.58520.51200.60960.51250.80650.7277HFN0.75900.89650.86850.84020.82850.93140.9518在0.50610.65590.75510.35260.18890.87790.8653QN0.30860.65550.87300.37230.41450.85410.7454GB0.90690.86560.81420.88790.78230.75200.9767DEN0.76420.61430.75000.64750.54360.76800.9383JPEG0.79510.51860.83490.82950.83180.78410.9340TID2013JP2KJGTE0.82210.45090.75920.56040.85780.28270.86110.72820.50970.44940.87060.51910.95860.9297J2TE0.72810.70030.52480.48170.14050.43220.9034NEPN0.12190.3111-0.08050.35710.21630.12300.7238块0.27890.2659-0.13570.23450.37670.40590.3899MS0.09700.18520.18450.17750.06330.45960.4016CTC0.31250.01820.01410.21220.04660.54010.7637CCS0.04800.2142-0.16280.2299-0.13900.56400.8294MGN0.76410.87770.69320.49310.54910.88100.9392CN0.08700.47060.35990.50690.37400.64660.9516LCNI0.44800.82380.82870.71910.50530.68820.9779ICQD0.79530.48830.74870.77570.80360.79650.8597Cha0.54170.74700.67930.69370.66570.79500.9269SSR0.74160.77270.86500.88670.82730.82200.9744平均0.53220.59500.57010.54650.47250.70730.8539GB0.87990.81180.88310.86550.85220.87920.9461LB0.78100.67380.84590.81090.71520.72990.9168MB0.48160.42260.77940.53230.65150.73040.9262CD0.57190.54400.67800.24320.72720.83250.8917CS-0.1392-0.18210.0898-0.00230.04950.42090.7850CQ0.66950.66700.67630.32260.66170.80550.7170CSA10.09060.07060.0266-0.01940.21580.14790.3039CSA20.60170.37460.67710.11970.84080.83580.9310JP2K0.65460.51590.78950.34170.60780.53870.9452JPEG0.41400.78210.80360.55610.58230.52980.9115WN0.62770.70800.77570.35740.67960.89660.9047WNCC0.75670.71820.84090.41830.74450.92470.9303KADID-10K在MN0.54690.7017-0.54250.67410.80820.68240.21880.30600.25350.77570.81420.88410.86730.9247去噪0.45660.22130.85620.22930.24660.76480.8985照亮0.45830.57540.30080.22720.75250.68450.7827变暗0.43910.40500.43630.20600.74360.27150.6219MS0.11190.14410.31500.12150.59070.34750.5555抖动0.62870.67190.44120.71860.39070.77810.9278NEP0.08320.19110.21780.12060.46070.34780.4184像素化0.19560.64770.57700.58680.70210.69980.8090量化0.78120.71350.57140.25920.68110.73450.8770CB-0.02040.06730.00290.09370.38790.16020.5132HS-0.01510.36110.68090.11420.23020.55810.4374CC0.06160.10480.07230.12530.45210.42140.4377平均0.43280.41360.55280.31490.55980.62950.7672在我们的方法中，我们首先将TID 2013和KADID-10 K数据库上图像的主观评分标准化为[0，1]，然后使用生成的NR-IQA任务来训练我们的网络，以获得质量先验模型。最后，我们在CID 2013、LIVE challenge和KonIQ-10 K的训练集上对质量先验模型进行表3总结了三个IQA数据库的测试结果，每个数据库的NR-IQA方法中的最佳结果以粗体显示。我们可以看到，我们的方法在LIVE挑战和KonIQ-10 K数据库上实现了最佳的评估性能。在CID 2013数据库上，我们的方法和NSSADNN取得了可比的结果，这明显优于其他NR-IQA方法。这表明我们的基于元学习的方法能够在评估具有各种合成失真的感知质量图像时捕获人类共享的质量先验模型，然后快速适应具有真实失真的NR-IQA任务。4.5. 质量先验模型的可视化分析在本节中，我们进行了一个可视化实验，以证明我们的质量先验模型的有效性。特别地，我们使用CNN可视化代码1以像素方式显示具有各种失真的梯度图S.我们从TID 2013和KADID-10 K数据库中的特定失真图像中学习质量先验模型，然后在LIVE挑战数据库中随机选择四幅严重失真的图像进行可视化实验。图像以及相应的梯度图如图3所示。可以看出，梯度图可以准确地捕获图像中真实失真的位置，诸如图3（a）中的过曝光、图3（b）中的欠曝光、图3（c）中的运动模糊和图3（d）中的噪声这有力地表明，通过元学习，可以从许多NR-IQA任务中有效地学习图像中各种失真的共享先验1https://github.com/sar-gupta/convisualize nb14152方法CID2013LIVE挑战KonIQ-10K方法CID2013LIVE挑战KonIQ-10K失真图像0.830.810.79梯度图0.77(a)（b）（c）（d）图3. LIVE挑战数据库中某些真实失真图像的梯度图。表3.比较结果（PLCC和SROCC），我们的方法与几个国家的最先进的NR-IQA方法对真正扭曲的IQA数据库（即，CID2013 [46]、LIVE挑战[9]和KonIQ-10 K [26]）。PLCCSROCCPLCCSROCCPLCCSROCCBLIINDS-II [39]0.5650.4870.5070.4630.6150.529BRISQUE [32]0.6480.6150.6450.6070.5370.473[第56话]0.5380.3460.5890.5940.5370.501科尼亚[54]0.6800.6240.6620.6180.7950.780HOSA [49]0.6850.6630.6780.6590.8130.805BIECON [18]0.6200.6060.6130.595//MEON [30]0.7030.7010.6930.688//[2]第二章0.7290.7080.6800.6710.7610.739[3]第三代//0.6010.5700.7100.702[19]第十九话0.7200.7080.7040.703//NSSADNN [52]0.8250.7480.8130.745//MetaIQA0.7840.7660.8350.8020.8870.850表4.消融研究结果（PLCC和SROCC）在自动失真的IQA数据 库 （ 即 ， CID 2013 [46] 、 LIVE 挑 战 [9] 和 KonIQ-10 K[26]）。PLCCSROCCPLCCSROCCPLCCSROCC基线0.7270.7120.8010.7430.8320.816MetaIQA0.7840.7660.8350.8020.8870.8504.6.消融研究为了进一步研究我们的方法的有效性是否来自元学习，我们在这个实验中进行了消融研究。基线方法是首先通过直接使用Adam优化器在特定失真图像上训练我们的网络模型，然后在真实失真图像的训练集（称为基线）上微调模型。值得注意的是，基线方法和我们的方法具有相同数量的网络参数，但通过两种不同的优化方法进行训练表4总结了三个真实失真IQA数据库中所有受试图像的结果从结果中可以看出，我们的MetaIQA方法 在所有数据库上都明显优于基线方法。与基线方法相比，MetaIQA具有更好的泛化性能，可以在不改变网络结构的情况下提高NR-IQA模型的性能。这证明了我们的方法在处理NR-IQA任务中的有效性。0.751 2 3 4 5 6 7 8 9 10S图4.通过SROCC测量的LIVE挑战数据库上的元训练中参数k和S4.7.参数讨论最后，我们进行了实验，以讨论我们的方法的元训练中的两个关键参数即，k控制小批量中NR-IQA任务的数量，S控制每个任务的学习步骤。我们将k和S设置为不同的值，并在图4中显示了LIVE挑战数据库上的SROCC结果。该方法的质量评价性能随着k和S的增加而增加。如果k大于5，我们的方法的SROCC当S从1增加到6时，质量评价的性能显著提高如果S大于6，则SROCC值趋于稳定。因此，我们在所有实验中设置k= 5和S= 65. 结论在本文中，我们建议使用元学习来解决NR-IQA任务的泛化问题。本文提出了一种基于元学习的NR-IQA方法，该方法采用双层梯度优化的方法，从多个NR-IQA任务中学习各种失真的共享先验知识模型，然后在一个失真未知的NR-IQA任务的训练数据上对先验模型进行微调，得到目标质量模型。由于我们的模型可以细化人类评价图像质量时各种类型的失真之间的共享元知识，学习的元模型很容易推广到未知的失真。在5个公共IQA数据库上进行的实验表明，该方法在泛化能力和评价精度方面均优于现有的NR-IQA方法。此外，从合成失真中学习的质量先验模型也可以快速适应真实失真图像的质量评估，这也为实际应用中质量评估模型的设计提供了启发。鸣谢。本工作得到了国家自然科学基金（61771473，61991451和61379143）、江苏省自然科学基金（BK20181354 ） 、 江 苏 省 六 大 人 才 高 峰 高 层 次 人 才（XYDXX-063）。k=1k=4k=2k=5k=3k=6SROCC14153引用[1] S.比安科湖Celona，P. Napoletano，and R. Schettini使用深度学习进行盲图像质量评估。信号图像视频处理。，12（2）：355[2] S. Bosse，D. Maniry，K. Mller，T. Wiegand和W.萨梅克用于无参考和全参考图像质量评估的深度神经网络。IEEE传输图像处理。，27（1）：206[3] S. 诉R. 登迪角Dev、N.Kothari和S.S. 你好使用卷积自动编码器生成图像失真图，并应用于无参考图像质量评估。IEEE信号处理。Lett. ，26（1）：89-93，Jan. 2019.[4] G.丁，W. Chen，S. Zhao，J. Han