工程科学与技术，国际期刊30（2022）101039完整文章一种基于统计纹理和结构特征J. Rajevenceltha，Vilas H.盖德哈内·阿电气和电子工程系APP人工智能研究中心，Birla技术与科学学院，Pilani，迪拜校区，迪拜阿联酋迪拜阿提奇莱因福奥文章历史记录：2021年1月12日收到2021年7月6日修订2021年7月13日接受在线预订2021年8月2日保留字：无参考图像质量评估纹理信息结构信息质量预测相关性平均意见得分支持向量回归A B S T R A C T本文提出了一种具有旋转不变性和计算效率高的无参考图像质量评价模型（NR-IQA）。它基于与图像相关的纹理和结构信息来估计图像质量。人类视觉系统（HVS）使用诸如纹理和结构的感知特征作为理解视觉场景和图像内容的主要信息。此外，纹理和结构信息捕获由于图像中的失真而导致的自然度损失。因此，在这项工作中，重要的纹理特征提取使用本地二进制模式（LBP）。修改的LBP，也称为超平滑LBP（H-LBP）和H-LBP的拉普拉斯算子此外，图像质量预测模型基于纹理和结构信息的统计特征测量来计算图像在所提出的在LIVE和TID 2013数据库上进行了各种实验，以测试所提出的NR-IQA模型的有效性。性能指标，如斯皮尔曼秩序相关系数，皮尔逊线性相关系数，均方根误差的计算显示所提出的方法的效率。实验结果表明，预测的质量分数和人类的视觉感知之间的高度相关性。它也被发现是竞争性的性能最佳的全参考和无参考IQA模型。©2021 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍在过去的几年里，医学成像[1]、电子商务[2]、数字摄影[3]、遥感[4]和卫星成像[5]都取得了巨大的进步。这种演变导致了采集系统的发展，如智能手机，数码相机和各种其他视觉系统。因此，最近的采集设备使用户能够捕获、存储和传输高分辨率图像。然而，实时图像由于模糊、运动伪影、环境干扰等而遭受降级[6，7]。因此，测量图像的质量是重要的，并且仍然是研究者的挑战在过去的十年中，人们一直在努力开发一种图像质量评估（IQA）模型，该模型可以准确地评估和预测与人类判断相当的图像质量[8这些模型为最终用户提供了高质量的体验。*通讯作者。电子邮件地址：vilasgd612@gmail.com（V.H.Gaidhane）。由Karabuk大学负责进行同行审查一般来说，IQA可以分为两类。第一种方法是主观的方法，它是高度准确的，是基于人类的判断。然而，这些方法是耗时的，并且依赖于人的感知[12]。第二种方法是以数学概念为基础的客观方法.这些模型自动预测与人类感知相关的图像质量。可以使用三种不同的方法进一步进行客观IQA：完全参考（FR）、减少参考（RR）和无参考（NR）[8FR和RR-IQA方法使用参考图像或参考图像的重要特征来计算测试图像的质量分数在文献中，已经提出了各种FR和RR-IQA技术，例如PSNR[13]、SSIM[8]、MSSIM[8]、FSIM[14]和VIF[15]然而，这些方法并不适用于实时应用。这是因为参考图像不能在所有成像条件下实时可用因此，大多数研究都是在无参考（NR）技术上进行的，通常称为盲IQA模型。这些方法不需要关于参考图像的任何先验信息来评估测试图像的质量在本文中，NR-IQA模型是基于两个概念设计的https://doi.org/10.1016/j.jestch.2021.07.0022215-0986/©2021 Karabuk University.出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestchJ. Rajevenceltha和V.H. 盖丹工程科学与技术，国际期刊30（2022）1010392×例如自然场景统计（NSS）和人类视觉系统（HVS）。在NSS方法中，特征被假设为是统计规则的。它被认为是随着扭曲的水平而变化[16]。相反，基于HVS的模型使用感知特征来模仿基于人类视觉生理学的视觉内容[17]。在本文中，HVS为基础的方法，使用的感知功能，模仿视觉内容被认为是。从图像中提取纹理和结构信息等视觉特征。它也是计算的，因为基于特征的方法比图像中的整个像素更重要[16然而，特征仅包含关于图像的关键信息，丢弃了冗余和不适当的成分。此外，从提取的特征的据观察，所提出的方法是计算效率高的，因为所使用的提取的特征质量预测的维度较低。在所提出的NR-IQA模型中，使用局部二进制模式（LBP）来获得纹理信息，并进一步修改以提取结构信息[19]。据观察，LBP特征是旋转不变的，并描述了中心像素和周围像素之间的关系。虽然LBP已用于NR-IQA模型中提取特征，但IQA模型因此，已作出努力，以修改LBP方法，并开发一个有效的NR-IQA模型，可以准确地预测图像质量。所提出的NR-IQA模型具有以下重要贡献。根据HVS，纹理和结构特征被认为是观察视觉场景或图像内容时的主要信息。基于实验，观察到纹理和结构信息对于良好质量和失真的图像是变化的。纹理信息的感知特征提取使用本地二进制模式（LBP）描述符。同样，使用局部二值模式的超平滑（H-LBP）和H-LBP的拉普拉斯算子（LH-LBP）来有效地获得结构特征。所提取的特征的统计分量其次，利用机器学习算法模拟了HVS在质量预测中的工作.支持向量回归（SVR）是获得最终感知的首选方法，因为它计算效率高且复杂性低[16，17，20，21]。基于所进行的实验，可以观察到，所提出的模型的性能与文献中提出的其他最先进的FR和NR-IQA模型具有竞争力。此外，观察到预测的质量分数接近人类意见分数或判断。该方法具有较高的预测精度、较低的特征维数、较低的计算复杂度和计算时间。本文的其余部分组织如下：第2概述了现有的方法。在第3中提出了所提出的无参考图像质量评估模型。第4总结了所有实验和结果，第5传达了得出的结论。2. 现有方法在本节中，将讨论使用NSS和HVS功能Moorthy和Bovik[22]提出了一种基于图像完整性和真实性评价的IQA模型DIIVINE。该模型利用小波系数对统计信息进行映射，实现失真识别和质量预测。然而，它是失真特定的，需要许多功能，使其不太有价值的实时应用程序。因此，为了克服这个问题，Saad et al.[23]提出了一个新的战略--基于互补的方法称为盲图像注释，使用称为BLINDS-II的离散余弦变换（DCT）。该模型使用DCT系数来测量噪声分布的变化，并使用简单的贝叶斯推理方法进行质量预测。Mittal等人[16]提出了一种称为盲/无参考图像空间质量评估器（BRISQUE）的方法。它是基于NSS特征的无变换模型，NSS特征使用减去平均值的归一化对比度系数来拟合广义高斯分布（GGD）。的功能，如形状，沿水平，垂直和对角线方向的方差已被计算使用3 - 3窗口大小的所有图像。 使用SVR模型进行质量预测。与其他先前的基于NSS的NR-IQA方法相比，该方法提供了良好的结果。然而，BRISQUE方法需要更多的特征和复杂的计算来进行质量预测。此外，Ye和Doermann[24]提出了一种监督模型，使用基于码本表示（CBIQ）的稀疏性方法来解决相同的问题。在此，Gabor特征是从图像中导出的，以形成基于稀疏的码本。唐等人[25]提出了一种基于学习的盲图像质量度量（LBIQ）。该方法使用回归算法来量化基于模糊/噪声统计和自然图像统计的噪声。这些基于稀疏性的方法需要用于码本生成的高计算。此外，Gaidhane等人。[26]提出了一种基于光谱半径的度量，使用多项式系数和光谱半径来测量图像的清晰度。然而，设置确定数量的多项式系数是一项艰巨的任务。为了克服这个问题，Rajevenceltha和Gaidhane提出了一种改进的基于熵的焦点测量[27]。测量熵值的对数计算以获得图像的质量除了NSS功能外，HVS功能也是首选，图像质量分析Liu等人。[18]提出了一种使用梯度，方向和相对梯度的基于感知特征的模型，它计算三种不同贴图的方差，如图像梯度、图像方向和沿X和Y方向的图像相对梯度。在OG-IQA模型中，六个特征被认为是AdaBoost神经网络（NN）模型的质量预测的输入。OG-IQA是一个无变换模型，表现出与最佳性能IQA模型相当的性能。此外，图像梯度、幅度和高斯拉普拉斯算子（GMPs）等感知特征也用于定义IQA模型[17]。空间特征和基于自由能原理的特征（NFERM）的组合相对显示出有希望的结果[28]。NR-IQA模型，测量结构退化（BSD），也在文献中提出[29]。Li等人[20]提出了一种使用结构和亮度特征（NRSL）的方法在该模型中，使用局部二进制模式（LBP）提取结构特征同样，归一化亮度特征提取使用SVR模型预测图像的质量近年来，许多深度学习方法被用来执行IQA。Kang等人[30]提出了一个基于深度学习的IQA模型。采用基于卷积神经网络（CNN）的盲IQA模型，该模型使用这种方法表现出与最先进的NR- IQA模型相比的类似地，深度学习方法（DeepSim）使用通过深度神经网络（DNN）获得的特征之间的局部相似性来比较测试和参考图像[31]。它被进一步汇集在一起以获得质量分数。Bosse等人[32]提出了一种使用端到端网络的DNN方法它由十个卷积层和五个池化层组成这种方法比其他IQA模型更深入J. Rajevenceltha和V.H. 盖丹工程科学与技术，国际期刊30（2022）1010393ð ÞX. ~ðÞ×¼ðÞðÞðÞX.~~ 1CIffi;tu;v-Icu;vffi;t;Þc;Σ已经提出了另一种多任务端到端（MEON）方法。它使用DNN并执行两项任务，例如失真识别和质量预测[10]。此外，Yan et al.[33]提出了一种基于DNN的NR-IQA模型，用于NSS特征预测和质量分数预测。它的执行，以提高表示和泛化能力。所有提出的模型，使用DNN表现出高性能相比，~Iu;vIu;vsU-P1;V-12u;v¼0使得U-1;V-12Iu;v1u;v¼0ð1Þ其他IQA模型。然而，训练深度神经网络对研究人员来说仍然是一个挑战。因此，比神经网络需要更少训练时间的SVR是优选的在这项工作中。所有这些方法都显示出令人印象深刻的结果。然而，已经观察到主观和预测质量评分（客观评分）之间存在差距由于存在不同的图像内容和不同类型的失真，一个好的NR-IQA模型仍然是研究人员的挑战。性能最好的NR-IQA模型，如DIIVINE[22]和BLINDS-II[23]，在实时条件下无法执行。此外，这些方法在计算上更复杂。像CBIQ[24]和LBIQ[25]这样的基于码本的学习方法需要码本生成和更高维度的特征，从而导致更高的计算时间。虽然GMCs[17]提供了有希望的结果，但当在多个失真图像上进行测试时，其性能会恶化。在文献中，NRSL[20]和BSD[29]方法显示出竞争性结果。然而，这些方法遭受更高的计算复杂度的诅咒。可以注意到，由于缺乏参考图像、存在不同类型的失真以及不同的图像内容，开发NR-IQA模型是具有挑战性的。因此，已经尝试开发一种无变换NR-IQA模型，该模型高度准确，对噪声和变化敏感，复杂性较低，并且与传统的NQA模型相比计算效率高。3.1.1. 纹理特征提取通常，自然图像是高度结构化的，并且像素之间存在很强的依赖性。因此，纹理fea- tures计算通过捕获之间的关系的中心，ter像素和周围的像素。HVS使用纹理和图案作为感知特征来理解图像内容。局部二进制模式（LBP）是一种捕获纹理特征的方法。Ojala等人提出了基于二进制描述符的局部模式的概念。[19]。纹理特征提取的过程是在归一化图像~Iu;v. 从文献中可以观察到，纹理图案的程度随着图像中的噪声水平而变化。这说明纹理特征易受图像中存在的噪声变化的影响[20]。因此，可以使用纹理模式来分析图像的细节和与之相关联的噪声考虑规格化图像~I<$u;v<$，尺寸为U×V，让I c<$u;v<$表示规格化图像中的单个中心像素。通常，中心像素~ I c u ; v的邻域3×3、8×8或16×16像素被认为是周围像素。 然而，在这项工作中，一个3 3窗口大小与半径ffi 1被认为是sidered计算的局部二进制描述符的中心像素~Icu;v。中心像素和周围像素之间的差现有的其他方法。. ~~中国（1）如果~我uvP~Iuv3. 拟议的NR-IQA方法众所周知，图像结构是可用于图像理解和感知的主要视觉信息的来源[34]。HVS也对图像中的不同纹理和图案敏感[35]。还可以注意到，图像结构、纹理和图案在确定图像质量方面起着至关重要的作用[20]。在深入研究和分析的基础上，提出了一种该方法包括两个重要步骤：特征提取和图像质量预测。图1示出了所提出的IQA模型的特征提取和质量预测过程。进行了性能分析，以说明与现有的FR和NR-IQA模型相比，该模型的效率。实验和结果在第4节中讨论。在下面的小节中讨论了特征提取和质量预测中涉及的重要步骤3.1. 特征提取提出的NR-IQA模型是基于纹理提取和结构信息。为了开发一个好的NR-IQA模型，这是高效的，变换自由，和较低的复杂性，采用基于特征的方法。特征提取过程的第一步是灰度归一化。将灰度级从（0-255）重新调整为（0-1）。这是一个预处理步骤，使进一步的计算更容易的图像。经过预处理后，从正常图像中提取纹理和结构信息形象化。给定大小为U×V的采集图像Iu; v，归一化图像~Iu;v可以表示为：0;否则其中，C·t表示半径为ffi 1/21的像素之间的差，变量t表示像素的索引。t的范围是16t6N，其中N是周围像素的数量，这里是N1/48。例如，如果ffi = 1，并且t = 1，则它表示周围的像素=1ffi;t=u;v=u=1;1 ffi;t=u;v= u。 It考虑具有固定半径的N个其它像素中的具有索引1的像素值。计算中心像素~Icu;v与周围像素之间的差，以给出LBP描述符。LBP使用等式中的差值计算来计算。并且与基于中心像素的二进制描述符相乘，并且给出为NLBPI~;ffiu;vCIffi;tu;v-Icu;v2-3t1/2图像中的局部二进制模式可以使用等式（1）计算。（3）[19]。该方法将图像~I的所有像素替换为相应的局部二值描述子，得到LBP映射。可以使用如图2所示的示例来说明。对于LBP方法的说明，已经考虑了来自LIVE数据库的图像。LIVE数据库包含203个参考文献和779个失真图像。图像受到5种类型的失真，例如JPEG 2000（JP2K），JPEG压缩，高斯白噪声（NOISE），由于快速衰落瑞利信道模拟（FF）和高斯模糊（BLUR）造成的噪声[36]。它还包括相应的平均意见得分（MOS），这是用来评估开发的IQA模型的性能。 图2（b）示出了图像的纹理特征图（LBP）。从图2（b）可以看出，LBP方法提供了更多的纹理特征，I~¼;Þð2ÞJ. Rajevenceltha和V.H. 盖丹工程科学与技术，国际期刊30（2022）1010394N×HYffi;t;c;Þ0;否则ð ÞFig. 1. 拟议方法框图。图二、特征提取图（a）原始图像，（b）局部二值模式（LBP）图像，（c）超平滑LBP（H-LBP）图像，（d）H-LBP的拉普拉斯算子（LH-LBP）图像。并且结构信息不被突出显示。这是因为LBP对噪声敏感，并且它仅计算中心像素和周围像素之间的差异。然而，它无法区分图像中的不同局部区域[37]。LBP通过仅考虑中心和周围像素之间的差异来计算不同局部区域的相似值。因此，需要修改LBP，获得图像中更精确的结构特征关于过渡、边缘和高强度区域的信息它是在等式中表示的归一化图像上计算的。（一）.使用修改的LBP模式提取结构特征，该模式包括具有不同阈值条件中定义的锐阈值条件，LBP计算由优化的阈值W代替。它是通过对来自Eq.（二）、X. ~~3.1.2. 结构特征提取W¼t1/2CIffi;tu;v-Icu;vð4Þ结构信息是传达图像的视觉场景和图像内容的主要感知特征。基于阈值计算每个窗口大小3 3的超平滑函数。改进的LBP方法用于捕获结构信息。在自然图像中。在该方法中，使用中心像素和周围像素来提取X. ~Iuv~我uv.X;如果1 6W6N-15使用被称为超平滑LBP（H-LBP）的修改的LBP方法来此外，还计算了超平滑局部二值模式（LH-LBP）的拉普拉斯算子这里，提取H-LBP图以提供在这项工作中，修改后的对数函数被用作超平滑函数，以捕获图像中的所有主要特征以及与之相关的噪声因此，修改的超平滑函数X可以计算为：-¼J. Rajevenceltha和V.H. 盖丹工程科学与技术，国际期刊30（2022）1010395¼XX.ðÞ¼ðÞNð·Þð Þ ð Þ ð ÞðÞ×¼2t~Iu;vJ.pf4L.Σ日志X¼@U-1V -1R10B1vua~Iffi;tu;v~Icu;v1Cð6Þ在图像的每个灰度级中像素出现的次数。直方图可以定义为：用不同的a值进行了实验范围在0到10之间。在这项工作中，相应地选择值a4，使得在H-LBP图中由方程式（3）硬阈值计算-的LBP映射计算。然而，在H-LBP中，HhistmkJu;v;m;m2½0;M]9u<$0v<$0哪里基于中心像素和周围像素之间的差来定义三个不同的阈值。基于等式kx;y1;x¼y0;否则ð10Þ（5）Eq.在等式（6）中，所提出的H-LBP图可如下计算：由方程式（9）J表示大小为U×V的特征图（LBP，H-LBP，LH-LBP）。HLB值P~I;ffii=0;v=08>PN>：0;如果W¼0XHY2t-1;如果 16W6N- 10;否则ð7Þ作为Hhistm。由方程式（10），如果像素值Ju;v等于灰度值m，则kx;y计算灰度值m图像等于灰度值m。它保持从06m6M变化的灰度级m的值，其中M表示灰度级的数量（0-255）。图4描绘了直方图H-LBP图提取如图所示。 2（c）. 从图2（c）中可以观察到，与LBP方法相比，更精确地这种清晰的视觉内容在测量图像质量方面起着至关重要的作用。H-LBP是使用超平滑二值模式对归一化图像中的所有像素获得的。然而，可观察到H-LBP图含有冗余像素。因此，计算称为LH-LBP的H-LBP映射的二阶导数这也有助于提高IQA模型的准确性LH-LBP捕获不连续性，因为它保留并突出不连续区域。这有助于有效地捕捉图像强度的变化LH-LBP图中的像素的拉普拉斯算子被给出为LHLBP~I;ffiiu;v=1/2XHLBP;ffiu;v=-N·HLBPcu;v=8从三个映射LBP、H-LBP和LH-LBP导出，用于图3所示的良好质量和失真图像。从图4中可以观察到，LBP、H-LBP和LH-LBP图的直方图示出了随着图像中噪声的变化而变化的分布在每个灰度级中像素出现的概率Pm被给出为：pm<$PreJu;v n< $m 11由方程式在公式（11）中，Pr计算每个灰度级中像素出现的概率。 从图 4中，可以观察到，由于不同级别的失真和噪声，从图像中提取的纹理和结构信息受到影响。因此，图像的纹理和结构信息被考虑用于计算图像质量。在文献中，统计特征测量，如平均值。如果没有，t1/2由方程式其中，HLBPffi;tu;v表示周围像素的H-LBP度量，并且HLBPcu;v表示周围像素的H-LBP度量。的中心像素。因此，图像中的结构信息使用H-LBP和LH-LBP捕获等式计算公式（7）和（8）图2（d）示出了图像的LH-LBP图。图2（b）-（d）示出了从图像提取的三个不同的映射LBP、H-LBP和LH-LBP。观察到纹理信息在LBP图中示出，并且图像的结构信息在LBP图中示出。方差fr、偏度fd和峰度fj已经习惯了代表直方图的主要属性[16，18，38]。因此，LBP、H-LBP和LH-LBP的这些统计测量是从它们对应的直方图导出的，并且用于图像质量分析。统计测量可以计算为fl¼Xpm·m12MH-LBP和LH-LBP图。另一个实验是为了了解不同类型的扭曲对图像的纹理和结构信息的影响。图 图3示出了具有五个特征的图像的三个特征提取图。fr¼Xpm·m-f213不同类型的失真，如高斯模糊、JPEG、JPEG 2K、白噪声和快速衰落。 从图 3、可以观察到，f¼XpM3m-fl·ð14Þ图像中的失真程度显示出对这三种映射，例如LBP、H-LBP和LH-LBP。所以在这本文研究了LBP、H-LBP和LH-dm。pf3LBP被认为是用于图像的质量预测3.2. 评价参数F ¼XpM4m-fl·Rð15Þ三个映射LBP、H-LBP和LH-LBP的重要特征从对应的直方图计算此外，在文献中，已经进行了广泛的研究，关于直方图的学习过程的意义。据文献报道，直方图是首选，以减少模型的计算复杂性[20因此，在所提出的方法中，采用基于直方图的特征提取技术。直方图计算统计特征测量Eq. (12–15) are computed for LBP, 因此，统计特征的总数4对于每个图像计算值12，其中值3和4分别表示特征图（LBP、H-LBP和LH-LBP）和这些统计特征度量可用于预测图像的质量。因此，在本文中，12个特征被认为是图像质量预测模型的输入。t1/2M2ffi;tM.ΣJ. Rajevenceltha和V.H. 盖丹工程科学与技术，国际期刊30（2022）1010396图3.第三章。具有不同类型失真的图像的特征提取图（a）原始图像，（b）快速衰落，（c）高斯模糊，（d）JPEG 2000，（e）JPEG和（f）白噪声。3.3. 图像质量预测从文献中可以观察到，机器学习算法，如支持向量机（SVR）[16，17，19，20]，神经网络（NN）[10，28]，卷积神经网络（CNN）预测.经过详细的研究和分析，SVR模型是首选在这项工作中，由于较低的复杂性和较高的识别能力，与其他模型相比。它是一种监督学习算法，使用分离超平面来学习输入训练数据集中的模式[39]。[30-让x1; y1 . xn; yn随机森林回归[35]主要用于图像质量，其中xi是从J. Rajevenceltha和V.H. 盖丹工程科学与技术，国际期刊30（2022）1010397282fgK=x;x=exp-kxi-xkk图四、原始图像和五种失真类型（a）LBP图，（b）H-LBP，（c）LH-LBP的直方图比较直方图Hhist和yi对应于数据库中给出的平均意见得分（MOS）。然后，成本函数可以被给出为Eq. （十六）、成本参数r被认为是0，>0，因此SVR模型可以表示为SVR模型。使用核函数处理特征和质量分数之间的非线性关系。径向基函数（RBF）可以用来获得更准确的结果。RBF的核函数如下：1T€“XM最少2w wwXM^#ð19Þw;b;f;^f受1/11/1我K.2r2mwTxib-yi62f 17yi-wTxi-b62^f18其中f;^fP0;i1;2;.. . nn表示数据集中图像的数量。此外，在Eq。其中，w表示权重，b是偏置项，Ck是成本参数r，2是指定小于或等于裕度的最大误差，并且fk是松弛变量。输入要素使用以下方法映射到质量分数其中，xi是提取的统计特征测量，xk是计算的。最后的支持向量，r是RBF分布的方差。因此，Eq.（17）Eq.（18）可以修改为wTKxi;xkb-yi62f20yi-wTKxi;xk-b62^f21这种改进的SVR算法被用来预测图像的质量。fifið16ÞJ. Rajevenceltha和V.H. 盖丹工程科学与技术，国际期刊30（2022）1010398. Σ--ð Þ ð Þ4. 实验和结果在本节中，在LIVE和TID 2013数据库上测试了所提出的NR-IQA模型的性能所有的实验都是使用MATLAB R2019 a软件进行的，系统规格为16 GB RAM，Intel（R）Core（TM ）i7-9750CPU @2.6千兆赫。4.1. LIVE数据库第一个实验在LIVE数据库上进行[36]。在这项工作中，进行特征提取，并为每个图像计算三个特征图（LBP，H-LBP，LH-LBP）这一阶段-统计特征测量，例如平均值fl，方差ffr，偏斜，还针对所获得的映射（LBP，H-LBP，LH-LBP）计算了度fd和峰度fj此外，使用SVR模型执行质量预测建议的NR-IQA模型称为LHL-IQA贯穿全文。为了分析LIVE数据库上LHL-IQA的性能，进行了培训、测试和验证。数据集分为75%的训练，15%的验证和10%的测试。表1显示了所提出的模型在验证和测试数据集上的性能分析。LHL-IQA模型使用训练数据集进行训练，并在验证数据集上进行测试，以调整SVR超参数。同样，在测试数据集上测试训练的模型，以评估训练的SVR模型的拟合。此外，为了研究特征的重要性，分析了每个特征图（LBP，H-LBP和LH-LBP）的贡献表2说明了每个特征图对LHL-IQA模型性能的贡献LBP图特征被认为是f1-f4，同样地，从H-LBP和LH提取的特征也被认为是f1LBP分别被认为是f11f14和f21f24。LHL-IQA模型的性能使用每个地图的特征进行评估，以了解特征地图的贡献，在群体中也是如此。从表2可以观察到，特征图LBP和H-LBP单独地和成组地示出显著贡献。然而，LH-LBP图的特征单独地表现不好。这是由于LH-LBP的设计，其中拉普拉斯算子被应用于H-LBP映射。Laplacian滤波器去除图像中的噪声并仅突出显示边缘。这反过来又降低了它区分高质量图像和噪声图像的能力。然而，LH-LBP与LBP和H-LBP映射的结合提高了LHL-IQA模型的整体性能。LH-LBP提供关于图像的附加信息，例如边缘和过渡。这有助于区分不同图像的内容，并为H-LBP图添加更多的结构信息因此，与组合的LBP和H-LBP图相比，它有助于提高性能。因此，在这项工作中考虑了所有三个映射LBP、H-LBP和为了研究LHL-IQA模型的有效性，将其与已有的FR和NR-IQA模型进行了比较。在这个实验中，LIVE数据集被随机分成80%的训练和20%的测试，进行1000次迭代，并考虑1000次迭代的中值。将LHL-IQA应用于LIVE数据集，分析所提出的IQA模型的性能。质量预测模型提供图像的图像质量度量。将预测值与MOS值进行比较，以评估表1LHL-IQA在验证和测试数据集上的性能分析。数据集PLCCSROCCRMSE验证数据集0.98100.97654.9500测试数据集0.97660.97105.2651表2特征映射对LHL-IQA模型性能的贡献特点PLCC SROCC RMSE0.8886 0.8758 10.15400.7920 15.033821至 24岁儿童f1-f4，f11-f140.9420 0.9545 9.5390f1-f4，f21-f240.9223 0.9173 9.8770f11-f14，f21-f240.8467 0.8515 12.4207f1-f4，f11-f14，f21-f240.9720 0.9689 5.4509LHL-IQA模型MOS和预测质量分数的比较如图5所示。通过Spear-man秩序相关系数（SROCC）、Pearson线性相关系数（PLCC）和均方根误差（RMSE）等性能指标对该方法（LHL-IQA）的性能进行了评价。所有这些性能指标都是使用预测得分和MOS计算的，以访问IQA模型的性能。预测得分与MOS之间的较高相关性表明，所开发的模型更准确，更接近人类的根据文献，一个好的IQA模型的预测质量分数应该与MOS具有高相关性和低均方误差[20相关系数（SROCC和PLCC）越接近1，预测的此外，对于性能最好的模型，RMSE的值应该接近0。在这项工作中，将所提出的模型的性能与性能最好的FR-IQA模型（如SSIM[8]和PSNR[13]）进行了比较。此外，还将结果与现有的NR-IQA模型进行了比较，如DIIVINE[23]，BLINDS-II[23]，BRISQUE[16]，CBIQ[24]，BIQA[25][28][29][2在表3中总结了针对所提出的方法以及针对不同噪声条件（诸如JPEG、JP2K、白噪声、快速衰落和高斯模糊）的现有模型的PLCC的比较。此外，计算了所提出方法以及各种现有IQA方法的SROCC，结果总结见表4。从表3和表4可以看出，所提出的模型（LHL-IQA）的PLCC和SROCC表5中列出了拟议模型以及现有方法的RMSE值。从表5中可以看出，对于所提出的模型，RMSE这满足了一个好的IQA模型的条件。因此，LHL-IQA模型表现得更好，图五.比较LIVE数据库中测试图像的MOS和预测质量分数。J. Rajevenceltha和V.H. 盖丹工程科学与技术，国际期刊30（2022）101039表39LIVE数据库上IQA模型的PLCC比较方法JPEGJP2K噪声FF模糊所有PSNR0.96200.99170.97650.96650.95220.9483SSIM0.87650.86800.97300.81360.89370.8932CBIQ0.92020.95360.94120.94150.89810.8971DIIVINE0.95960.94160.97840.95620.92860.8923BRISQUE0.93780.97270.99450.93830.91530.9487BLINDS-II0.95250.96320.96460.95320.92560.9285BIQA0.97210.98440.99310.96540.95510.9456OG-IQA0.94680.98290.99140.98730.91130.9527NFERM0.96700.94100.98100.96300.92000.9400LHL-IQA0.97350.96910.98110.98750.94880.9720表4SROCC比较LIVE数据库上的IQA模型。方法JPEGJP2K噪声FF模糊所有PSNR0.91410.88350.96300.81730.89410.8843SSIM0.90510.89350.96120.96600.96140.9483CBIQ0.92300.96400.95910.92330.88400.7667DIIVINE0.94320.91780.98400.96670.87480.8966BRISQUE0.94280.94410.98800.95150.87660.9388BLINDS-II0.93880.95860.96450.94500.91100.9264BIQA0.95360.95580.98890.96120.94880.9504OG-IQA0.94610.95320.99670.95120.89840.9511NFERM0.98500.94300.99000.89200.93900.9440LHL-IQA0.96880.96250.97510.96250.97560.9689表5LIVE数据库上IQA模型的RMSE比较方法JPEGJP2K噪声FF模糊所有PSNR15.362711.88125.319012.836411.077611.2962SSIM5.98336.10334.53885.39247.72387.4354CBIQ18.55129.11300.533113.69278.732210.1244DIIVINE12.67649.12215.148712.17247.89779.4034BLINDS-II7.92358.18727.652711.74848.13688.7297BRISQUE8.38429.84683.78767.557013.30818.5767BIQA6.76718.33814.35126.718010.82717.4003OG-IQA6.51639.28444.652912.80006.19387.8894LHL-IQA5.68805.59354.13205.31896.52215.4509与现有的其他型号相比。可以注意到，LHL-IQA可以检测与图像相关联的不同类型的噪声。这表明提取的纹理和结构信息提供了区分良好质量和失真图像的主导特征。这些提取的特征很好地补充，使得其提供与人类感知相关的准确质量分数。此外，性能分析进行了使用图中所示的箱形图。 六、箱形图展示了现有算法和LHL-IQA模型在LIVE数据库上进行1000次训练测试迭代的性能对比每个算法的中值矩形的上端和下端分别显示第一四分位数和第三四分位数轻度异常值以虚线显示在矩形的两侧“+”符号表示每个算法中的 从图 6，可以观察到，与现有的IQA模型相比，LHL-IQA模型显示出更好的中值SROCC值。4.2. 不同窗口大小从文献中可以观察到，窗口大小或内核大小在实现所需效率方面起着非常重要的作用[18]。因此，已经进行了实验，以分析所提出的模型的效率的基础上，不同的见图6。LIVE数据库上1000次训练测试迭代的现有和建议模型的SROCC分布的箱形图。窗口大小表6中总结了针对不同窗口大小的所提出的方法的SROCC值。从表6中可以注意到，小窗口尺寸（3× 3）导致更好的J. Rajevenceltha和V.H. 盖丹工程科学与技术，国际期刊30（2022）101039表610. Σ×¼ ×ð Þ ð Þ ð Þ具有不同窗口大小的建议IQA模型的SROCC。MXNJPEG JP2K Noise FF BLUR ALL3× 3 0.9688 0.9625 0.9751 0.9625 0.9756 0.96895× 5 0.9412 0.9532 0.9677 0.9536 0.8915 0.94142019 -05- 26 0.9308 0.9576 0.9632 0.9468 0.8760 0.93482019 -09 - 29 00：00：00 00：0012×12 0.8622 0.9187 0.9430 0.9298 0.8312 0.8969与更大的窗口大小相比，性能更好。这是因为更大的窗口大小捕获的功能以及冗余的数据。4.3. 数据库独立性在本实验中，已在LIVE[36]和TID 2013数据库[40]上评估了所提出方法的数据库独立性。LIVE数据库由982张图像组成;此外，TID2013[40]由3000张测试图像组成，这些图像是从25张高质量参考图像中获得的。在TID 2013中，每个参考图像在五个不同级别上经受24种类型的失真。在该实验中，使用LIVE数据库训练LHL-IQA模型，并在TID 2013数据库上进行测试，使用SROCC、PLCC和RMSE评估所提出模型的性能 ; 结 果 总 结 见 表 7 。 IQA 方 法 ， 如 PSNR[13] ， SSIM[8] ，DIIVINE[22]，BLINDS-II[23]，BRISQUE[16]，BIQA[25]，NFERM[28]，OG-IQA[18]，NRSL[20]，GMITRA[17]，BSD[29]，MEON[10]、DeepSim[31]和LHL-IQA都是在LIVE数据库上训练的。从表7中可以注意到，所有IQA模型在LIVE数据库上都表现出良好的性能。从表7可以看出，基于深度学习的方法DeepSim在LIVE数据库上表现出更好的性能。然而，基于CNN的方法的训练时间较长。因此，在这项工作中，SVR模型是首选的图像质量预测。表7显示，与LIVE数据库相比，TID 2013数据库上IQA模型的性能恶化。这是因为IQA模型是在包含5种失真的LIVE数据库上训练的，相反，TID 2013数据库包含2
我的内容管理
展开
