图像重定向的学习方法及客观质量评估的研究

3994学习对重定向图像进行杨晨，刘永进清华大学，中国liuyongjin@tsinghua.edu.cn英国卡迪夫大学Yukun. cs.cf.ac.uk摘要将图像调整为不同大小的图像重定向技术通常期望图像重定向结果的客观质量评估（OQA）以自动选择最佳结果。Ex-OQA方法为每个重新定位的图像输出一个绝对分数，并使用这些分数来比较不同的结果。观察到即使是人类子系统也很难对不同源图像的重定向结果给出一致的分数，在本文中，我们提出了一种基于学习的OQA方法，该方法预测具有相同源图像的一组重定向图像的排名。我们表明，这个更易于管理的任务有助于实现更一致的预测人类的喜好，是足够的大多数应用场景。为了计算排名，我们提出了一个简单而有效的机器学习框架，该框架使用通用回归神经网络（GRNN）来建模七个精心设计的OQA指标的组合。然后，我们提出了一个简单的方案，将相对分数从GRNN输出到一个全球排名。我们使用在RetargetMe基准测试中收集的人类偏好数据来训练我们的GRNN模型，并基于RetargetMe中的主观研究来评估我们的方法此外，我们引入了一个进一步的主观基准来评估不同的OQA方法的通用性。实验结果表明，该方法在排序预测方面优于8种有代表性的OQA方法，并且对不同数据集具有更好的泛化能力。1. 介绍图像重定向是指将源图像调整为不同大小的技术，随着显示设备的多样化，图像重定向已成为一种越来越需要的工具虽然已经开发了大量的重定向方法，但仍然不存在对任何图像都有效的单一方法[12，33]。涉及人类判断的主观质量评估通常是时间-*通讯作者(a) 源图像（b）结果1（27） (c)结果2（26）(d)源图像（e）结果3（30） (f)结果4（28）图1. 主观评分仅对相同源图像的重定向结果具有可比性。在每一行中，呈现两个重定向结果，并且它们的分数显示在括号中。RetargetMe基准[25]中提供的这些分数是人们在将此图像与其他图像进行比较时投下的票数分数越高意味着结果越好。虽然（e）和（f）中的两个重定向结果的得分高于（b）和（c）中的得分，但我们不能得出（e）和（f）中的结果优于（b）和（c）中的结果的结论;相反，情况似乎正好相反。消耗和费力，因此在许多情况下不实用如第2节所总结的，尽管最近取得了进展，但现有的客观质量评估（OQA）方法在预测人类偏好方面仍然远远不够理想。因此，一个良好的OQA方法与人类的判断，以及相关的自动选择最佳的重定向结果是必不可少的，并有助于开发新的图像重定向方法。现有的OQA方法为每个重定向结果计算绝对分数，并使用这些分数比较结果。激励本文中提出的工作的一个关键观察即使对于人类受试者，通常也难以对不同来源的重定向结果给出一致的分数一个3995在图1中示出了一个例子，其中（b）和（c）中的两个重定向结果具有较低的主观分数，但是看起来比（e）和（f）中具有较高分数的结果更合理。我们还注意到，在大多数应用场景中，相对质量度量是足够的，例如，对一组重定向结果进行排名。因此，在本文中，我们专注于一个更易于管理的任务，预测一组具有相同源图像的重定向图像的排名，而给定一组重定向的图像，我们提出了一种基于学习的OQA方法，提供了这些图像的排名作为输出。我们的方法使用通用回归神经网络（GRNN）[29]对七个已知OQA指标[12]的组合进行建模，包括显著区域的保留、引入伪影的影响、全局结构的保留、对称性的保留和美学。我们使用在精心设计的RetargetMe基准测试中收集的人类偏好数据来训练这个GRNN模型[25]。众所周知，GRNN模型在训练样本相对较少的情况下有效地工作在测试阶段，GRNN模型将一对重定向图像的特征作为输入，并预测它们的相对质量差异。通过计算一组重定向图像中所有对的相对质量差异，我们提出了一个简单的方案将它们转换为全局排名。本文的主要贡献是：• 我们提出了一个两步OQA方法来预测一组重定向图像中的排名，源图像：（1）在步骤1中，我们引入了一个简单而有效的机器学习框架来预测在一对重定向图像中的相对质量差异;（2）在步骤2中，我们提出了一个简单的方案来将在所有重定向图像中的相对质量差异转换为全局排名。• 我们使用类似于RetargetMe基准[25]的方法进行了一项新的用户研究，具有更好的质量控制。在该用户中获得的新数据集这项研究，以及提出的OQA方法的源代码，将公开提供一个有用的数据集，用于评估不同的OQA方法的通用性大量的实验表明，我们的OQA方法更好地与人类的判断比八个代表性的OQA方法，并具有显着更好的泛化能力。2. 相关工作图像重定向近年来引起了相当大的关注，并且已经实现了许多内容感知方法发展[27]。为了比较不同的重定向算法，提出了几种质量评价方法。这些方法可分为两种类型：主观和客观方法。主观质量评估设计了详细的感知研究，并系统地分析了用户的偏好。RetargetMe [25]是一个成熟的基准测试，包含了相当数量的源图像以及由八种代表性方法产生的重定向结果。RetargetMe中还包括一项全面的比较主观研究这是第一个深入的感知研究与大量的用户图像重定向质量评估。在[16]中提出了一种不同的主观研究，其中用户评价是通过同时双刺激进行连续评价的[1]每次只对一个重定向图像进行评分，而不是成对比较。Castillo et al.[3]使用眼动追踪技术开发了一种图像重定向调查。所有这些主观方法都能提供良好的评价，但它们都是费力和非常耗时的。尽管如此，这些研究为发展客观的质量评估方法提供了有价值的基准。本文提出的方法主要依赖于RetargetMe基准测试，我们进一步进行了扩展的用户研究，以评估泛化能力。客观质量评估（OQA）定义了可以从图像的像素计算的度量。边缘直方图（EH）[18]和颜色布局（CL）[10]是MPEG-7标准[19]中的两个基于图像内容的度量。 它们是处理图像的低级指标 作为一个整体，并基于边缘或颜色分布的相似性来定义图像距离。 双向相似-BDS [28]将图像视为补丁的集合，并计算这些补丁在两个图像之间的双向映射作为度量。双向扭曲（BDW）[26]类似于BDS，但BDW中的映射采用非对称动态时间扭曲，同时最小化扭曲成本并保持补丁顺序。BDS和BDW相对容易计算;然而，它们将每个补丁视为对最终距离同等重要，并且不考虑显著区域或美学观点。因此，他们的结果并不总是与主观排名一致。基于SIFT流（SFlow）[13]和地球移动器Liu等人。[14]提出了一种自顶向下的人类视觉系统简化模型，以在CIE Lab颜色空间中定义基于显着性的图像相似性度量最近，提出了一种纵横比相似性（ARS）度量[33]，它描述了如何通过几何变化将源图像调整为目标图像，并提供了一种基于马尔可夫随机场的有效解决方案。人的判断是重定向的，39967i=1˜˜˜˜˜F（f（v（Ii）），f（v（Ij）））=通常涉及多个因素，几种最先进的方法结合了表征图像重定向质量的不同因素的几个度量[16，17，12]。我们提出的方法受到[12]中工作的启发，该工作精心设计了七个指标，并通过组合它们开发了这七个指标考虑了以下因素：保持显著图像内容、减少局部伪影、保持全局结构、满足美学要求以及保持对称特征。Liang等人[12]利用这七个指标的线性组合，以及从RetargetMe基准中学习的权重。该方法提供了重定向图像的全面表征。然而，线性组合过于简化，并不总是产生一致的预测人类的偏好。在重定向图像It中，每个度量Qi（Is，It）计算[0，1]中的尺度值以反映一个因子中的重定向质量构造目标函数F（Q1，Q2，···，Q7）基于这七个指标，F=WwiQi（1）i=1在[12]中使用F的值在[0，1]中，F的值越小，质量越好。我们认为，在方程的线性形式。（1）过于简化，我们建议通过机器学习从人类偏好中找到F我们的OQA方法不是为每个重定向的图像分配一个绝对值，而是计算一个集合的排名，为了解决这个问题，我们建议使用机器学习-{i}n具有相同源图像的重定向图像以提供必要的灵活性。人工神经网络在图像处理中得到了广泛的应用.通用逼近定理[6]指出，当给定适当的参数时，简单的神经网络可以表示广泛的有用函数。在众多类型的人工神经网络中，RBF网络是一种通用的逼近器，由于其结构简单，训练过程更快，因此是多层感知器的我们在本文中的工作使用了通用回归神经网络（GRNN）[29]，它是一种代表性的RBF网络，即使在多维测量空间中具有稀疏数据也可以获得良好的结果，特别适合我们的问题。由于排名是客观评估图像重定向的主要需求，因此它与学习排名技术有关。这种技术可以根据其损失函数分为三类[8]）、成对（例如，[7]）和列表（例如，[2]）。逐点方法是最早的学习排序技术。他们把每一个实例都分开处理，因此很容易失去群体Is. 我们的方法分两步进行第一步，我们将每个重定向图像Ii∈I i表示为六维向量v（Ii）=（Q1（Is，Ii），Q2（Is，Ii），···，Q6（Is，Ii））（2）附加尺寸Q7（Is，Ii）仅适用于对称图像;详情见第3.3.3为了更好地表征重定向图像，在第3.2节中，我们变换等式中的表示v（Ii）。（2）通过考虑全局流形结构，将特征空间f（v（i））基于特征表示f（v（Ii）），我们构造目标函数F（f（v（Ii）），v（Ij）），其计算任意两个重定向图像Ii和Ij，i j的相对分数。为了在第二步中更好地预测全局排名，我们要求F*具有以下性质：• F（f（v（Ii）），f（v（Ij）>0表示Ii比Ij质量好，反之亦然;排名结构。 成对方法将秩-将问题转化为成对分类或回归，以及• F的值反映 的 程度 相对˜然后部分地保护组结构。列表方法提供了一种更直接的方法来解决排序问题，它更好地保持了组的结构。然而，由于数据被分成组，并且每组需要足够的实例，因此列表方法需要大量的训练数据集。在我们的研究中，由于主观数据相对有限，因此本文更适合使用成对技术3. 两步OQA排序图像重定向的质量取决于多个因素，需要综合指标来衡量它们。在最近的工作中[12]，七个精心设计的指标0的情况。01意味着Ii略好于Ij，并且F（f（v（Ii）），f（v（Ij）= 0。99意味着Ii比Ij好得多。为了找到F的合适的非线性形式，我们使用机器学习方法从人类偏好中学习由于主观数据的可用性有限，我们选择GRNN模型使用成熟的RetargetMe基准中的主观数据来训练F[25]。培训详情见第3.3节。在第二步中，我们通过计算每个Ii的排名值ri，将相对分数转换为全局排名，相对于其他图像：{Q1，Q2，···，Q7}.我们在3.1节中简要总结了这些指标。给定源图像Is和ari=0Ij∈{I i}F（f（v（Ii）），f（v（Ij）（3）质量差异;例如，在一个实施例中，3997Q=（1−SSIM（p，p）），（7）4Σ我Q= 0。5岁以上0的情况。五、然后，使用它们的排序值来获得所有图像的排序。在第3.4节中，我们证明了这个简单的排序方案效果很好。在第4节中，我们证明了我们的两步OQA方法在RetargetMe基准测试（使用留一法交叉验证）和使用新图像数据集的新用户研究（以评估泛化能力）中优于八种代表性OQA方法。使用SSIM度量响应Is和It中的窗口[31]：nt′我i=1并且Q5应用人类感知的模型VDP2 [20]来预测It的总体质量，当与Is比较时：nt′3.1. 七项指标通过仔细分析现有的重定向方法及其结果，Liang etal.[12]提出了决定重定向结果的图像质量的五个关键因素。这些因素及其相关指标总结如下。保护重要区域。这个因素是衡量Q=（1−V DP2（pi，pi）），（8）5100i=1其中nt是It中的像素数，p′是It和pi是以Is为单位的对应像素。美学这个因素是通过计算美学中的两个规则来衡量的[4，15]：三分之一规则T三分之一和视觉平衡Vbal：两个度量Q1和Q2。Q1考虑了源图像I和重定向图像Q6= 0。5T三分之一（Is，It）+0. 5Vbal（Is，It）.（九）图像I测试：Q1= |Ss− St|/max（Ss，St），（4）保持对称。该因子通过累积It中对称区域的所有最小对称距离其中Ss和St分别表示Is和It中的显著区域的面积Q2将内容的变化视为显着区域颜色直方图的变化[21]：1Q7=nsΣrm∈R最小Drn∈Rsym （rm），rn），（10）Q2=1.，2002年55（h′ −h′）2，（5）其中R是由[32]检测到的It中的对称区域的集合，ns是R中的对称区域的数量，Dsym是[12]中定义的对称距离2sri=0时3.2. 特征空间变换其中h′和h′表示归一化的颜色直方图S R分别在源和重定向显著区域中引入伪影的影响。该因子通过双向相似性度量Q3进行测量，该度量考虑了显着性的影响[28]：方程中的六维表示v。（2）地图每个重定向的图像到R6中的一个点。设M是表示R6中所有重定向图像的点的并集。我们观察到M中的流形结构起着重要的作用，质量预测的作用。给定一组样本点P，1ΣSminD（U，V）NsUIsUVIt3maxUIs（SUminVItD（U，V））（六）M和一个带权的图G，G的边在相邻图之间，在P中的点，流形结构可以被表征为1SVminUID（U，V）NtV Its最大值VIt（SVminUIsD（U，V））其中，U和V分别是来自源图像和重定向图像的3×3块，Ns和NT是在Is和It中的补丁，D是两个补丁之间的距离度量，如[28]中所定义的，并且SU和SV是由补丁U和V中包含的所有像素的显著性值的平均值给出的显著性权重。维护全球结构。这个因素是衡量- sured两个指标Q4和Q5.基于Is和It[14]的图像尺度空间中的结构感知像素映射方案，Q4和Q5都评估全局结构相似性通过局部相似性的加权求和从每对像素对应中获得。Q4通过分析两幅图像之间结构信息的退化来考虑两幅图像之间的结构相似性，3998通过P中所有点对之间的测地线距离，其中最短路径的长度近似于G.如果P中所有点对之间的测地线距离更好地表示为F中的欧氏距离，则需要从原始表示空间R6到更规则的特征空间F的变换。在我们的实践中，这种转换可以使3.3节中的回归更有效，特别是在训练样本数量有限的情况下。我们使用子空间学习技术来找到这样的转换。非线性方法如ISOMAP [30]和LLE [24]是有效的，对离群值不敏感;然而，它们不直接处理样本外数据。如果我们使用样本外扩展，它只是近似的，有效性严重依赖于相邻的样本。因此，我们选择邻域保持嵌入3999˜˜˜˜(NPE)[9]，它是有效的，并且在任何地方都有定义（而不仅仅是在训练样本上），因此很适合我们的问题。在我们的应用中，我们在原始空间R6中应用NPE，并且我们用f（v）表示将原始表示v变换到特征空间F之后的特征向量。3.3. 训练GRNN或F3.3.1训练数据集我们使用RetargetMe数据集中的所有37组图像（每组有一个源图像和八个重定向图像）[25] -图像重定向中的一个众所周知的基准-来训练和评估我们的OQA模型。在RetargetMe中，进行了一项基于链接配对比较设计的比较用户研究[5]，以确保平衡投票。为每个重定向图像收集三个完整的集合，以保证统计稳健性。每次向参与者展示两个重定向图像图像原始表示法v（Ii）特征向量f（v（Ii））I1(0.0、0.0、0.12、0.49、0.55、0.34）（-0.02，-0.04，-0.10，0.03，-0.01，0.02）I2(0.09、0.10、0.09、0.63、0.70、0.36）（-0.01，-0.03，-0.08，0.03，0.10，-0.02）I3(0.13、0.03、0.10、0.41、0.54、0.35）（-0.02，0.01，-0.10，0.01，-0.02，-0.04）I4(0.24、0.07、0.11、0.67、0.71、0.36）(-0.0，0.02，-0.06，0.02，0.05，0.04）I5(0.25、0.05、0.10、0.50、0.57、0.38）（-0.01，0.06，-0.09，0.03，0.01，0.01）I6(0.23、0.08、0.12、0.50、0.57、0.37）（-0.01，0.05，-0.09，0.05，0.03，-0.03）I7(0.66、0.48、0.02、0.49、0.51、0.43）（-0.01，0.25，-0.05，0.18，0.43，-0.19）相关分数F（f（v（Ii）），f（v（Ij）I1I2I3I4I5I6I7I10的情况。00的情况。0220的情况。0260的情况。0270的情况。0390的情况。0470的情况。207I2-0。0220的情况。0-0。0040的情况。0040的情况。0170的情况。0250的情况。185I3-0。0260的情况。0040的情况。00的情况。00的情况。0130的情况。0210的情况。181I4-0。027-0。0040的情况。00的情况。00的情况。0130的情况。0200的情况。181I5-0。039-0。017-0。013-0。0130的情况。00的情况。0080的情况。168I6-0。047-0。025-0。021-0。020-0。0080的情况。00的情况。161I7-0。207-0。185-0。181-0。181-0。168-0。1610的情况。0排序值riI1I2I3I4I5I6I7Ri0的情况。3680的情况。2010的情况。1930的情况。1700的情况。0940的情况。040-1。083表1.原始表示v（Ii）、特征向量f（v（Ii））、相关分数F（f（v（Ii）），f（v（Ij）和sev en的排序值图2中的重定向图像m ={I}7。并排，并被要求简单地选择一个他/她喜欢更好。 每个重定向图像出现3次，一个参与者和21个参与者的判断，这意味着重新定位的图像最多获得21×3 = 63票。重定向图像的投票数显示了人类观察者的主观质量。如图1所示，这样的主观评分不能用于有效地比较人类偏好与不同的源图像，但对于具有相同源图像的重定向图像来说工作得相当好。3.3.2Ff或非对称图像我们使用GRNN对F进行建模，因为它具有相对较少的训练样本的近似能力。该模型的输入是两个特征向量f（v（Ii））和f（v（Ij））的级联。我们使用GRNN模型的标准配置，输出层是预测相对分数F（f （v（Ii）），f（v（Ij）））的尺度。GRNN中的扩展参数σ控制径向基函数的影响范围，并在我们的实验中设置为1.4。在训练阶段，对于训练集中的每个组（即，一个源图像和一组重定向的图像，我们把每一对重定向的图像，包括ii=1其中si和sj是重新获得的图像Ii和Ij接收到的主题投票，并且我们使用最大投票数63进行归一化。在Eq.（11）满足以下两个期望的性质：• F<$（f（v（Ii）），f（v（Ii）=0，<$Ii∈<$，• （f（v（Ii）），f（v（Ij）和（f（v（Ij）），f（v（Ii）在训练对中，并且F（f（v（Ii）），f（v（Ij）=−F<$（f（v（Ij）），f（v（Ii），<$Ii，Ij∈<$。3.3.3F'f或对称象在训练集中只有少量的图像是对称的（RetargetMe4000中有6个图像因此，很难为具有对称性的图像训练不同的模型。受迁移学习[22]工作的启发，我们构建了一个简单的复合模型F′，该模型将针对非对称图像训练的模型F与对称特征值的差异相′重定向图像本身。假设n=| Ω|是重定向图像的数量。每个小组都为F（f（v（Ii）），f（v（Ij）=F<$（f（v（Ii）），f（v（Ij）+w（Q7（Ij）−Q7（Ii）），（十二）n2对训练输入。注意，尽管来自用户投票的主观分数可能不会给出普遍可比较的分数，但是相同源图像的相对分数要可靠得多基于这一观察，我们使用输入输出样本（xk，yk）训练GRNN模型，其中xk=（f（v（Ii）），f（v（Ij），s−s其中，Q7是在等式中指定的对称度量并且w>0是使用训练集中的对称图像优化的权重，以最大化平均Kendall相关系数，其在第4节中用于指示客观和主观评估之间的一致程度。 注意，较低的Q7值意味着较好的对称性质量，然后F′（f（v（Ii）），f（v（Ij）>0yk=i j，（11）63意思是我质量比Ij好。4001˜˜˜i=1i=1Σ(a)源图像Is（b）I1（55）（c）I2（42）（d）I3（37）（e）I4（31）（f）I5（22）（g）I6（18）（h）I7（14）图2. RetargetMe基准中的组包括一个源图像Is和八个重定向图像{I1，I2，· · ·，I8}（这里仅示出七个，其构成第3.4节中的全局排名的有效性的说明性示例）。每个人的主观评分重定向结果显示在括号中。在我们的两步OQA模型中，对于每个重定向结果Ii，i= 1，2，...，7，原始表示v（Ii），NPE变换后的特征向量f（v（Ii）），相关分数F（v（Ii）），f（v（Ij）和排名值ri呈现在表1中。3.4. 全球排名请注意，相对分数并不总是提供一个一致的排名，所有重定向图像在一个集合中。要 看到这一点，我们可以很容易地构造一个例子，其中I1优于I2，I2优于I3，I3优于I1。 图2和表1说明了另一个实际例子。 在该示例中，F（f（v（I1）），f（v（I2）= 0。022和F（f（v（I1）），f（v（I3）=0。026，意味着I1比I2和I3好。从0. 022<0. 026，这意味着I2是比我好3然而，F（f（v（I2）），f（v（I3）=−0。004，这意味着I3比I2好，这是一个矛盾。在我们的两步OQA方法中，我们通过将相对分数转换为等式中（三）、我们的排名策略基于排名值是简单而有效的。下面我们展示了它总是在训练集中产生一致的排名。通过替换Eq.（11）到Eq。（3）我们有CSim [14]、Liang在两个实验中进行比较：一个是在RetargetMe基准上的留一交叉验证[25]（第4.1节），另一个是在新用户研究中构建的新数据集上的可推广性评估（第4.2节）。4.1. RetargetMe上的Leave one out交叉验证RetargetMe有37组具有主观偏好分数的图像，每组有一个源图像和八个重定向图像。 这37个群体分为六类：线/边缘（25）、脸/人（15）、纹理（6）、前景对象（18）、几何结构（16）和对称性（6）。这些分类并不排斥，这意味着一个图像可以属于多个类型。为了验证我们的方法的性能，并将其与八种代表性方法进行比较，我们在RetargetMe中应用留一交叉验证（LOOCV）。在每一个褶皱中，ri=ΣIj∈{I i}si−sj63nsi−nsi63（十三）LOOCV，一组用作测试集，其余组用作训练集。经过37次折叠后，每个组都被用作一次测试集。为了估计客观排名与由于值n=| Ω|和nsi对于每个重定向图像i是相同的，基于ri的排名等于基于主观投票si的排名。4. 实验我们在MATLAB中实现了所提出的两步OQA方法，源代码是公开的1。我们将我们的方法与八种代表性的OQA 方 法 进 行 比 较 ： [2018 - 04 - 18][2018 - 04 -19][2018 - 04 - 05][2018 - 04][2018 - 05][1关于支持本文研究结果的数据信息，包括如何访问它们，可以在http://47.89.51.189/liuyj和加的夫大学http://doi.org/10.17035/d.2017.0033306559。参与者τ的值在[-1，1]中，值越大表示一致性越好。结果总结在表2中，分类为：根据六种图像类型进行设置我们还使用所有图像计算平均肯德尔相关系数（表2中的最后一列）。结果表明• 在所有9种方法中，梁• 我们的方法始终产生比[ 12 ]更好的结果，[12 ]使用相同的七个指标。这一结果表明，=4002线/边面孔/人物纹理前景对象几何结构对称所有[第28话]0的情况。0400的情况。1900的情况。0890的情况。167-0。004-0。0120的情况。083[第26话]0的情况。0310的情况。048-0。0090的情况。0600的情况。0040的情况。1190的情况。046[第十八话]0的情况。043-0。076-0。063-0。0790的情况。1030的情况。2980的情况。004CL [10]-0。023-0。181-0。089-0。183-0。0090的情况。214-0。068SFlow [13]0的情况。0970的情况。2520的情况。1610的情况。2180的情况。0850的情况。0710的情况。145CSim [14]0的情况。0910的情况。2710的情况。1880的情况。2580的情况。063-0。0240的情况。151Liang0的情况。3510的情况。2710的情况。3040的情况。3810的情况。4150的情况。5480的情况。399[33]第三十三话0的情况。4630的情况。5190的情况。4440的情况。3300的情况。5050的情况。4640的情况。452我们0的情况。4370的情况。5050的情况。4290的情况。5360的情况。4380的情况。5360的情况。473表2. RetargetMe中37组图像的平均Kendall相关系数。 每种类型的前三个以粗体显示，最佳结果为蓝色。(a) 源图像（b）检查点图像对1（c）检查点图像对2（d）检查点图像对3图3. 三个检查点对。在（b）和（c）中，左侧的重定向图像明显好于右侧。在（d）中，右边的重定向图像明显好于左边的图像。这七个指标过于简化，我们的机器学习框架可以从人类偏好中学习更好的预测器;• 我们的方法在前景物体的图像类型和对称性方面优于ARS [33ARS是在线条/边缘、人脸/人物、纹理的图像类型方面略优于我们的方法，在几何结构方面更好。总的来说，我们的方法略优于ARS。我们的方法使用两个现有的工具：GRNN [29]用于多维空间中稀疏数据的机器学习，NPE [9]用于支持样本外的特征空间变换。为了证明GRNN和NPE的性能，我们将GRNN与RBFN（另一种使用径向基函数的人工神经网络）和SVR（典型的核方法）进行了比较，并将NPE与ISOMAP进行了[30][24][25]表4中的实验结果表明，GRNN和NPE的组合实现了最佳性能。SVRRBFNGRNN没有一0.4380.4210.438LLE0.1100.0770.064ISOMAP0.3280.3690.344NPE0.4560.3880.473表4. RetargetMe基准测试中不同机器学习方法和不同特征空间变换的图像的平均Kendall相关系数（无表示不应用变换）。最佳结果以粗体显示。40034.2. 一个新数据集的可推广性为了评估OQA方法对不同图像数据集的通用性，我们对RetargetMe中选择的26个缺乏主观评分2的新组进行了一项新的用户研究。这26个群体又分为六类：线条/边缘（11）、人脸/人物（5）、纹理（1）、前景物体（15）、几何结构（7）和对称性（4）。RetargetMe [25]中最初的基于网络的用户研究是基于链接配对比较设计[5]。在调查网站中，每次同时显示两个重定向图像和源图像。每个参与者被要求选择质量更好的重定向图像。为了避免不可靠的用户输入，如随机挑选，我们扩展了基于Web的用户研究RetargetMe通过添加检查点输入和时间检查的质量控制。任何在这两个检查中失败的用户输入都将被丢弃。检查点输入是指三个特殊的对retargeted图像与明显的偏好（图3）。在每个用户研究会话中，随机分配这些图像对，其中明显更好的图像在两个场合位于左侧，在一个场合位于右侧根据我们的预备实验，具有高浓度的参与者可以很容易地选择正确的图像，而那些只是随机选择图像的人很可能在至少一个检查点输入失败。时间检查是输入图像对的平均选择时间不应短于3秒的约束2在我的博客里有80个群组。其中只有37人有主观偏好得分。从剩下的组中，我们选择了所有与最初的37组没有实质性相似性的组。4004˜˜ ˜˜线/边面孔/人物纹理前景对象几何结构对称所有Liang0的情况。2500的情况。3810的情况。2140的情况。2950的情况。0820的情况。2320的情况。313[33]第三十三话0的情况。3510的情况。3450的情况。5710的情况。3710的情况。3880的情况。6070的情况。313我们0的情况。3930的情况。5240的情况。7860的情况。4000的情况。3470的情况。3390的情况。407表3.在我们的新数据集中的26组图像的平均Kendall相关系数每种类型的最佳结果显示在大胆点种子在我们的预备实验中，我们发现为每个图像对设置固定的时间限制并不能提供可靠的指示，因为某些情况确实比其他情况更容易然而，平均选择时间在区分可靠和不可靠的用户输入方面是有效的。随机选择图像的参与者仍然可能偶然通过检查点输入测试，但他们的平均选择时间可能比正确输入短得多。我们雇用了232名来自澳大利亚、英国、加拿大、中国和美国的研究实验室的研究生。其中168人通过了所有检查，并收集了他们对26组图像的主观评分。为了评估OQA方法的通用性，我们使用RetargetMe提供的37组图像作为训练集。然后将训练好的模型应用于具有26组新图像的新数据集我们比较了前三种OQA方法（即，Liang结果总结在表3中，表明我们的方法显著优于Liang的方法和ARS，并且具有更好的由于我们的方法基于成对比较获得一组重新定位图像的排名，因此我们进一步测试了仅提供图像子集作为输入时方法的可靠性。在这个测试中，我们仍然使用RetargetMe提供的37组主观评分的图像测试重复8次，每次删除每组中的不同重定向图像。8次测试的结果总结在表5中，表明我们的方法显著优于Liang测试1测试2测试3测试4测试5测试6测试7测试8梁的[ 12 ] 0. 286 0. 355 0. 304 0. 275 0. 3110 282 0. 3740. 319[33]第三十三话0的情况。3300 249 0. 322 0. 363 0. 26003630. 3220. 297我们的0。410 0. 469 0. 399 0. 396 0. 432 0. 363 0. 4470. 381表5. 在我们的新数据集中，使用Liang的方法，ARS和我们的方法对每组中的7个重定向图像进行排名每组有8个重定向的图像，每个图像依次被删除，导致8个测试。每个测试的最佳结果以粗体显示。5. 结论在本文中，我们提出了一个简单而有效的两步OQA方法的基础上，机器学习框架。在[12]中使用六个度量在六维表示中表示重定向图像之后，我们通过应用NPE [9]将这个六维表示转换为更规则的特征空间基于此特征表示，在第一步中，我们通过使用RetargetMe [25]中的主观一致性得分训练GRNN模型来构建客观函数F对于对称图像，在等式（1）中的复合模型F′中进一步引入附加特征Q7（十二）、F和F′都计算每对重定向图像的相对分数。在第二步中，将所有相对分数转换为全局排名。我们的实验表明，我们的方法一致和显着优于8个代表性的OQA方法，并通过RetargetMe中的留一交叉验证测试和新用户研究中的概化测试与用户的主观偏好更好地相关。除了[12]中定义的指标之外，我们基于学习的方法是通用的，并且可以在未来的工作中包括新的指标，如ARS [33]确认本 工 作 得 到 了 国 家 重 点 研 究 发 展 计 划（ 2016YFB1001202 ） 、 国 家 自 然 科 学 基 金（61521002，61432003，61661130156）、TNList基金和英国皇家学会牛顿高级院士（NA150431）的资助。引用[1] 建议，ITURBT和BT。500-11.电视图象质量主观评价方法 国际电联电信。国际电联标准化部门，2002年。 2[2] Z. Cao，T.秦，T.-Y. 刘，M.-F. Tsai和H.李学习排序：从 成 对 法 到 列 表 法 。 第 24 届 国 际 机 器 学 习 会 议（ICML），第129-136页，2007年。3[3] S. Castillo，T. Judd和D.古铁雷斯使用眼动追踪评估不同的图像重定向方法。ACM SIGGRAPH Symposium onAppliedPerceptioninGraphicsandVisualization（APGV），第7-14页。ACM，2011年。2[4] R.达塔D. Joshi，J. Li，and J. Z.王.使用计算方法研究摄影 图 像 中 的 美 学 。 第 九 届 欧 洲 计 算 机 视 觉 会 议（ECCV），第288-301页。Springer-Verlag，2006. 4[5] H. A.大卫配对比较法，第12卷。DTIC文件，1963年。五、七4005[6] K.- L. Du和M.N. 斯瓦米神经网络与统计学习SpringerLondon，2013. 3[7] Y. 弗罗因德河伊耶河E. Schapire和Y.歌手. 一种有效的组 合 偏 好 的 提 升 算 法 。 Journal of Machine LearningResearch，4（Nov）：933-969，2003. 3[8] N.福尔基于概率排序原理的最优多项式检索函数。ACM Trans. Information Systems，7（3）：183-204，1989。3[9] X. He，D. Cai，S. Yan和H.-张杰。邻域保护嵌入。第10届IEEE计算机视觉国际会议（ICCV），第2卷，第1208-1213页五七八[10] E. Kasutani和A.山田MPEG-7彩色布局描述器：一个紧凑的图像特征描述的高速图像/视频段检索。在IEEE图像处理国际会议（ICIP），第1卷，第674- 677页二六七[11] M. G. 肯德尔一种新的秩相关测度Biometrika，30（1/2）：81-93，1938. 6[12] Y.梁玉- J.Liu和D.古铁雷斯图像重定向算法的客观质量预测 IEEE Trans. 目视对比图，23（2）：1099-1110，2017. 一二三四六七八[13] C. 刘，J.Yuen、黄毛菊A.Torralba，J.Sivic和W.T. 弗里曼。筛流：不同场景之间的密集对应。第10届欧洲计算机视觉会议（ECCV），第28二六七[14] Y.-- J. Liu，X.罗，Y.- M. Xuan，W.- F.陈和X L. Fu.图像重定向质量评估。在对比图中。Fo-rum，第30卷，第583-592页，2011年。二四六七[15] Y. Luo和X.唐照片和视频质量评估：专注于主题。第10届欧洲计算机视觉会议（ECCV），第386-399页。Springer-Verlag，2008. 4[16] L.马，W。林角，澳-地Deng和K. N.颜图像重定向质量评估：对主观分数和客观度量的研究。电气与电子工程师学会期刊Top. Signal Processing，6（6）：626- 639，2012. 二、三[17] L.马，W。林角，澳-地Deng和K. N.颜重定位图像的主客观质量评价研究。IEEEInternational Symposium onCircuits and Systems（ISCAS），第2677-2680页，2012年。3[18] B. S. Manjunath，J.- R. Ohm、V.V.Vasudevan和A.呀-马达 。 颜 色 和 纹 理 描 述 符 。 IEEE Trans. Circuits andSystems for Video Technology ， 11 （ 6 ） ： 703-715 ，2001。二六七[19] B. S.曼朱纳特山口Salembier和T.西科拉MPEG-7简介：多媒体内容描述接口，第1卷。John Wiley S