人脸素描：结构共生纹理及其感知质量评估

5612S0RS1S0RS1Scoot：一种人脸素描范登平1、2张胜川4吴宇环1刘云1郑明明1， *任 博1保罗L。松香3RongrongJi4，51南开大学计算机科学院TKLNDST 2英国人工智能研究院Inception Institute of Artificial Intelligence（IIAI）3英国卡迪夫大学4厦门大学信息学院人工智能系5鹏程实验室http://mmcheng.net/scoot/摘要人类视觉系统具有快速评估两个面部草图之间的感知相似性然而，现有的流行的面部素描度量，FSIM和SSIM最初设计用于评估局部图像失真，通常无法解决人脸之间的感知在本文中，我们设计了一个感知方法别人人类滑行人类滑行别人ric，称为结构共生纹理（Scoot），它同时考虑块级空间结构和共生纹理统计。为了测试指标的质量，我们提出了三种新的元措施的基础上各种可靠的属性。大量的实验证明，strate，我们的酷航指标超过了以前的工作的性能。此外，我们建立了第一个大规模（152k判断）基于人类感知的草图数据库，可以评估一个指标与人类感知的一致性。我们的研究结果表明，1. 介绍能够根据参考数据正确评估不同算法输出的质量[80]在计算机视觉和图像处理的所有领域都是至关重要的[5，8，89]。对于各种终端用户应用，例如面部素描[49]、图像风格转换[27]、图像质量评估[66]、显著性检测[11 - 13，90 ]、分割[ 41 - 43 ]和疾病分类[ 73 ]、图像去噪[ 71 ]，比较结果可以是评估“感知距离”，其评估两个图像在某种程度上有多相似与人类的感知高度相关。在本文中，我们研究了人脸素描，并指出人类的判断往往不同于当前的评价指标，作为第一次相关的尝试，我们根据人类的选择为素描提供了一个新的感知距离。*M.M.程（cmm@nankai.edu.cn）为通讯作者。图1：哪个合成草图更类似于中间草图？对于右侧情况，草图0（S0）与草图1（S1）相比更相似。 参考（R）在结构和纹理方面。草图1几乎完全破坏了头发的纹理。广泛使用的（SSIM [66]，FSIM [76]），经典的（IFC [40]，VIF [39]）和最近发布的（GMSD [72]）指标与人类不一致只有我们的Scoot指标与人类一致。原则如[80]中所述，人类对相似性的判断面部草图是由大量的纹理组成的，有很多合成草图的算法，很适合这个问题。然而，设计一个好的感知度量应该考虑到面部素描比较中的人类感知，这应该：• 紧密地匹配人的感知，使得好的草图可以直接用于各种主观应用，例如，执法和娱乐。• 对轻微的失配不敏感（即，重新调整大小、旋转），因为艺术家绘制的真实世界草图并不精确地将每个像素与原始照片匹配。• 能够捕获整体内容，即，优选完整的草图而不是仅包含笔划的草图（即，已经失去了一些面部组件）。据我们所知，没有先验度量可以同时满足所有这些性质例如，在面部草图合成（FSS）中，目标是合成草图与人类主体的参考不可区分，尽管它们的像素表示可能不匹配。让我们来看看图。1在5613号Model YearRR.Ob.号Model YearRR.Ob.1ST[49]03'ICCVVRR2STM[50]04'TCSVTVRR3LLE[31]05'CVPRVRR4BTI[32]07'IJCAIRMSE5E-HMMI[22]08'NCVRRUIQI6EHMM[21]08'TCSVTVRR7MRF[64]08'PAMIVRR8中文（简体）10'NCVRRUIQI9RMRF[86]10'ECCVVRR10SNS-SRE[20]12'TCSVTVRR11MWF[91]12'CVPRVRR12SCDL[60]12'CVPRPSNR13跨[57]13'TNNLSVRR14SFS-SVR[56]13'PRLVRRVIF15调查[58]14'IJCVRMSE、UIQI、SSIM16SSD[45]14'ECCVSVVRR17SFS[83]15'头端VRRFSIM、SSIM18简体中文[CN]15'ICMRESVRR19RFSSS[81]16'头端VRRFSIM、SSIM20KD-Tree[88]16'ECCVVRRVIF、SSIM21MrFSPS[36]16'TNNLSVRRFSIM、VIF、SSIM222DDCM[51]16'头端VRRFSIM、SSIM23RR[59]17'NCVRRVIF、SSIM24贝叶斯[55]17'头端VRRVIF、SSIM25RFSSS[82]17'TCSVTVRRFSIM、SSIM26S-FSPS[35]17'TCSVTVRRFSIM、VIF、SSIM27ArFSPS[29]17'NCVRRFSIM28BFCN[74]17'头端SVVRR29DGFL[92]17'IJCAIVRRSSIM30免费[30]17'IJCVSV31[27]第二十七话17'CVPR32CA-GAN[18]17'CVPRVRRSSIM33ESSFA[14]17'TOG34PS2MAN[52]18'FGVRRFSIM、SSIM35NST[38]17'NPAR36CMSG[77]18'TCSVVRR37RSLCR[53]18'PRVRRSSIM38MRNF[78]18'IJCAIVIF、SSIM39[第84话]18'IJCAIFSIM40FSSN[28]18'PR峰值信噪比，SSIM41[85]18'TNNLSFSIM、SSIM42MRNF[79]18'AAAIVRRVIF、SSIM表1：42个代表性的基于FSS的算法的总结。Sj. 主观度量。 RR. ：承认率。 Ob. ：客观度量。SV =主观投票。ES =实证研究。VRR =各种识别率方法，例如零空间LDA [4]、随机采样LDA [62，63]、双空间LDA [61]、LPP [26]、稀疏表示和分类[68]。请注意，UIQI [65]是SSIM [66]的特殊情况。这里有三个例子。哪一个更接近中间参考？虽然这种比较任务对人类来说似乎微不足道，但迄今为止广泛使用的指标与人类的判断不一致。不仅视觉模式非常高维，而且视觉相似性的概念通常是主观的[80]。我们对面部素描社区的贡献可以总结为三点。首先，如在Sec. 3.提出了一种结构共生纹理（Scoot）感知度量方法，该方法综合考虑了结构和纹理，提供了一种统一的评价方法。第二，如图所示。4.2，基于以上三个可靠性属性，设计了三个元测度。这些元措施的广泛实验验证，我们的酷车指标超过了以前的作品的性能。我们的实验表明，第三，我们探索利用纹理统计的不同方法（例如，Gabor、Sobel和Canny等）。我们发现，简单的纹理特征[16，17]的性能远远优于文献[39，40，66，72，76]中常用的度量基于我们的研究结果，我们构建了第一个大规模的基于人类感知的草图数据库，可以评估一个度量标准与人类感知的一致程度。我们上面提出的三个贡献提供了一个完整的度量基准套件，它提供了一个新颖的观点和实用的工具（例如，度量、元度量和数据库）来从人类感知方向分析数据相似性。2. 相关工作从Tab。1，我们观察到，一些作品利用识别率（Rr.）评估合成草图的质量然而，Rr.不能完全反映合成草图的视觉质量[54]。在FSS领域中，广泛使用的感知度量，SSIM [66]、FSIM [76]和VIF [39]最初设计用于图像质量评估（IQA），旨在评估图像失真，如高斯模糊、jpeg和jpeg 2000压缩。直接将IQA度量引入FSS可能是难以处理的（见图1）。（1）由于工作性质不同。心理物理学[94]和以前的工作，例如线条画[15，23]表明人类对草图相似性的感知取决于两个关键因素，即，图像结构[66]和纹理[54]。然而，这些所谓的“感知特征”有多感性？哪些因素对他们的成功至关重要？这些“感知特征”实际上与人类视觉感知的对应程度如何如Wang等人所注意到的。[54]，目前在FSS中没有可靠的感知度量。我们回顾了在空间限制下与面部素描最相关的主题：基于启发式的度量。FSS中最广泛使用的度量是由Wang等人提出的SSIM。[66]。SSIM计算结构相似性，亮度和对比度比较使用滑动窗口的本地补丁。Sheikh和Bovik [39]提出了通过量化两种信息来评估图像质量的VIF度量。一种是通过人类视觉系统通道获得的，具有输入的地面实况和输出的参考图像信息。另一个是通过失真通道实现的，5614（d）其他事项（e）（f）第（1）款（a）（b）（c）指南大纲添加详细信息Sketch Pix2pix [27] LR [59] Sketch Pix2pix [27] LR [59]浅色中深色图2：提出Scoot指标的动机。（a）铅笔等级及其笔画。(b)使用笔划色调来呈现纹理。使用的笔划纹理从上到下为：“交叉影线”、“点彩”。笔划属性从左到右为：稀疏到稠密。图片来自[67]。(c)艺术家从线条到细节画出了草图。(d)原始草图。(e)量化的草图。(f)通过施加不同的压力（例如，从亮到暗）在铅笔尖上。称为失真信息，并且结果是这两种类型的信息的比率。对人类视觉系统（HVS）的研究发现，人类视觉感知到的特征在不同频率下与傅里因此，Zhanget al.[76]选择相位一致性作为主要特征。然后，他们提出了一种称为FSIM的低级特征相似性度量。最近，Xueet al. [72]设计了一个简单的度量，称为梯度幅度相似性偏差（GMSD），其中逐像素梯度幅度相似性用于获得图像局部质量。计算整体梯度幅度相似性图的标准偏差作为最终图像质量指数。他们的指标实现了国家的最先进的（SOTA）的性能相比，其他metrics。基于学习的度量。除了基于启发式的度量之外，还有许多基于学习的度量[7，19，48]，用于以基于感知的方式比较图像，这些度量已被用于评估图像压缩和性能。许多其他成像任务。我们建议读者参考最近的一项调查[80]，以全面回顾感知指标采用的各种深度特征。本文重点介绍了为什么人脸素描需要一个特定的感知距离度量，不同于或改进以前的基于几何的方法。2.1. 动机我们观察了素描的基本原理，并注意到2.2. 石墨铅笔等级。在欧洲体系中，图2（a）示出了石墨铅笔的等级。素描图像是通过一种有限的媒介（石墨铅笔）来表达的我-画家Sylwia Bomba说：“如果你把手靠近铅笔的末端，你会有更深的再往上抓铅笔会使标记变浅。”此外，经过长期的练习，艺术家会形成他们的固定压力（例如，从指南到图中的细节。2（c））样式。换句话说，笔画的标记可以变化（例如，图中由亮到暗。2（f））通过改变笔尖上的压力。请注意，不同的压力会导致不同类型的标记，这是一个可量化的因素，称为灰色调。灰色调。灰色调的量化应该减少少量噪声的影响和对草图中细微灰色调梯度变化的过度敏感。在灰度相似度的评价过程中引入了灰度量化。受先前工作[6]的启发，我们可以将输入草图I到Nl划分为不同的等级，以减少要考虑的强度的数量：I′= Ω（I）。这种量化的一个典型例子如图2所示2（d，e）。 人类将始终排名Pix2pix高于LR之前（图。2（d））和之后（图2（e））在评估感知相似性时量化输入的草图。尽管量化可能会引入伪影，但我们的实验（第2节）6）还表明，该过程可以降低对微小强度变化的敏感性，并平衡性能和计算复杂性。2.3. 铅笔因为所有的草图都是通过在纸上移动笔尖来生成的，所以笔尖沿着纸的不同路径将创建各种笔划形状。一个例子如图所示。2（b），其中笔划的不同空间分布产生了各种纹理（例如，稀疏或密集）。因此，笔划音调是另一个可量化的因素。笔画音。笔调与灰调不是独立的概念。灰色调是基于不同的5615x为ohSS′¨Ψs′′22s表示笔画色调可以定义为草图图像中灰度的笔画，而笔画色调可以定义为灰度的空间分布一个 例如 是 示在图2（d）中。直观地说，Pix2pix [27]比LR [59]更好，因为Pix2pix保留了头发的纹理（或笔触色调）和面部的细节但是，LR呈现的结果过于平滑，并且丢失了大部分草图样式。3. 该算法本节解释所提出的Scoot度量，其捕获“块级”空间结构中的同现纹理3.1. 共现纹理有了这两个可量化的因素，我们开始描述细节。为了同时提取关于“笔画色调”及其与周围“灰色调”的关系的统计数据先前在纹理方面的工作[25]验证了共生矩阵可以有效地捕获纹理特征，这是由于使用了各种强大的统计数据。由于草图与纹理有很多相似之处，因此我们使用共生矩阵作为我们的灰度色调和笔划色调的ex-map。拖拉机具体地，该矩阵M被定义为：.算法1：结构共现纹理度量输入：合成草图X，地面实况草图Y步骤1：将X和Y量化为Nl个等级步骤2：根据等式2计算矩阵M（X）和M（Y）1步骤3：将整个草图图像划分为k2块的k×k网格步骤4：根据Eq. 3 4从每个块，并将它们连接在一起步骤5：用等式（1）计算四个方向的平均特征。步骤6：根据等式5评估X和Y之间的相似性。6输出： Scoot评分;草图（I′）补片中的灰色调。因此，高能量对应于具有周期性或恒定形式的草图ΣNlΣNlE=（M（i，j）|d）第2（4）条j=1i =13.2. 空间结构为了整体地表示空间结构，我们遵循空间包络策略[9，34]从草图中的“块级”空间结构中提取统计数据首先，我们将整个草图图像划分为一个k×k的网格，每个网格包含k个2块. 我们的实验表明，该方法可以帮助导出内容信息。其次，我们计算所有块的共生矩阵M，并将每个块归一化。ΣH ΣWM（i，j）|D =1，如果I′（x，y）+d=j矩阵，使得其分量之和为1。 然后我们连接P统计（例如， H，C，E）的所有k2块y=1x =10，否则（一）到一个向量→−Φ（I′|d）∈ Rp×k×k.请注意，上述每个统计数据都基于单个其中i和j表示灰度值;d=（∆x，∆y）是到（x，y）的相对距离;x和y是给定量化草图I′中的空间位置;I′表示灰度值方向（例如，90°，即d=（0，1）），因为空间分布的方向对于捕获也是非常重要的关于I'x为oh在位置（x，y）;W和H是宽度和高度如“头发方向”、“阴影方向”等样式欠中风”。 为了有效地的草图I’，分别。为了提取草图中的感知特征，我们测试了三个最广泛使用的统计数据[24]：均匀度（H）、对比度（C）和能量（E）。均匀性反映了纹理在局部区域，如果每个像素的灰度色调提取笔划方向风格时，我们计算T个方向向量的平均特征→-（I′），以捕获更多方向信息：→−1ΣT →−pair相似。均匀性定义为：Ψ（Is）=Ti=1 Φ（Is|d i）、（5）ΣNlΣNlH=M（i，j）|D、（二）其中di表示第i个方向，并且→−Ψ（I′）∈ Rp×k×k。1个以上|i − j|j=1i =1对比度表示I’中的像素与其相邻像素在整个草图上的总和之间的差异这反映了低对比度草图的特征不是低灰色调，而是低空间频率。对比度与空间频率高度相关对于恒定色调草图，对比度等于0ΣNlΣNl3.3. Scoot公制在获得参考草图Y和合成草图X的感知特征向量后，需要一个函数来评估它们的相似性。我们已经测试了各种形式的函数，例如欧几里德距离或指数函数等，但是已经发现简单的欧几里德距离是简单且有效的函数，并且在我们的实验中效果最好因此，所提出的感知相似性Scoot度量可以被定义为：C=j=1i =1|2M（i，j）|d（3）|d(3)Es=¨→−1′→−¨。（六）′¨能量测量纹理均匀性。当只有类似像素的灰色调出现在草图（I′）块中，M中的一些元素将接近于1，而其他元素将接近于0。如果只有一个，能量将达到最大值1 +<$（Xs）−<$（Ys）<$其中表示l-范数。X′，Y ′2分别为量化的XS，YS。E s= 1表示相同样式的=i和I5616(a) 照片（b）参考（c）差异（d）缩小（e）参考（f）重新调整尺寸（g）Pix2pix（h）LR图3：元指标1：轻微调整尺寸的稳定性。(a)参考（b）R-参考（c）Pix 2 pix（d）MWF图4：元措施2：旋转灵敏度。4. 实验4.1. 实现细节空间结构k的大小以Sec. 3.2设置为4以实现最佳性能。等式（1）中的量化参数Nl（6）设置为6个等级。我们已经证明了p= 2（例如，C在Eq. 3与Eq.中的E组合。4）实现最佳性能（参见第2节）。（六）。 由于共生矩阵M（i，j）的对称性，4个方向上的统计特征实际上等同于1个距离处的8个相邻方向。根据经验，我们设置T= 4个方向di∈ {（0，1），（−1，1），（−1，0），（−1，−1）}来实现鲁棒性能。4.2. Meta测度如[33]中所述，设计指标时最具挑战性的任务之一是证明其性能。遵循[37]，我们使用元测量方法，这是一种评估指标的测量方法。受[9，10，33]的启发，我们进一步提出了三个元措施的基础上描述的3个1.一、元措施1：轻微调整尺寸的稳定性。第一个元测量（MM1）规定，综合草图的排名不应随着参考草图的轻微变化而发生太大 因此，我们执行一个mi-或5像素缩小的参考使用最近邻插值。图3给出了示例。艺术家在（b）中所画的头发有轻微的与照片（a）相比，尺寸差异。我们观察到大约5个像素的偏差（图1）。3（c）在边界上是共同的。虽然两个草图（e）（f）几乎相同，但广泛使用的度量，例如SSIM [66]，VIF [39]和GMSD [72]在使用（e）或（f）作为参考时切换了两个合成草图（g，h）的排名。然而，所提出的Scoot度量一致地将（g）排名高于（h）。(a) 参考（b）合成（c）光图5：元措施3：内容捕获能力。对于这个元度量，我们应用θ= 1−ρ[2]度量来测试在执行参考缩减θ的值落在范围[0，2]中。选项卡. 2显示了结果：结果越低，度量对轻微缩小规模越稳定。在CUFS和CUFSF数据库中，我们可以看到与现有SSIM、FSIM、GMSD和VIF指标相比有显著（≈77%和83%）的改进。这些改善主要包括：因为所提出的度量考虑元措施2：旋转灵敏度。在现实世界的场景中，艺术家绘制的草图与原始照片相比也可能有轻微的旋转。因此，所提出的第二元测量（MM2）验证了参考旋转对于评估度量的敏感性。我们对每个参考文献进行了轻微的逆时针旋转（5o）。图4示出了示例。当参考（a）切换到稍微旋转的参考（b）时，排名结果应该不会有太大变化。在MM 2中，我们通过分别应用参考草图和轻微旋转的参考草图（R-Reference）来获得每个度量的排名结果。我们使用与元测量1相同的测量（θ）来评估旋转灵敏度。灵敏度结果见表1。二、值得注意的是，MM2和MM1是在第2节中描述的预期属性的两个方面四点二。我们的指标再次显着- cantly优于当前指标的CUFS和CUFSF数据库。元措施3：内容捕获能力。第三个元测量（MM3）描述了一个好的度量应该为由SOTA算法生成的完整草图分配比仅保留不完整笔划的任何草图更高的分数图五是举一个例子。我们期望度量应该更喜欢SOTA合成结果（b）而不是5617CUFS[64]RCUFSCUFSF[87]公司简介梅蒂奇MM1↓MM2↓MM3↑Jud↑MM1↓MM2↓MM3↑Jud↑调整大小旋转内容判断调整大小旋转内容判断广泛使用的经典国际金融公司[40]0.2560.1891.20%百分之二十六点九0.0890.1123.07%百分之二十五点四SSIM [66]0.1620.08681.4%百分之三十七点三0.0730.07497.4%百分之三十六点八FSIM [76]0.2680.123百分之十四点二百分之五十0.1510.058百分之三十二点四百分之三十七点五VIF [39]0.3220.23643.5%百分之四十四点一0.1110.15022.2%52.8%GMSD [72]0.4170.210百分之二十一点九百分之四十二点六0.2590.13263.6%58.6%酷航（我们的）0.0370.02595.9%百分之七十六点三0.0120.00897.5%78.8%基于纹理的[3]0.0860.078百分之三十三点七百分之二十七点八0.1380.1460.00%的百分比0.10%索贝尔[44]0.0400.0370.00%的百分比百分之三十二点八0.0480.0440.00%的百分比百分之五十二点六GLRLM [17]0.1110.11118.6%百分之七十三点七0.1250.07964.6%68.0%加博尔[16]0.0620.0550.00%的百分比72.2%0.0890.043百分之十九点三80.9%酷航（我们的）0.0370.02595.9%百分之七十六点三0.0120.00897.5%78.8%特征组合HEC0.0340.02495.9%百分之七十六点三0.0110.00897.4%78.7%H0.0070.005百分之六十一点五百分之七十七点五0.0030.00379.1%77.8%E0.2000.104百分之九十八点五73.1%0.0440.02699.2%77.4%C0.0100.00754.4%百分之七十四点六0.0090.006百分之六十四点七百分之七十三点四HC0.0110.007百分之六十点一百分之七十四点六0.0070.005百分之七十八点一百分之七十三点七他0.1560.08897.9%百分之七十五点七0.0300.017百分之九十八点八80.3%CE（酷航）0.0370.02595.9%百分之七十六点三0.0120.00897.5%78.8%表2：基于经典和替代纹理/边缘的度量的基准测试结果。最佳结果以粗体突出显示，并且这些差异在α0处均具有统计学显著性<。05级。 ↑表示分数越高，度量表现越好，反之亦然（↓）。轻笔划1结果（c）。对于MM3，我们计算10个SOTA[27，31，45，53，55，59，64，75，91，92]人脸的平均得分草图合成算法平均分数对于特定模型生成较差结果的情况是鲁棒的。我们记录了SOTA合成算法的平均得分高于轻中风得分的次数对于图中所示的情况。5、目前广泛使用的度量（SSIM、FSIM、VIF）都偏向于轻草图。只有提出的Scoot度量给出了正确的顺序。在像素级匹配方面，明显的是，去除了暗笔划的区域与（a）中的对应部分不同。但是在其他位置，像素与参考相同。先前的度量仅考虑然而，合成素描（b）在风格和对比方面都优于轻5618素描（c）。帐篷从Tab。2，我们观察到一个很大的（≥14%）的改善比其他指标在CUFS数据库。稍微改善一下-并对CUFSF数据库进行了扩展。5. 拟议数据集继Zhanget al. [80]，我们建立了一个人脸素描感知相似性判断数据集，使用21为了测试第三个元度量，我们使用一个简单的灰度阈值（例如，170)分离草图（图）5参考）到较暗的笔画较&轻的笔画。具有较轻笔画的图像丢失了面部的主要纹理特征（例如，头发、眼睛、胡须），从而导致不完整的草图。替代强迫选择（2AFC）策略。这些判断是从一个广泛的空间的扭曲和真正的算法合成。因为合成草图评估指标的真实测试是在真实的问题和真实的算法上，所以我们使用这样的输出来收集感知判断。5.1. 收集各种版本的面部素描源图像。实际算法的数据更加有限，因为每个合成模型都有其独特的属性。为了获得更多的失真数据，我们收集了338对（CUFS）和944对（CUFSF）的测试集图像作为源图像，遵循[53]的分割方案。扭曲类型。为了提供由不同的合成算法产生的更多样化的失真类型，我们采用了一组多样化的合成方法[27，31，45，53，54，55]。55、59、64、75、91、92]。如图6、我们介绍了10种失真类型，如亮度偏移、前景噪声、偏移、线性扭曲、结构损伤、对比度变化、模糊、分量丢失、重影和棋盘状伪影。5.2. 相似性评估数据选择。21名观众，他们被预先训练了50对排名，被要求基于两个标准对合成草图结果进行排名：纹理相似性和内容相似性。为了最大限度地减少人类排名的模糊性，我们遵循投票策略[54]通过以下阶段进行本实验（152K判断）：5619线性扭曲亮度偏移噪声结构损伤偏移对比度变化模糊分量丢失重影棋盘图6：我们的扭曲 这些失真由各种实数合成算法产生[27，31，45，53，55，59，64，75，91，92]。• 我们让第一组观众（7个主题）为每张照片选择这4张草图应该包括两个好的和两个坏的。因此，我们分别留下了1352（4× 338）和3776（4× 944）个CUFS和CUFSF草图。• 对于每张照片中所选择的四个草图，进一步要求第二组观看者（七个人）选择他们可以容易地对其进行排名的三个草图。根据观众的投票结果，我们选出了3个最常被选中的草图。• 过于相似的草图会使观众难以判断哪个草图更好，可能会导致他们做出随机决定。为了避免这种随机选择，我们要求最后一组观众（7人）选出最明显的一对草图。2AFC相似性判断[80]。对于每个图像，我们有一个由艺术家绘制的参考草图r和两个扭曲s0，s1。我们询问观看者哪个更接近参考s，并提供相似度值q∈ {0，1}。 每个图像的平均判断时间约为2秒。请注意，我们有5名志愿者参与整个过程，用于交叉检查排名。比如说对于s〇≥4个观看者偏好并且对于s1≤1，最终排名将是s〇> s1q= 1。都是三胞胎明显的多数将被保留，而其它三个一组被丢弃。最后，我们建立了两个新的人类排名2数据集：RCUFS和RCUFSF。请参阅我们的网站完整的数据集.5.3. 人类判断在这里，我们评估如何以及我们的酷航和其他com-economics指标。RCUFS和RCUFSF分别包含338和944个判断的三胞胎。为了增加固有噪声过程，我们计算度量与每个三元组的一致性，并采用数据集之间的平均统计数据作为最终性能。经典指标和我们的酷航表现如何？选项卡. 2示出了各种经典度量的性能（例如，IFC、SSIM、FSIM、VIF和GMSD）。有趣的是，这些度量在大约相同的低水平上执行（例如，≤59%）。主要原因是这些指标没有2这两个数据集分别包括1014张（3×338个三元组）和2832张（3×944个三元组）人类排序的图像。最近的工作[46，69]表明，数据集的规模是重要的。据我们所知，这是FSS中第一个大规模公开的人类判断数据集。最初设计用于FSS中常见的像素失配。然而，建议的Scoot度量显示出比RCUFS中的最佳先验度量有显著（26.3%）的改进。这种改进是由于我们考虑了人类感知在评估草图时，应考虑两个基本因素6. 讨论哪些因素对他们的成功至关重要？ 节中3.1，我们考虑了3个广泛使用的统计数据：均匀性（H）、对比度（C）和能量（E）。要达到最佳性能，需要探索最佳组合这些统计特征。我们已经应用了我们的三个Meta测量以及人类的判断，以测试的性能，曼斯的酷航度量使用每个单一的功能，每个功能对和所有三个功能的组合。结果见表。二、所有可能性（H、E、C、CE、HE、CH、HEC）在Jud（人类判断）中表现良好。H和C对重定尺寸（MM1）和旋转（MM2）不敏感，而它们不擅长内容捕获（MM3）。E与H和C相反。因此，使用单个特征并不好。两种特征结合的结果表明，H与E结合后，在一定程度上克服了E的弱点，但对重定径和旋转的敏感性仍较高。与“CE“特征的组合相比，H+E+C的性能没有显示出改进文献[1]中的工作也发现能量和对比度是区分纹理图案的最有效特征因此，我们选择这些“感知特征”实际上与人类视觉感知的对应程度如何？作为在第二节中描述。3.1，草图相当接近纹理。还有许多其他基于纹理边缘的特征（例如GLRLM [17]，Gabor [16]，Canny [3]，Sobel [44]）。在这里，我们选择最广泛使用的功能作为候选替代品-以取代我们的对于GLRLM，我们选择了原始版本中提到的所有五个统计量。结果如Tab所示。二、Gabor和GLRLM是纹理特征，而另外两个是基于边缘的。所有的纹理特征（GLRLM，Gabor）和所提出的Scoot度量提供了良好的（例如，≥68%）与人类分级（Jud）一致在所有的纹理特征中，所提出的方法满足ric提供了与人类排名（Jud）一致的高平均性能。根据MM1 2 3，GLRLM表现良好。Gabor在MM1方面是合理的&5620（一）0.140.120.100.080.060.040.0201 2 4 8 16 3264(b)1008060402001 2 4 8 16 32 64(c)0.140.120.100.080.060.040.020网格比例尺（d）一百人8060402002 4 6 8 16 32 64 128 2562 4 6 8 16 32 64 128 256量化图7：空间结构（上）和量化（下）的灵敏度实验。对于MM1 MM2，越低越好。对于MM3 MM4，越高越好。2，但不擅长MM3。对于基于边缘的特征，根据所有元 度 量 ， Canny 失 败 。 Sobel 对 于 轻 微 的 尺 寸 调 整（MM1）或旋转（MM2）非常稳定，但无法捕获内容物（MM3），并且与人类判断（Jud）不一致。有趣的是，Canny、Sobel和Gabor对不完整笔画的评分高于SOTA算法生成的草图。换句话说，该方法完全颠倒了所有测试案例就总体结果而言，我们得出结论，我们的对空间结构的敏感性是什么？为了分析空间结构的效果，我们推导出七种变体，每种变体都用不同大小的网格划分草图即，k被设置为1、2、4、...、64。图7（b）中的MM 3- 4的结果示出k= l实现最佳性能。然而，这个版本的缺点是它只覆盖-创建“图像级”统计信息，忽略草图的结构。也就是说，由任意排列组成的草图也可以获得高分。MM1的实验在Fig.图7（a）清楚地表明k = 4实现了CUFS数据集的最佳性能。基于两个实验，k= 4获得最鲁棒的性能。什么是量化灵敏度？为了确定哪个量化参数NI（基线：NI={ 2，4，6，8，16，32，64，128}）产生我们执行的最佳性能进一步的敏感性测试。 从图7（c）（d），我们观察到将输入草图量化到32个灰度级实现了极好的结果。 然而，对于MM3的实验，&MM4的性能最差。考虑到整体实验，Nl= 6实现了更稳健的结果。7. 结论在这项工作中，我们探讨了人类的感知问题，例如，人的选择和metrics的区别是什么用于分析上述问题的工具是面部素描。我们提供了一个特定的度量，称为酷（结构同现纹理），捕捉人类的感知，灰，并分析了所提出的三个元措施。最后，我们建立了第一个基于人类感知的草图数据库，可以评估一个指标与人类感知的一致程度。我们系统地评估不同的基于纹理/基于边缘的功能，我们的酷航架构，并比较它们与经典的指标。我们的研究结果表明，在未来，我们将继续开发和应用酷航，以进一步推动研究的前沿，例如用于评价背景减除[93]。致谢。本研究得到国家自然科学基金（61572264，61620106008，61802324，61772443）的资助。国 家 青 年 人 才 支 持 计 划 、 天 津 市 自 然 科 学 基 金（17JCJQJC 43700、18ZXZNGX 00110）。CUFSF_MM2CUFSF_MM1CUFS_MM1CUFS_MM2CUFS_MMCUFS_MMCUFSF_MM3CUFSF_MM434CUFS_MM3CUFS_MM4CUFSF_MM3CUFSF_MM4稳定性CUFS_MM1CUFS_MM2CUFSF_MM1CUFSF_MM2稳定性业绩（%）业绩（%）5621引用[1] Andrea Baraldi和Flavio Parmiggiani灰度共生矩阵统计参数对纹理特征的影响。IEEE T Geosci. remote。，33（2）：293[2] DJ Best和De Roberts算法AS 89：斯皮尔曼ρ的上尾概率J R STAT SOC C-APPL，24（3）：377[3] 约翰·坎尼。 边缘检测的计算方法。IEEE TPAMI，8：679[4] Li-Fen Chen，Hong-Yuan Mark Liao，Ming-Tat Ko，Ja-Chen Lin，and Gwo-Jong Yu.提出了一种新的基于LDA的 人 脸 识 别 系 统 ， 解 决 了 小 样 本 问 题 。 PatternRecognition，33（10）：1713[5] Ming-Ming Cheng ， Yun Liu ， Wen-Yan Lin ， ZimingZhang，Paul L Rosin，and Philip HS Torr. BING：用于以300fps进行对象估计的Computational Visual Media，5（1）：3[6] 大卫·A·克劳西。作为灰度级量化函数的共生纹理统计分析可以的. J远程。Sens. ，28（1）：45[7] Alexey Dosovitskiy和Thomas Brox基于深度网络生成具有感知相似性度量的图像。在NIPS，第658-666页[8] Mohamed Elhoseiny ， Yizhe Zhu ， Han Zhang ， andAhmed Elgammal.将头部与“喙”连接起来：零拍摄学习从嘈杂的文本描述在部分精度。在IEEE CVPR，2017年。[9] Deng-Ping Fan，Ming-Ming Cheng，Yun Liu，Tao Li，and Ali Borji.结构-措施：一种评价前地图的新方法。在IEEE ICCV，第4548-4557页[10] Deng-Ping Fan ， Cheng Gong ， Yang Cao ， Bo Ren ，Ming-Ming Cheng，and Ali Borji.用于二值前景图评估的增强对齐度量。在IJCAI，第698-704页[11] Deng-Ping Fan，Zheng Lin，Jia-Xing Zhao，Yun Liu，Zhao Zhang ， Qibin Hou ， Menglong Zhu ， and Ming-Ming Cheng.重新思考RGB-D显著对象检测：模型、数据 集 和 大 规 模 基 准 测 试 。 arXiv 预 印 本 arXiv ：1907.06781，2019。[12] Deng-Ping Fan，Jiang-Jiang Liu，Shang-Hua Gao，QibinHou，Ali Borji，and Ming-Ming Cheng.杂乱中的显著对象：将显著对象检测带到前景。参见ECCV，第1597-1604页。Springer，2018.[13] Deng-Ping Fan，Wenguan Wang，Ming-Ming Cheng，and Jianbing Shen.将更多的注意力转移到视频显著对象检测上。在IEEE CVPR，第8554-8564页[14] Jakub Fisˇer ， OndˇrejJamrisˇka ， David Simons ， EliShechtman，Jing w anLu，PaulAsente，MichalLuk a´cˇ ，andDanielSy`kora. 基于示例的风格化面部动画合成ACMTOG，36（4）：155，2017。[15] William T Freeman，Joshua B Tenenbaum，and Egon CPasztor. 学 习图 形 线 条的 风 格转 换 。ACM TOG， 22（1）：33[16] 丹尼斯·嘉宝。沟通理论。第一部分：信息分析。电气学会杂志工程师-第三部分：无线电和通信工程，93（26）：429-441，1946年。[17] 玛丽·M·加洛韦使用灰度级游程长度的纹理分析。NASASTI/Recon Technical Report N，75，1974.[18] Fei Gao，Shengjie Shi，Jun Yu，and Qingming Huang.构图辅助素描逼真的肖像生成。arXiv预印本arXiv：1712.00899，2017。[19] Fei Gao，Yi Wang，Panpeng Li，Min Tan，Jun Yu，and Yani Zhu. Deepsim：用于图像质量评估的深度相似性