重新审视显着性：曲线下的最远邻面积

1重新审视显着性：曲线下的最远邻面积森佳瑞尔森大学sen. ryerson.caNeil D. B. 布鲁斯瑞尔森大学向量研究所bruce@ryerson.ca摘要在本文中，我们提出了一个新的度量，以解决长期存在的问题，中心偏差显着性评估。我们首先表明，基于分布的度量不能测量数据集的显着性性能，因为标准差的选择不明确，特别是对于卷积神经网络。因此，我们提出的指标是基于AUC的，因为ROC曲线对标准差问题相对稳健。然而，这需要显著性预测中足够的唯一值来计算AUC分数。其次，我们提出了一个全局平滑函数的预测显着性输出的价值程度少的问题。与随机噪声相比，我们的平滑函数可以创建唯一的值，而不会失去现有的相对显着性关系。最后，我们证明了我们提出的基于AUC的度量可以生成一个更有方向性的负集，表示为最远邻AUC（FN-AUC）。我们的实验表明，FN-AUC可以测量空间偏差，中央和周边，更有效地比S-AUC没有惩罚的固定位置。生成的阴性样品可在以下网址获得：https://github.com/SenJia/Farthest-Neighbor-AUC。1. 介绍已经提出了广泛的研究来预测图像中最显著的显著性方法可以大致分为两类，自下而上和自上而下。前者考虑图像的视觉刺激来确定感兴趣区域（ROI）;而后者假设ROI是任务相关的，先验知识在显著性预测中起重要作用。随着卷积神经网络（CNN）的最新发展，显着性预测严重依赖于基于模型的算法，这些算法可以以端到端的方式进行训练一个新的问题已经出现，关于什么类型的显着性功能是最好的应用程序设计，自上而下或自下而上？手工制作还是CNN学习的？显着性的测量仍然是具有挑战性的，因为“显着性”的定义图像固定分布图1.来自SALICON数据集的显著性样本。任务[2]，因此显着性算法也可以根据不同的分类法进行分组，用于不同的目的[10，16，6]。在本文中，我们遵循[29，45]中的常见问题设置，训练计算模型来预测人类视觉系统（HVS）最显著的区域。这不仅是所有基于CNN的方法的共同假设[27，9，28，34，13，12，31，24，25]，而且它也可以用于非常广泛的应用[48，1，47，44，26，22，35]。然而，由于各指标的偏差，显著性模型的综合评价仍存在一定的困难.例如，大规模场景理解的挑战[27]使用七个显着性度量，混洗曲线下面积（S-AUC），信息增益（IG）[32]，归一化扫描路径显着性（NSS）[38]，皮尔逊另一个公共显着性基准MIT 300 [28]应用八个显着性度量 ，AUC-Judd 、AUC-Borji 、S-AUC 、 NSS 、 CC 、KLD、SIM和地球移动器使用多个度量表明，仅从一个角度评价一个模型是困难的。先前的研究旨在对这些指标进行分类和比较[39，11]将指标分为基于位置和基于分布的指标。如图1所示，基于位置的测量包括一组由眼动仪或鼠标点击捕获的注视位置。而显著性的分布通常被认为是通过应用高斯滤波器对原始数据进行的后处理为了评估显着性模型，一种解决方案是克服度量之间的“不一致”。Kummerer等人。 [32]提出联合优化显着性尺度，中心偏差和空间模糊。但它们的后处理很难同时满足所有的指标，该过程需要所有的比较模型，优化只使用IG的损失后来这个概念被扩展到一个度量-26672668定制设计[33]，显著性模型和显著性图是解耦的，使得一个模型可以输出不同的度量特定图。然而，他们的解决方案是基于这样的假设，即所有的指标都能够合理地评估在这项工作中，我们更感兴趣的是从理论上研究这些方法之间的差异。我们认为，某些指标可能包含固有的缺点，因此不一定要考虑所有指标。这项工作的第一个贡献是，我们重新审视了基于[11]的广泛使用的显着性度量，表明显着性数据集是使用它们自己选择的高斯标准差创建的，CNN模型学习拟合这种有偏分布，参见第2节。中心偏差是显着性评估中的一个长期存在的问题，简单地将高斯分布置于中心可以在大多数指标上优于设计良好的系统[46]。S-AUC是SALICON和MIT基准测试使用的常见解决方案，基于同一数据集内其他图像的正样本对负样本集进行采样。研究[11]显示，中心高斯分布只能达到0的S-AUC评分。五、数据集尺寸（宽乘高）σCC多伦多[9]681 ×51120.998MIT1003 [29](Min- 最大值）405−102424.998CAT2000 [3]1920 ×108041.998SALICON [27]640 ×48019.999表1.四个显著性数据集的属性使用具有不同标准偏差的高斯过程来生成分布地面实况。方法可以生成具有AUC度量的唯一值的图，同时保留相对显着性关系，参见第2.3节。2. 重新审视显着性在本节中，我们首先回顾了基于先前研究的广泛使用的显着性度量[39，8，11]。我们进一步研究了跨数据集、NSS和CC应用平衡显着性度量的影响。2.1. 基于分布的基于分布的显著性度量SIM、CC、EMD和KLD将每个显著性图视为分布，然后可以基于概率视图来测量两个图之间的相似性。IG、SIM和KLD的缺点已经被研究过，因为它们更多地关注FN然而，S-AUC具有很强的偏倚，负面的中心附近，外围青睐的系统可以达到更高的分数[8]。在本文中，我们提出了一个新的显着性度量，它引入了一个空间关系的积极和消极的限制我们发现，所有的固定的分布可以被解释为一个2D的概率密度分布。我们的方法建立负集的每幅图像通过搜索其最远的邻居根据分布相似性，表示为FN-AUC。我们还提出了一个快速版本的FN-AUC，以防数据集的大小太大。为了与S-AUC进行比较，我们提出了一种衡量采样阴性集质量的策略，该策略考虑了中心偏差和阳性集的空间关系，参见第3.2节。我们的实验表明，FN-AUC可以绘制更多而FPs1会导致有偏差的评估。虽然EMD度量对地图的稀疏性敏感，但由于需要移动的箱较少，因此可以获得较低的分数。CC措施建议对FP和FN进行同等处罚[11]。然而，当比较两个分布时，每个分布的“形状”也起着重要作用（高斯σ的选择）。特别是对于基于CNN的显着性系统，CNN模型被设计为从训练集学习分布信息，仅因为测试集是从不同的分布中提取的，所以可能实现较低的性能。这在实践中是一个常见的问题，因为没有关于如何构建地面实况的标准，每个数据集都是使用不同的σ值构建的高斯滤波器可以写为：合理的负集，以惩罚中心偏差，而不破坏真阳性，第4.3节。g（m，n）=12πσ2-m2+n2·e2σ2（1）这项工作的另一个贡献是，我们提出，计算AUC度量的全局平滑策略。基于MIT基准，当许多位置共享相同的值幅度时，计算接收器操作特性（ROC）属性是有问题的，这也可能导致较低的性能。这是一种常见的基于CNN的模型，可以产生接近二进制的输出。一种解决方案可以通过添加小的随机噪声来抖动地图，但这可能会破坏相对显着性等级。我们建议使用相对较大的标准差应用高斯滤波器，输出预计将覆盖地图内的所有区域这样我们的其中m和n表示与当前位置的距离，σ表示标准偏差。我 们 搜 索 四 个 显 着 性 数 据 集 Toronto[9] ，MIT1003[29]，CAT2000[3]和SALICON [27]使用的σ值，基于达到最高的CC分数。正如我们在表1中所看到的，使用的σ值在这些数据集中有所不同。可以简单地实现高性能，因为训练集和测试集的分布相似，反之亦然。我们认为ROI的位置应该更多地考虑显著性而不是分布，一个好的模型应该1假阳性（FP）、假阴性（FN）、真阳性（TP）、真阴性（TN）。2669捕获正确的区域，但形状（或对比度）不太重要。可以想象，所有基于分布的度量都受到形状敏感性的固有缺陷的影响，并且难以避免中心偏差问题，参见第4节。2.2. 基于位置的网络基于位置的度量不依赖于由高斯过程（等式1）构建的分布。与CC类似，NSS是推荐的度量，因为它对FP和FN的惩罚相等[11]。然而，NSS本质上将所有注视位置视为正，而将其他位置视为负，当在训练集上应用较大的σ我们的实验验证了这一假设，表明在最小σ的设置上训练时获得了最高的NSS分数，参见第4.1节。NSS的这种偏差也使得跨数据集评估模型具有挑战性。AUC指标家族因忽略具有小值的FP而受到批评[11]。但是，只有当它的值小于最小阈值（注视时的值）时，FP才会被忽略。也就是说，在实践中，被忽略的FP将相对较小，并且这种相对显著性被认为比绝对幅度更重要[8]。一项研究[11]表明，AUC指标对σ具有鲁棒性，但仅当预测的最高值为TP时才会发生这种情况。我们的实验表明，AUC度量也受到σ的选择的轻微影响，第4.1节，但它们比CC和NSS相对更稳健。尽管如此，AUC度量仍然是克服中心偏差问题的最有希望的方法，在讨论中心偏差和演示我们的方法之前，我们首先在下一节中显示计算AUC矩阵和我们提出的全局平滑函数2.3. 全局平滑策略如图1所示，有不同的方式来表示注视地面实况。这两个图都可以被认为是矩阵，分布图也可以被解释为2D概率函数，并且固定图可以被转换为一组正位置。在这项工作中，我们证明了我们的方法使用所有的解释显着性。为了清楚起见，我们将矩阵表示为X或Y（并且图像或固定图，图1中的第一和第二曲线图），坐标集为P或N，概率函数为fX（密度或分布图，第三曲线图（见图1），它们可以相互转换，见第3.2节。所有基于AUC的指标都是通过在地图上应用各种阈值来绘制ROC曲线来计算的。当不同的积极位置共享(a) 量化（b）随机噪声(c)全局高斯图2.（a）一个量化的示例图，以显示有限值度的问题(b)随机噪声图O，用于抖动输出。(c)我们提出的全局高斯映射G.图3.三个图的ROC曲线，AUC评分为：Quan-tized（黑色）：0.573，随机噪声抖动（蓝色）：0.774，全局高斯（红色）抖动：0.790相同的量值。让解决此问题，{0，0. 5，1}。值得注意的是，这个问题不是人为的，因为输出图像格式在大多数情况下只包含255一个简单的解决方案2是将噪声矩阵O添加到预测图Y∈+εO，Oi<$U （0，1），O∈Rh×w，其中Oi是噪声矩阵的第i个元素，ε是一个小数字。但这操作可能由于随机性而破坏相对显著性关系。在这项工作中，我们提出了一个全局平滑过程来解决这个问题。代替引入随机噪声，我们通过应用等式1使用相对大的标准偏差来使值范围多样化，例如，σ=min（h/4，w/4）。如图2所示，[28]使用的噪声矩阵O类似于高斯白噪声。我们的全局高斯图G覆盖了图像的大部分区域，以进行平局决胜。从图3中，我们可以看到，我们提出的映射G实现了与随机噪声O的更大AUC一致性。请注意，这种改进在评估中与模型无关，但我们希望它能为公平的模型比较提供更有意义的预测。该操作还可以与广泛使用的高斯后处理相结合，高斯后处理利用小的σ值来实现鉴于模型之间的性能差异很小，该操作可能有助于消除歧义，实际上是最好的性能。2根据MIT基准测试https://github.com/cvzoya/saliency/tree/master/code_forecast26703. 中心偏差和空间偏差3.1. 中心偏差显著性的测量长期以来一直受到中心偏差问题的困扰。中心偏差存在各种观察策略、初始轨道位置或运动偏差。这背后的主要原因也可能是摄影师的偏见，人类倾向于将最有趣的物体或区域放置在图像的中心附近[43，36，37，42]。因此，这种倾向使得难以显示显着性模型有多好，“伪造的”高概率可能来自中心偏差方法。早期的显着性研究[36]显示了图像中的刺激，例如，颜色、强度和方向在引导注意力方面很重要。他们还发现了一个差异，即预测在图像中均匀分布，而注视更有可能靠近中心。这导致了一个假设，即低层次的视觉特征对注意力有后来[4]对他们的工作提出了另一种解释，取得了良好的性能是因为客观性与中心偏差更加一致。我们通过应用等式1来显示分布图多伦多SALICONCAT 2000中心偏差图4.使用每个数据集内的所有注视点生成的分布图和来自MIT基准的中心偏差图。此外，S-AUC可能有利于“反中心”预测，显着3.2. 法拉第近邻AUC在展示我们提出的FN-AUC之前，我们首先对不同表示形式的AUC度量进行了形式化，并讨论了它们各自的评价重点。 设X∈Rh×w×3和Y∈Rh×w表示输入图像及其固定地面实况（图1中的第二幅图像）。的可以将注视图Y转换成一组注视位置，表示为F={（m，n）：Y（m，n）=1，m=1。- 是的- 是的w，n = 1。- 是的- 是的 h}。 所有可能位置S的集合可以公式化为S={（m，n）：m=1。. . w，n=1。. . h}，F.当计算AUC 分数时，正集合是P=F，但是负集合的生成取决于所应用的AUC度量而变化。为AUC-贾德，它认为所有的非固定位置为阴性，在图4中的每个数据集内的所有注视位置上。在ive处，NJ={l∈S：l∈/P.O.S.\P.中心偏差是HVS在数据集上固有的，合成的中心偏置图，图4中的第四图被标记为CB，可以通过覆盖大多数注视位置来实现良好的性能我们认为显着性预测的目的是模拟HVS的机制，而不考虑应该使用什么类型的特征或可能的偏差。所应用的度量预计将区分一个好的系统从合成地图。大多数度量都存在这个问题，因为它们不是为空间偏差而设计的，特别是对于基于分布的情况。相比之下，基于位置的度量在这个问题上似乎更有希望。标准AUC度量最初用于统计分析，后来被引入[7]以测量显着性性能，也称为AUC-Judd [29]，其将所有非固定位置视为阴性。AUC- Borji [5]建议从所有非固定位置随机采集阴性样本，可将其视为AUC-Judd的子集。但这两种AUC变体并不是针对中心偏倚问题而设计的。S-AUC是一种广泛使用的指标，专门用于中心偏差，它基于同一数据集中其他图像的阳性位置对阴性样本进行采样。这背后的假设是，阳性也服从中心高斯分布，使得它们可以用于惩罚合成中心图CB，参见图4。但这种抽样策略忽略了正负极之间的空间关系，可能会导致对TP的AUC-Borji，负集可以被认为是在具有基数约束的NJ 上 应 用 Bernoulli 采 样 ， NB={s∈NJ ： |NB| 为|P|}，N_B_N_J（可以应用双向函数）。很明显，AUC度量实际上关注相同的统计特性，但是它们不能克服中心偏差问题，因为没有利用空间信息。对于S-AUC，我们通过Pall={F1，F2，. . . .. S-AUC的阳性集与AUC-Judd、AUC-Borji相同，P=F，P<0.05 。 对 于 负 集 ， S-AUC 根 据 NS={s∈Pall ：s∈/P ， |NS| 为 |P|{\fn 方 正 粗 倩 简 体\fs12\b1\bord1\shad1\3cH2F2F2F} 有趣的是，S-AUC和AUC-Borji分别使用伯努利采样过程从其他集合Pall和NJ中采样阴性。但S-AUC隐含地假设集合Pall在空间上服从中心高斯分布（由图4经验验证），因此样本可以使用Pled否定来惩罚中心偏置。但是AUC-Judd和AUC-Borji没有利用这种空间信息。给定图像（h，w）的大小，我们可以通过首先初始化零矩阵Yall=0∈R h×w，然后Y all（m，n）=1：n（m，n）∈Palll，将全正集Pall“向量化”为固定映射，令v（·）表示这种“向量化”转换。高斯滤波器（Equa-如图4所示，在地图Yall上应用（图1），以构建每个数据集的分布地图Yall。Al-2671我图5.我们提出的FN-AUC与S-AUC的关系图，我们的方法旨在采样更有方向性的负集。S-AUC FN-AUC（K=5）FN-AUC（K=20）FN-AUC（K=50）FN-AUC（K=70）图6.由S-AUC和FN-AUC采样的负集的分布图，在多伦多数据集上具有不同数量的邻居though the distribution map is a matrix, it can be interpretedas a 2D probability density function given the constraintΣ hΣ w考虑到工作。采样的负集应该能够惩罚中心偏差图CB，同时不影响正集。很容易在概率函数的表示中用公式表示该约束，rgmax（d（fv（P），fv（NFN），由FN-AUC设置的iv处的采样我们在图5中直观地显示了由S-AUC绘制的阴性集与我们的方法之间的关系。S-AUC的阴性组靠近中心，与阳性组重叠。虽然我们的方法旨在避免正位置，但仍然在合成图CB的区域内采样。算法1最远邻AUC输入：（X i，Y i），数据集中的第i个数据样本。Pall={F1，F2，. . .，FN}，集合包含数据集内的所有注视位置。输出：N FN第i个样本的负集。一曰： 初始化一个空列表，记为L。2：对于j=1到N，3：如果ij，则4：dj=d（fv（Fi），fv（Fj））5：将（dj，Fj）加到L上。6：基于dj以降序对L进行排序。假设d（·，·）是相似性度量。7：根据以下内容将相关固定集添加到NFNm=1n=1fYall（m，n）=1。 这样，密度FN为：图4中的图可以被视为S-AUC采样过程的概率函数。虽然每个元素在L中的前K个元素，Ni={Fk：（dk，Fk）∈L，k=1。- 是的- 是的K}。负集NSP所有是伯努利·萨姆画的8：return N F N在空间上，它可以被解释为泊松抽样处理，使得采样的元素具有更高的概率位于中心附近（采样的等概率）。给定合成中心偏差图CB（如图4所示）及其概率函数fCB，我们可以根据fCB和fYall之间的分布相似性重新计算中心偏差问题。合成图被设计为“模拟”总注视的分布作为基线，使得分布之间的距离应该是低的或最小化的S-AUC度量可以惩罚中心偏差，因为fv（NS）的概率分布类似于fCB，NS是从Pall中采样的。S-AUC度量仅考虑阴性样本应靠近中心的全局位置信息，但它忽略了积极和消极。正集也是总P的子集，这意味着在空间上fv（NS）的概率函数也与fv（P）重叠。 这可能导致TP率的过度惩罚，也解释了为什么S-AUC盲目支持外周聚焦方法[8]。为了解决这一问题，我们建议不仅利用全球信息，而且还采取相对空间关系，我们展示了我们的FN-AUC如何在算法1中对负集合NFN进行采样。负集由来自与正集最不相似的邻居的注视组成，即，最远的邻居然后我们可以从这个负集合中采样，使其具有与正集合相同的基数，|NFN|为|P|. 很明显，FN-AUC算法的复杂度为O（n）。是可行在小数据集上应用FN-AUC，例如， 多伦多，但它对于大规模数据集来说是有问题的，例如，萨利-康。我们还提出了一个快速版本的FN-AUC更好的可扩展性。通常，每个图像的注视次数在一个数据集中是相似的。我们只能选择一个最远的邻居，算法1中K=1，并省略基数约束。更重要的是，我们可以设置一个emptom阈值来选择第一个匹配的元素，而无需迭代整个数据集，例如，CC得分低于零（负相关）。一个极端的情况可能是，存在一个样本，其正集在拐角附近，每隔一个样本可以选择它作为最远的邻居，使得FP率总是为零。在这种情况下，增加邻居K的数量可以提供更鲁棒的采样过程。然而，即使应用K=5，我们在数据集上也没有遇到这个问题。 当K等于数据集中的图像数量（K=N−1），FN-2672位置S（.769，.758，.987）S（.812，.772，.951）S（.779，.798，1.025）FN（.614，.552，.899）FN（.648，.631，.974）FN（.780，.689，.884）阴性（.649，.494，.761）位置S（0.561，0.687，1.223）S（0.567，0.624，1.102）S（0.578，0.627，1.085）FN（0.791，0.561，0.710）FN（0.751，0.391，0.520）FN（0.829，0.579，0.698）阴性（0.802，0.529，0.659）图7.阴性集通过S-AUC和FN-AUC采样第一列是阳性位置的分布图第2-4列为S-AUC阴性图，第5-7列为FN-AUC阴性图最后一列是从第5-7列采样的FN-AUC的最终输出图。顶行是来自使用算法1绘制的Toronto数据集的样本，而底行是来自使用FN-AUC的快速版本（K= 3，CC0）绘制的SALICON数据集注释表示（β，γ，γ/β）。通过从P所有样本中采样，AUC将降低至S-AUC。也就是说，K值越大，我们对中心偏差图的惩罚就越大，我们可以在图6中看到K的这种权衡的效果。为了与S-AUC进行比较，我们建议用两个术语来衡量负集的质量：1）将负集合视为正位置并且将中心偏置图CB视为预测以测量性能，希望高分（例如，CC或AUC），使得负集合可以惩罚CB。2)将负集视为预测图（fv（N））来衡量其性能在地面实况P上，期望低分数，使得负集对正集影响不大。让↓γ/β作为质量指标。我们可以在图7中直观地检查NS和NFN的负集合（以分布形式呈现以用于可视化）。不出所料，来自S-AUC第2-4列的随机样品倾向于位于中心附近，这导致较高的β值。 但S-AUC没有考虑相对空间关系，采样的负图也很大与正值重叠，这也导致更高的γ虽然通过FN-AUC绘制的三个阴性候选物（第5-7列）试图避免惩罚阳性，因此可以实现较低的γ。此外，负集仍然与中心偏差图相交，因为样本是从P中提取的，所有P的2D分布都是类似于fCB。最后的输出负集（最后一列）umn）也实现了低的γ和γ/β得分。有趣的是，我们提出的FN- AUC在SALICON数据集上进行评估时具有更显著的效果。S-AUC的图（底行）具有γ/β>1的比值，这表明阴性组相对于中心偏差在阳性组上这背后的原因是，该数据集的注视点更加分散，几乎覆盖了整个图像，参见图4。而我们的方法仍然可以产生更多的方向负集，实现低γ/β值。(More补充材料中的图1显示了示例。）4. 实验实施详情：SALICON是最大的显着性数据集。它的训练集SALICON-train包含10，000张分辨率为480×640的图像用于训练。我们在SALICON-train上训练CNN模型并报告SALICON-val和其他数据集的结果如表1所示。Toronto数据集的图像大小与SALICON相似，因此我们只需在评 估 期 间 调 整 Toronto 数 据 集 的 大 小 。 但 是 对 于MIT1003和CAT2000，图像大小的比例与SALICON完全不同。我们应用[13，12]中使用的填充策略，每个图像都经过调整大小和填充，以保持与输入相同的比例（3/4）使 用 的 网 络 是 ResNet-50 模 型 [20] ， 它 已 经 在ImageNet数据集上进行了预训练。我们简单地将[12，31，25]中使用的多级策略应用于在 该 模 型 中 ， 来 自 {conv1 ， conv10 ， conv22 ，conv40，conv49}的侧输出被组合以生成最终预测。初始学习率设置为0。1，重量衰减为1e−4。训练的总次数是10次，我们每三次就将学习率降低一倍。以0的系数倾斜。1.一、将批量设置为8，并在计算均方误差作为损失后使用随机梯度下降更新模型。FN-AUC阴性集：为了计算FN-AUC分数，我们首先为每个数据集构建负集N FN。用CC度量比较了两种分布然而，也可以应用其它相似性度量。为了与S-AUC进行比较，我们在这个实验中为FN-AUC构建了一个更有方向性的负集，K=5，并且最终的负集是从邻居中随机抽取的，使得元素的数量与正集相同。对于Toronto、MIT1003和CAT2000，我们使用算法1中所示的标准程序。对于SALICON，我们应用了快速版本的FN-AUC，因为它的大小很大，根据满足CC0要求的前K=5个邻居选择了所选候选。选择K的最佳方式可以基于整个数据集的γ/β的平均比率2673方法CCNSSAUC-JAUC-BS-AUCFN-AUCCB0.3970.9690.8020.7860.5150.607伊蒂[23]0.2700.8200.6930.6770.6380.701目的[9]0.3120.8960.7250.7200.6590.725GBVS [19]0.5691.5190.8290.8190.6360.747太阳[46]0.2150.6500.6650.6520.6100.654SDSR [41]0.4031.0960.7630.7560.6970.786CAS [18]0.4491.2710.7810.7680.6880.781AWS [17]0.4661.3410.7870.7750.7070.789社会福利署[14]0.5751.5230.8360.8280.6320.741[21]第二十一话0.3961.0850.7620.7490.6790.753CNN0.6941.9380.8560.8280.7170.817表2. CNN模型在使用不同σ值构建的地面实况地图上训练。显示了每个测试集使用的σ值。每一行的最高分数以粗体突出显示。标准差表明每个度量对σ变化的稳健性。（AUC-Judd的AUC-J和AUC-Borji的AUC-B。）CC0.018NSS0.116AUC-J0.002AUC-B0.011S-AUC0.007FN-AUC0.008表3.跨数据集的每个指标的平均偏差4.1. σ的选择如第2节所讨论的，地面实况的分布图根据σ的选择而变化。在这个实验中，我们展示了在跨数据集进行评估时，这个问题如何影响基于CNN的系统。 五种不同的σ值{10，20，30，40，50}被应用于SALICON训练，以使用等式1构建用于训练的地面实况。然后在每个创建的地面实况分布上训练具有相同架构的五个CNN模型。我们使用不同的度量在不同的测试集上评估这五个模型，以显示这些度量对σ的选择有多敏感。如果一个模型的得分明显优于或低于相同度量的其他模型，则度量可以被认为是有偏差的，因为模型架构是相同的。我们在表2中报告了五种模型的结果。我们可以看到，当应用相似的σ值NSS度量倾向于小的σ值，因此产生较少的FP（更稀疏的预测）。这个实验验证了我们在第2节中的讨论。NSS对应用于训练集的σ值敏感，而CC更多地依赖于训练集和测试集之间的σ可能进一步限制基于分布的度量的实际使用的潜在风险是插值操作（例如，双线性）也可以影响分布特性。如表2中所示，AUC度量也对药物浓度敏感表4.不同显著性方法在Toronto上的比较数据集。选择σ对于AUC指标AUB-Borji、S-AUC和FN-AUC，存在可能使评价具有轻微随机性的采样过程。我们在表2的最后一列中报告了每个设置的偏差，并在表3中报告了其在数据集上的平均得分。我们可以看到，AUC度量的灵敏度相对小于CC和NSS。尽管AUC-Judd似乎与表2中的σ相关，但较低的偏差评分表示其并未显示哪种设置具有明显优势。CC和NSS的较大偏差可能是由其值范围或计算过程引起的，因此，它们可能会对模型的质量产生错误的直觉。4.2. 空间偏差NN的内部工作仍在探索中，但已经确定NN学习的特征包含高级对象，因此基于CNN的方法可能具有与[4]中讨论的相同的空间偏差我们提出的度量旨在解决空间偏差问题，因此我们使用我们的度量来组合不同类型的中心偏差图CB取自MIT基准。用于比较的传统显著性方法包括：[23]，[24]，[25]，[26]，[27]，[28]，[29][18]，AWS [17]，SWD [14]和ImageSig（RGB）[21]。 它已经表明，这些传统方法利用各种低级特征[8，4，46]，这导致相对不同的预测。一些手工制作的方法相当耗时（例如，CAS由于其多尺度设计，需要20秒以上的时间来处理每幅图像）。因此，为了简单起见，我们只关注最小的数据集多伦多 我们将上一个实验中的 模 型 （ σ= 20 ） 作 为 CNN 基 线 ， 因 为 它 最 接 近Toronto和SALI-CON的默认设置。度量可以粗略地分类为偏差容忍（CC、NSS、AUC-J、AUC-B）和偏差敏感（S-AUC、FN-AUC）。如表4和图8所示，我们可以看到CNN模型在所有指标上都达到了最佳性能，包括FN-AUC。虽然在这个实验中比较高级与低级特征是微不足道的，但我们更感兴趣的是度量如何测量内在的空间数据集公制σ=10σ=20σ=30σ=40σ=50偏差CC0.6840.694 0.684 0.669 0.647 0.0162.0161.938 1.839 1.754 1.665 0.125AUC-J 0.8520.8560.855 0.853 0.854 0.001AUC-B 0.810 0.828 0.837 0.8400.842 0.011S-AUC 0.7130.7170.713 0.705 0.694 0.008FN-AUC 0.805 0.8170.8240.824 0.820 0.0060.539 0.556 0.556 0.5580.559 0.0071.6881.6971.668 1.655 1.641 0.020AUC-J 0.846 0.853 0.854 0.8590.864 0.005AUC-B 0.814 0.837 0.844 0.8520.860 0.015S-AUC 0.702 0.716 0.719 0.7250.732 0.010FN-AUC 0.704 0.716 0.7160.7190.717 0.0050.6230.610 0.586 0.558 0.532 0.0332.4972.330 2.175 2.024 1.906 0.210AUC-J 0.8970.8990.898 0.897 0.895 0.001AUC-B 0.860 0.873 0.8790.880 0.880 0.007S-AUC 0.8070.8160.816 0.812 0.809 0.003FN-AUC 0.758 0.7780.7880.783 0.0110.8430.8630.860 0.839 0.812 0.0181.8951.832 1.757 1.668 1.580 0.112AUC-J 0.8580.8590.857 0.853 0.848 0.004AUC-B 0.811 0.834 0.8430.845 0.842 0.012S-AUC 0.781 0.7990.8050.804 0.799 0.008电话：021 - 8888888传真：021- 8888888SALICONσ=19MIT1003σ=24CAT2000σ=41多伦多σ=202674图8.使用不同显着性度量的比较方法的条形图。图像预测固定FN-阴性图9。S-AUC和FN-AUC之间评分差异较大的样本。从上到下（S-AUC，FN-AUC），1：（0.573，0.762），2：（0.665，0.867），3：（0.540，0.379），4：（0.445，0.285）。第三列是地面实况分布（正），第四列是由FN-AUC绘制的负图每个方法都有偏差。第一行CB表示高斯映射在大多数指标上都能获得不错的分数。CB图实现了更高的FN-AUC（0. 607）比S-AUC（0. 515），因为S-AUC仅惩罚第3.1节中讨论的中心偏倚（所有方法均优于随机猜测0。S-AUC）。此外，Itti，AIM和SUN，都实现了较低的性能的偏置容忍的指标，但我们的FN AUC仍然可以区分这些方法从CB。根据研究[45]，GBVS和AWS方法分别是空间一致性最小和最大的算法。因此，GBVS在偏差容忍指标上优于AWS，但AWS在偏差敏感指标S-AUC和FN-AUC上获得更高的分数我们还可以看到GBVS与其他相对一致的方法，SDSR，CAS和ImageSig之间的这种对比。此外，我们的实验表明，SWD方法甚至比GBVS更空间不一致。与“早期”的视野相比这是CNN由于其学习高级特征的能力而实现的应该注意的一件事是，尽管CNN可能由于其“对象”知识而倾向于输出中心偏好的地图，但CNN模型的性能仍然远远优于GBVS和SWD。S-AUC和FN-AUC都可以惩罚空间偏差，并且我们在下一节中进一步4.3. 病例讨论我们的FN-AUC不同于S-AUC，因为我们还考虑了与正集的相对关系。重要的是目视检查测量结果最不一致的样品。我们在图9中显示了在S-AUC和FN-AUC之间实现大的评分差异的样品。从分数可以看出，前五行实现的FN-AUC高于S-AUC。从第三列中，我们可以看到地面实况接近中心，但S-AUC将惩罚预测，无论它是否是合理的输出。相比之下，我们提出的FN-AUC获得了更高的分数，因为采样的阴性是更具方向性的，而不是盲罚。从图9的底部四行，我们可以看到S-AUC评分高于FN-AUC。我们可以看到，地面实况仍然靠近中心，但预测的显着区域靠近边缘。在这种情况下，这些预测应被视为低分输出。但是由S-AUC采样的阴性集合将始终靠近中心，如图4所示，因此它不能惩罚FP。FN-AUC惩罚这种类型的预测的概率更高，因为它考虑了空间关系。(More在补充材料中的图2中示出了示例。5. 结论在本文中，我们已经表明，NSS和CC metrics仍然遭受敏感的σ值的选择。这表明他们不能在常用的显着性数据集上公平地评估基于CNN的系统 NSS仅对训练集敏感，而CC受训练集和测试集上应用的σ的差异的影响。AUC指标对σ的变化相对更稳健。我们深入研究了基于不同数学表示的AUC度量，以显示S-AUC的缺点。我们提出的FN-AUC度量考虑了相对位置信息，因此可以构建一个更具方向性的负集，以仅惩罚中心偏差最后，我们提出的全局平滑策略可以通过保留显着性关系来提供我们的方法绝不能完全解决显着性评估的问题，但我们的工作揭示了现有指标的缺点，以及介绍了一个新的采样过程。2675引用[1] C. O.安库蒂角Ancuti，和P.贝卡尔特通过显著性引导的脱色来增强。在Proceedings of the 2011 IEEE Conferenceon Computer Vision and Pattern Recognition，CVPR'11，pages 257-264 ， Washington ， DC ， USA ， 2011 中 。IEEE计算机协会。1[2] 乔纳森·布瓦维特和尼尔·布鲁斯根据眼球运动预测任务：空间分布、动力学和图像特征的重要性。神经计算，207，05 2016。1[3] Ali Borji和Laurent Itti CAT2000：一个大规模的固定数据集，用于促进显着性研究。CoRR，abs/1505.03581，2015年。2[4] 作者：Ali Borji，Sihite和Laurent Itti。物体并不能比早期显著性更好地预测注视：Einh aüuser等人的再分析。的数据。视觉杂志，13（10）：18-18，2013年8月四、七[5] A. Borji，D. N. Sihite和L.伊蒂 定量分析视觉显著性建 模 中 的 人 体 模 型 一 致 性 ： 比 较 研 究 。 IEEETransactions on Image Processing，22（1）：55-69，Jan 2013. 4[6] A. Borji，H. R. Tavakoli，D. N. Sihite和L.伊蒂视觉显著性预测中的分数、数据集和模型分析。2013年IEEE计算机视觉国际会议，第921-928页1[7] 尼尔·D·B Bruce和John K.佐斯 视野各向异性的统计学基础。神经计算，69（10）：1301- 1304年，2006年。计算神经科学：2006年研究趋势. 4[8] 尼尔·D·B作者简介：作者简介：作者简介：佐斯关于视觉显著性的计算建模：审视什么是对的，什么是剩的。Vision Research，116：95- 112，2015.视觉注意力的计算模型。二三四五七[9] Neil D. B. Bruce和John K.佐斯基于信息最大化的显著性。在Proceedings of t