没有合适的资源?快使用搜索试试~ 我知道了~
8789SID4VAM:一个用于视觉注意建模的合成图像基准数据集大卫·伯加1Xose 'R.法蒂玛-维达尔2泽维尔·奥塔祖1Xose 'M. Pardo21ComputerVisionCente r,Un iv ersitatAu to`nomadeBarcelona,西班牙2CiTIUS,圣地亚哥-德孔波斯特拉大学,西班牙{dberga,xotazu}@ cvc.uab.es{xose.vidal,xose.pardo}@ usc.es摘要提供了具有合成图像数据集的显著性模型性能的基准。模型性能通过显著性指标以及模型灵感的影响和与人类心理物理学的一致性进行评估。SID4VAM由230个合成图像组成,具有已知的显著区域。生成的图像具有15种不同类型的低级特征(例如,方向、亮度、颜色、尺寸……)目标干扰弹弹出式合成图案我们使用了自由查看和视觉搜索任务说明以及每个功能类别的7个功能对比。我们的研究表明,最先进的深度学习显着性模型在合成图案图像上表现不佳,相反,具有光谱/傅立叶灵感的模型在显着性度量方面优于其他模型,并且与人类心理物理实验更加一致这项研究提出了一种新的方法来评估显着性模型在即将到来的文献中,占合成图像具有独特的低级别的功能上下文,不同于以前的眼动跟踪图像数据集。1. 介绍虽然眼球运动是“人们看向哪里”的指示器,但作为理解自下而上的视觉注意的结果,出现了更复杂的问题:所有的眼球运动对确定显著性都同样有价值吗?根据视觉注意力的初始假设[53,58],我们可以将视觉显着性定义为感知质量,该感知质量使我们的人类视觉系统(HVS)注视由于其独特的视觉特征而在场景中突出的某些区域。因此,这种能力(显着性)不会受到自上而下因素的影响,这些因素似乎引导眼球运动,而不管刺激特征如何[60]。解释刺激区域是否突出,何时变得突出以及为什么突出的先验知识是需要解释的问题显着性评价[7,2]。自Koch Ullman这个框架定义了一个理论基础,为建模的早期视觉阶段的人类视觉系统,以获得一个代表性的显着图。通过提取感觉信号作为特征图,处理显著对象并通过赢家通吃(WTA)机制选择最大活跃位置,可以获得唯一/主显著图。然而,有人假设视觉注意力在中央表征(优先级)中结合了自下而上(显着性)和自上而下(相关性)机制[14,17]。这些自上而下的特性(例如,世界、对象、任务等)后来在选择性调谐模型中被解释为WTA类过程的层次结构[54]。尽管已经研究了同时涉及显着性的神经相关性[55],但在独特的计算框架中定义的显着性和眼球运动之间的直接关系需要进一步研究。Itti等人最初引入了一个计算生物学启发的模型[27],由3个主要步骤组成:首先,使用针对每个色度通道的定向线性DoG滤波器来提取特征图。第二,特征显著性使用中心-环绕差异计算。第三,显着性地图与线性WTA机制相结合该架构是当前显着性模型[62,43]的主要灵感,其替代地使用不同的机制(根据场景考虑不同级别的处理、上下文或调谐),但为这些步骤保留相同或相似的结构。虽然目前最先进的模型精确地类似于眼动跟踪注视数据[6,9],但我们质疑这些模型是否代表显着性。我们将用一个新的合成图像数据集来测试这个假设。1.1. 相关工作为了确定物体或特征是否吸引注意力,最初的实验是根据显示特性(例如,dis-8790播放大小、功能对比度......)在视觉搜索任务[53,58]。并行搜索发生在特征被预先处理时,因此搜索目标被有效地发现,而不管干扰物的属性。相反,当注意力集中在一个项目上时,序列搜索就会发生。一个时间,需要一个“绑定”过程来允许每个对象被区分。在这种情况下,目标-干扰物对比度越高和/或设置尺寸越小,搜索时间越短(遵循韦伯定律[16])。最近的研究通过提供具有特征对比度和/或集合大小的参数化的真实图像(iLab USC、UCL、VAL Hardvard、ADA KCL),结合视觉搜索或视觉分割任务,但不提供眼动跟踪数据,来复制这些实验(表1B)。相反,当前的眼球运动数据集提供了在自由观看任务期间来自真实场景的注视和扫描路径。这些图像数据集通常由真实图像场景(表1A)组成,或者来自室内/室外场景 ( Toronto , MIT 1003 , MIT 300 ) , 自 然 场 景(KTH)或语义特定类别,如面部(NUSEF)和其他几个(CAT 2000)。眼动追踪数据集的完整列表见Winkler SubramanianCAT 2000“模式”图像的训练子集然而,没有参数化的特征对比度,也没有刺激属性。合成图像数据集可以提供注意力如何依赖于特征对比度和具有不同任务的其他刺激属性的信息我们在第2中描述了我们如何使用我们的新SID4VAM数据集来实现这一点表1:眼动追踪数据集A:真实图像数据集任务数量TSPP数量下午做多伦多[8]FV12020✓MIT1003 [30]FV100315✓NUSEF [41]FV75825✓KTH [32]FV9931✓MIT300 [29]FV30039✓CAT2000 [5]FV400024✓B:心理物理模式/合成图像数据集任务数量TSPP数量下午做[26]第二十六话-˜540-✓伦敦大学学院[64]VS SG27845✓哈佛大学[59]VS400030✓ADA KCL [50][5]第五届中国国际纺织品展览会-FVFV VS˜430100230-十八34✓✓✓✓TS:刺激总数,PP:参与者,PM:参数化,DO:注视数据在线可用,FV:自由查看,VS:视觉搜索,SG:视觉分割受到Itti等人的架构的启发通过处理全局和/或为了计算特征显著性的局部图像特征,这些模型能够生成主显著性图来预测人类注视(表2)。关于Judd etal.[29]和Borji& Borji [ 4 ]的评论,我们根据显着性计算的努力将显着性模型的灵感分为五个一般类别:• 认知/生物(C):显着性通常通过模仿HVS神经元机制或在人眼运动行为中发现的特定模式来产生。特征提取通常基于Gabor类过滤器及其与WTA类机制的集成。• 信息论(一):这些模型通过选择最大化场景视觉信息的区域来计算显著性。• 概率(P):概率模型通过优化执行某些任务和/或找到某些模式的概率来生成显着性。这些模型使用图形、贝叶斯、决策理论和其他方法进行计算。• 基于频谱/傅立叶(F):频谱分析或基于傅立叶的模型通过提取或操纵频域中的特征(例如,在频域中的特征)来导出显著性。频谱频率或相位)。• 机器/深度学习(D):这些技术基于训练现有的机 器 / 深 度 学 习 架 构 ( 例 如 : CNN , RNN ,GAN.)通过最小化从现有的眼睛跟踪数据或标记的显著区域预测图像的注视的误差。1.2. 问题公式化视觉显著性是一个基于感知的术语-姐根据这一原则,一个正确的显着性建模应考虑特定的实验条件下的视觉注意任务。这种模型的输出可能因刺激或任务而异,但必须作为常见的行为现象出现,以验证Treisman、Wolfe、Itti及其同事的一般假设定义[53,58,26]。眼动一直被认为是视觉注意的主要行为标记。但是,理解显著性不仅意味着要证明如何预测视觉注视,而且要模拟从视觉及其感觉信号中收集的眼球运动模式(这里避免任何自上而下的影响)。这一挑战为眼动追踪研究人员提供了在捕获自下而上的注意力时考虑几个实验问题(关于上下文、对比度、时间、眼动和任务相关的偏差),这在很大程度上由Borji等人解释。[4],Bruce et al.[7] 以及最近由Berga等人进行的研究。[2]的文件。计算模型在某种程度上提供了几种预测人类视觉8791表2:显著性模型灵感来源:{C:认知/生物,I:信息论,P:很可能,F:傅立叶/光谱,D:机器/深度学习}类型:{G:全局,L:局部}固视然而,这些显著性模型的预测能力的限制由于来自眼睛跟踪实验的评估的可变性而出现。我们的目标是提供一个具有独特合成图像和基准的新数据集,研究每个显着性模型:1. 模型启发和特征处理如何影响模型预测?2. 注视的时间性如何影响模型预测?3. 低层次特征类型和对比度如何影响模型2. SID4VAM:用于视觉注意力建模的从230张图像中的数据集1中收集了34名参与者的注视[2]。图像以1280- 1024 px的分辨率显示,并使用SMIRED双目眼动仪以每度视角约40像素捕获注视。该数据集已分为两个任务:自由观看(FV)和视觉搜索(VS)。对于FV任务,参与者必须在5秒内自由地观看图像。在每个刺激上都有一个显著的感兴趣区域(AOI)。对于VS任务,参与者有视觉定位AOI的指令,将显著区域设置为1在http://www.cvc.uab.es/neurobit/?页面_id=53不同的对象。对于该任务,用于提示转换到下一图像的触发器是通过凝视AOI内部或按下键(用于报告目标不存在)。我们可以在图1和图2中观察到这两个任务产生的刺激。一比二数据集分为15种刺激类型,5种对应于FV,10种对应于VS。这些块中的一些具有不同的图像子集(由于目标或干扰物形状、颜色、配置和背景属性的改变),总共能够产生33个子类型。这些块中的每一个被单独地生成为低级特征类别,其在显著区域和其余干扰物/背景之间具有其自己类型的特征对比。FV类别主要用于分析前注意效应(图1):1)角显著性,2)通过条形角度进行视觉分割,3)通过条形长度进行视觉分割,4)通过条形连续性进行轮廓整合,5)感知距离。VS类别基于特征-单例搜索刺激,其中存在唯一的显著目标和一组干扰物和/或改变的背景(图2)。这些类别是:6)特征和合取搜索,7)搜索不对称,8)在粗糙表面中搜索,9)颜色搜索,10)亮度搜索,11)方向搜索,12)不同尺寸搜索,13)具有异质分布的方向搜索SID4VAM的数据集的刺激数据集刺激是用7个特定的特征对比度(SNR)来生成的,对应于硬(SNR)。4 u)和easy(Ψ e”t 5.7u)难以找到显著区域。这些特征对比具有它们自己的参数化(遵循Berga等人的心理物理学公式[ 2,第2.4节]),对应于显著目标和其余干扰物(例如,干扰物)之间的特征差异。目标取向、大小、饱和度、亮度的差异.)或全球影响(例如,总体干扰物比例、形状、背景颜色、背景亮度)。3. 实验通过将每个注视位置分布到二进制图来生成来自眼睛跟踪数据的注视图。通过将高斯滤波器卷积到固视图来创建固视密度图,这模拟了由LeMeur Baccino [36]推荐的眼动跟踪实验给出的σ=1度偏差引起的平滑通 常 , 基 于 位 置 的 显 着 性 度 量 ( AUCJudd ,AUCBorji,NSS)增加其分数固定位置落入(TP)预测的显着性图内。相反,分数降低固定位置没有被显著性图(FN)捕获,或者当显著性图存在于没有当前固定(FP)的位置时。在基于分布的度量(CC,模型作者年灵感类型G LC 我PFDIKNItti等人[27、26]1998✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓目的布鲁斯·措措索斯[8]2005GBVSHarel等[21日]2006SDLFTorralba等人[五十二]2006SR PFT侯章[23]2007PQFT郭章[20]2008ICL侯章[24]2008孙Zhang等人[63个]2008SDSR[48]第四十八话2009FTAchanta等人[1]第一章2009DCTS/SIGSHou等人[22日]2011SIMMurray等人[39]第三十九届2011WMAP洛佩兹-加西亚等人[38个]2011AWSGarcia-Diaz等人[18个国家]2012CASDGoferman等人[19个]2012罕见Riche等人[45个]2012QDCTSchauerte等人[47个]2012HFTLi等人[37]第三十七届2013BMS[61]第六十一话2013SALICONJiang等人[28,51]2015ML-NetCornia等人[12个]2016DeepGazeIIKümmerer等[33个]2016SalGANPan等人[第四十届]20178792(1)6)(二)第三章四、第七章)第五章)第八章)1 2 3 4 5 6 7图1:自由观察刺激SIM,KL),当显著性图相对于注视密度图分布具有更高的相关性时,显著性图得分更高。我们必须指出,当显著性图与其他注视图位置或基线(此处,对应 于 中 心 偏 差 ) 重 合 时 , 混 洗 指 标 ( sAUC ,InfoGain)会考虑FP值,这些值不是显著性预测的代表性数据。预测指标及其计算主要由Bylinskii等人解释。[11]。我们的显着性度量分数和用于该实验2的预处理已经从官方显着性基准测试程序[10]中复制。显着性预测的心理测量评估已经用显着性指数(SI)[49,50]完成。该度量评估与显著区域外部(Sb)的能量相比,显著区域(其将包围显著对象)内部的显著图的能量(St)该度量允许在显著区域已知时评估显著性图,以绝对方式考虑特定AOI /掩模的显著性分布。这里我们给出SISlpS,S q“St'Sb.九、10)、第十一章12)十三、14)t bSb已经从表2所示的模型计算了显著性图。模型评估已被划分根据其灵感和预测分数已与显着性指标和心理物理学方面进行了评估。3.1. 关于预测注视的以 前 的 显 着 性 基 准 [6 , 42 , 9 , 7 , 10] 显 示 ,SALICON , ML-Net SAM- ResNet , SAM-VGG ,DeepGazeII或SalGan等深度学习模型得分很高-第十五章)2指标代码:https://github.com/dberga/saliency1 2 34 5 6 7图2:视觉搜索刺激8793在混洗和未混洗的指标上的EST。在本节中,我们的目标是评估在注视预测方面得分很高的显著性图是否使用合成图像数据集进行,以及它们的灵感是否影响它们的表现。我们在表3和图3中给出了整个数据集的显着图预测的度量分数。显着性度量分数揭示了基于频谱/傅立叶的整体显着性模型在合成图像数据集上预测更好的注视表3:SID4VAM的显著性度量评分图4是该数据集的有效显着性预测器。我们还可以指出,处理独特局部特征显著性的模型在SID4VAM注视预测中得分较低这种现象可能与中心凹(靠近中心凹)和周围(远离中心凹)注视的区别有关,相对于注视顺序和注视的空间位置[15]。通过分别对每个实例的注视进行分组,已经完成了凝视模型预测的评估。我们绘制了每个模型的sAUC(图5)可以观察到,模型性能下降-模型AUCjAUCbCCNSSKLSIMsAUC InfoGainGT0.9430.8821.0004.2040.0001.0000.8602.802基线-CG0.7030.6970.2810.7221.5770.3720.525-0.189IKN0.6860.6780.2830.8781.7480.3800.608-0.233SIM0.6500.6410.1890.6941.7020.3570.619-0.148AWS0.6790.6670.2551.0881.5920.3730.6720.013NSWAM0.6140.6100.1360.5291.6860.3350.622-0.150目的0.5700.5660.1220.47314.4720.2240.557-18.182ICL0.7370.7170.3431.1001.7880.4050.624-0.313罕见0.7070.6220.2041.0461.7360.4440.633-0.158CASD0.7330.6690.4081.9042.3950.4030.652-1.046GBVS0.7470.7180.4001.4641.3630.4130.6280.331SDLF0.6200.6070.1560.5853.9540.3220.596-3.244孙0.5420.5320.0800.33316.4080.1650.530-21.024SDSR0.6720.6650.1920.6391.9040.3650.642-0.467BMS0.6770.6430.2741.1432.3060.3970.627-0.958ICF0.6180.5660.1410.7003.2740.3060.564-2.300Sr0.7480.6940.4201.9161.4320.4310.6850.348PFT0.7050.6920.3981.8852.2270.3770.684-0.893PQFT0.7010.6930.3871.7742.1970.3730.684-0.856FT0.5210.5180.0720.3317.5520.1290.517-8.498DCTs0.7290.7240.4392.0041.3630.3960.7080.337WMAP0.7290.7090.4682.1362.2830.3970.709-0.981QDCT0.7170.7060.4251.9861.6770.3910.695-0.105HFT0.7710.7460.5382.1611.2950.4670.6820.448SalGAN0.7150.6620.2870.8832.5060.3730.593-1.350OpenSALICON0.6920.6730.2840.9561.5490.3750.6150.052DeepGazeII0.6390.6060.1760.7142.0230.3460.597-0.587Sam-VGG0.5370.5230.0260.07011.9470.2160.503-14.954Sam-ResNet0.7270.6730.3050.9672.6100.3880.600-1.475ML-Net0.7000.6760.2830.8832.1690.3730.595-0.837Sal-DCNN0.7260.6500.2880.9613.6760.3590.580-3.05认知/生物,信息理论,概率,傅立叶/频谱,机器/深度学习HFT和WMAP等模型显著优于其他显著性模型。从其他模型的启示来看,AWS得分高于其他认知/生物启发模型,GBVS和CASD分别优于其他概率/贝叶斯和信息论显着性模型。在深度学习模型中,SAMResNet和OpenSALICON得分最高。尽管目前在模型性能和模型灵感方面存在差异,但模型机制的相似性可以揭示预测统计量增加和减少的现象。这种现象存在于基于频谱/傅立叶和认知/生物启发的模型中,它们在不同的度量分数中都呈现出相似的性能和 是考虑到sAUC和InfoGain度量与其他度量相比更可靠(基线中心高斯有时比大多数显著性模型获得更高的性能)。在这些方面,在注视次数上有折痕,这意味着在第一次注视期间更有可能预测显著性为了评估人类和模型性能(sAUC)之间的时间关系3.2.心理物理一致性以往的研究[4,7,2]发现,特征类型、特征对比度、任务、注视时间性和中心偏向等因素交替影响眼动引导。HVS对每个刺激特征具有特定的对比敏感性,因此显着性模型应该以相同的方式适应,以便在心理测量参数中是合理的。在这里,我们将展示显着性预测如何根据特征对比度和图像中的低级特征类型显着变化在图6a中发现,显著性模型随着人类注视的分布而增加SI,其中特征对比度大多数预测SI分数显示出更高的斜率与容易的目标(显着的对象具有更高的对比度,相对于其余的,当1004),是CASD和HFT的模型,具有较高的SI在较高的对比度。上下文影响(在此表示为图像中出现的不同低级特征)对场景中出现的对象引起的显着性有明显的贡献[25]。我们认为,不仅出现在场景中的语义内容影响显着性,但功能特性显着影响显着的对象。这种现象在图6b中是可观察到的,并且对于人类注视和模型预测两者都发生,特别是在1)角显著性6)特征和合取搜索,7)搜索不对称,10)亮度搜索,12)不同尺寸搜索和13)具有异质干扰物的方向搜索。当GT更高时(当人类注视更可能落在AOI内时),HFT和CASD具有最高的SI,甚至优于1)和7)情况下的GT概率。 我们在图7a中显示,当我们改变类型时,大多数显着性模型的整体显着性指数是不同的。8794* =每个型号灵感的最佳性能图3:显着性度量得分的图。特征对比度(容易与困难)和执行的刺激任务(自由查看与视觉搜索)。基于频谱/傅立叶的模型在SI度量方面也优于其他显着性模型。类似于先前小节中所示的显著性度量,AWS、CASD、BMS、HFT和SAM-ResNet分别是每个模型灵感类别的最有效模型。在图7b中可观察到,显著性模型对于容易的目标具有更高的性能,相对于硬目标具有增加的整体模型性能差异(图7c)。类似地,视觉搜索目标显示出比自由观看情况更低的难度(更高的SI)来找到AOI内的预测注视(图7 d-e)。此外,distinct SI曲线上的功能对比度的报告,揭示对比敏感度是不同的每个低级别的fea-ture。斯皮尔曼这些结果表明,诸如AWS、CASD、BMS、DCTS或DeepGazeII的模型与人类对比敏感度高度匹配人类对低水平视觉特征的对比敏感度将是一种有趣的观点,使未来的显着性模型准确地预测显着性,以及更好地理解如何HVS处理视觉场景。4. SIG4VAM:生成用于训练显著性模型的合成图像样本我们还提供了一个合成图像生成器(SIG4VAM)3,能够生成类似的心理物理图像与其他类型的模式。可以通过参数化诸如刺激大小、干扰物的数量、特征对比度等因素来创建更大的图像集合。例如,如果选择相同的15种类型(33个子类型)的刺激,而不是28个对比(对比)实例,则生成 具有33- 28除此之外,还可以使用SIG 4VAM(图8)创建具有高级特征的合成图像,方法是更改背景属性、为目标/干扰项设置特定对象实例以及它们的低级属性(方向、亮度、颜色等)。SID4VAM已被提议作为可能的初始化。3 用 于 生 成 合 成 刺 激 的 代 码 : https://github.com/dberga/sig4vam8795图像人 类AWSNSWAM罕见CASDa)GBVSSDSRWMAPHFTOpenSALICONSam-ResNet图4:数据集刺激和显着图预测的示例对于每个灵感类别,仅显示了两个模型,其表现出具有混洗显著性度量分数的最高性能(sAUC和InfoGain)b)、图6:基于特征对比度(a)和特征类型(b)的模型预测的显著性指数的结果。不同情境和任务下的模型预测。图5:sAUC注视预测评分。用于显著性预测的tial测试集,其中固定和二进制掩码的数据可用于基准测试。训练集可以用SIG 4VAM获得(突出/显著区域的二元掩模的GT是自动生成的),从而能够拟合对比敏感度并根据注视概率分布[11]和显著区域检测度量[56](例如,SI、PR、MAE、S-/F-测量等)的分数获得损失函数。综合修改真实场景的最新策略[46]显示了对象检测任务分数的巨大变化,使用“对象移植”(将对象置于场景上的不同位置)。在这些方面,SIG4VAM可以扩展用于评估5. 讨论之前的显着性基准测试表明,最新的深度学习显着性模型可以有效地预测眼球对于合成图像,情况并非如此,对于用心理物理模式集合(例如,心理物理模式 ) 预 训 练 的 模 型 也 是 如 此 。 具 有 CAT2000 的SAM)。这表明,他们的计算显着性不出现作为一个普遍的机制。这些方法已经用眼动跟踪数据(包含高级特征的真实图像)进行了训练,尽管有几个因素指导了眼动[58],但低水平的显着性(即,弹出效应)是确定自下而上注意力的最有影响力的因素之一。另一种可能性是我们随机地参数化了显著物体的位置,降低了中心偏差效应。有了这个基准,我们可以评估如何突出的是一个特定的对象,通过参数化其低级别的功能对比,相对于其余的干扰和/或背景。因此,可以考虑特征对比度来进行显著性的评估,分析对被显著性评估的对象的重要性8796(a)(b)(c)(d)(e)图7:数据集模型预测的显著性指数指标得分结果(a),简单/困难(b-c)和自由查看/视觉搜索任务(d-e)。图8:生成具有高级特征(即,作为目标/干扰物的对象),改变低级特征属性(a-b)或背景(c)。更容易被发现或预防。以往的显著性基准通常是在空间上对所有注视点的眼动数据进行评估,本文还提出了跨注视点的显著性评估,这是一个有待进一步研究的问题。本研究的未来步骤将包括使用静态或动态相机的合成视频评估动态场景中的显着性[44,35这将使我们能够调查时间变化特征(例如,闪烁和运动)优于显著性预测。 另一个要考虑的分析是显著特征的空间位置的影响(在朝向图像中心的偏心率方面),这可能会明显地影响每个模型。显著性模型化中的每个步骤(即特征提取、清晰度计算和特征融合)可能对眼睛运动预测有明显的影响。认识到显着性计算是计算显着性的关键因素,未来评估每种机制对模型性能的贡献可能会很有意义。6. 结论与目前的最先进的,我们发现,显着性模型是远离获得HVS per-percent在预测自下而上的注意。我们用一个新的数据集SID 4VAM证明了这一点,该数据集包含独特的合成图像,用特定的低-水平特征对比。在这项研究中,我们表明,所有基于频谱/傅立叶的显着性模型(即HFT和WMAP)在检测具有特定显著对象的显著区域时明显优于其他显著性模型。AWS、CASD、GBVS和SAM-ResNet等其他模型分别是每个显着性模型灵感类别(认知/生物、信息理论、概率和深度学习)的最佳预测候选者。特别是,使用深度学习模型学习的视觉特征可能不适合使用心理物理图像有效地预测显着性。在这里,我们提出显著性检测可能与对象检测不直接相关,因此在高级对象特征上进行训练可能不显著有利于预测这些方面的显著性。未来的显着性建模和评估应该考虑低级别的特征区分,以准确地模拟自下而上的注意。在这里,我们注意到需要分析其他因素,如固定的顺序,任务的影响和显着区域的心理测量参数。7. 确认这项工作由MINECO(DPI 2017 - 89867-C2-1-R,TIN 2015 -71130-REDT),AGAUR(2017-SGR-649),CERCA计划/加泰罗尼亚政府,部分由Xunta de Galicia在项目ED 431 C2017/69下,部分由Conseller' ıadeCultura , Educ acio' neOrde- nacio' nUniversitaria(认证20162019,ED 431 G/08)和欧洲区域发展基金,部分由Xunta de Galicia和欧盟(欧洲社会基金)。我们还感谢NVIDIA提供的慷慨的GPU8797引用[1] Radhakrishna Achanta , Sheila Hemami , FranciscoEstrada,and Sabine Susstrunk.频率调谐显著区域检测。2009年IEEE计算机视觉与模式识别会议,2009年6月。3[2] David Berga,Xos R.Fdez-Vidal、Xavier Otazu、VctorLebo-ran和Xose M.帕尔多个体低水平特征对视觉注意影响Vision Research,154:60- 79,2019。一、二、三、五[3] 大卫·伯格和泽维尔·奥塔祖。 v1中显著性预测的神经动力学模型。回顾,2018年。arXiv:1811.06308。3[4] Ali Borji和Laurent Itti最先进的视觉注意力建模。IEEETransactionsonPatternAnalysisandMachineIntelligence,35(1):185-207,Jan 2013. 二、五[5] Ali Borji和Laurent Itti Cat2000:一个用于促进显着性研究的大规模固定数据集。CVPR 2015研讨会2[6] Ali Borji,D. N. Sihite和L.伊蒂 视觉显著性建模中的人体 模 型 一 致 性 的 定 量 分 析 : 比 较 研 究 。 IEEETransactions on Image Processing,22(1):55-69,Jan 2013. 1、4[7] 尼尔·D·B作者简介:作者简介:作者简介:佐斯关于视觉显著性的计算建模:审视什么是对的,什么是剩的。视觉研究,116:95-112,2015年11月。一、二、四、五[8] Neil D. B. Bruce和John K.佐斯基于信息最大化的显著性。第18届神经信息处理系统国际会议(NIPS麻省理工学院出版社,2005年。二、三[9] Z. Bylinskii,E.M.德真纳罗河Rajalingham,H. Ruda,J.Zhang和J.K.佐斯视觉注意模型的定量Vision Research,116:258-268,2015年11月。1、4[10] ZoyaBylinskii , TilkeJudd , AliBorji , LaurentItti ,Fre'doDu-rand,Aude Oliva,and Antonio Torralba.麻省理工学院显著性基准。http://saliency.mit.edu/。 4[11] Zoya Bylinskii , Tilke Judd , Aude Oliva , AntonioTorralba,and Fredo Durand.不同的评估指标告诉我们关于显着性模型的什么 ?IEEE Transactions on PatternAnalysis and Machine Intelligence,第1-1页,2018年。四、七[12] Marcella Cornia,Lorenzo Baraldi,Giuseppe Serra,andRita Cucchiara.一种用于显著性预测的深度多层网络。2016年国际模式识别会议(ICPR)。3[13] Marcella Cornia,Lorenzo Baraldi,Giuseppe Serra,andRita Cucchiara.通过基于LSTM的显着性注意模型预测人眼注视。IEEE图像处理学报,27(10):5142-5154,2018。3[14] 霍华德·EEgeth和Steven Yantis。视觉注意:控制、表征和时间进程。Annual Review of Psychology,48(1):269-297,feb1997. 1[15] 米歇尔湖作者声明:Jeffrey M. Zacks自然活动的环境和焦点视觉处理。Journal of Vision,16(2):5,2016年3月。5[16] G. T.费希纳心理物理学基础,第一卷。霍尔特,莱因哈特和温斯顿,密歇根大学,1966年。2[17] JH Fecteau和DP Munoz。显著性、相关性和激发:目标选 择 的 优 先 地 图 Trends in Cognitive Sciences , 10(8):382-390,aug 2006. 1[18] Anton Garcia-Diaz,Xose R.Xose M. Fdez-维达尔帕尔多和拉奎尔·多西尔通过去相关和方差归一化的分层自适应显着性Image and Vision Computing,30(1):51-64,Jan 2012. 3[19] Stas Goferman、Lihi Zelnik-Manor和Ayellet Tal。上下文感知显著性检测。IEEE Transactions on Pattern Analysisand Machine Intelligence,34(10):1915- 1926,2012年10月。3[20] Chenlei Guo,Qi Ma,and Liming Zhang.基于四元数傅立叶变换相位谱的时空显著性检测。2008年IEEE计算机视觉与模式识别会议,2008年6月。3[21] Jonathan Harel,Christof Koch,和Pietro Perona。基于图形的视觉显着性。芽孢杆菌中 Schoül k opf,J. C.Platt 和 T. Hoffman , 编 辑 , Advances in NeuralInformation Processing Systems 19,第545-552页。MITPress,2007. 3[22] Hou Xiaodi,J. Harel和C.科赫图像签名:突出的稀疏的显著 区域 。IEEE Transactions on Pattern Analysis andMachine Intelligence,34(1):194-201,2012年1月。3[23] 侯晓迪和张立青。显著性检测:光谱残留法。2007年IEEE计算机视觉与模式识别会议,2007年6月。3[24] 侯晓迪和张立青。动态视觉注意力:搜索编码长度增量 。 In D. Koller , D. Schuurmans , Y.Bengio 和L.Bottou,编辑,神经信息处理系统进展,第681Curran Associates,Inc. 2009. 3[25] 亚历克斯·D黄,Hsueh-Cheng Wang,Marc Pomplun。真实场景中眼动的语义指导。Vision Research,51(10):1192-1205,2011年5月。5[26] Laurent Itti和Christof Koch。基于显著性的视觉注意显性和隐性转移视觉研究,40(10-12):1489-1506,jun2000. 二、三[27] Laurent Itti,Christof Koch,and Ernst Niebur. 基于显著性的快速场景分析视觉注意模型。IEEE Transactions onPattern Analysis and Machine Intelligence,20(11):1254-1259,1998。第1、3条[28] Ming Jiang,Shengsheng Huang,Juanyong Duan,andQi Zhao. SALICON:语境中的显著性在2015年IEEE计算机视觉和模式识别会议(CVPR)上,2015年6月。3[29] 蒂尔克·贾德、弗雷多·杜兰特和安东尼奥·托拉尔巴。预测人类注视的显著性计算模型的基准。CSAIL技术报告,2012年1月。2[30] 蒂尔克·贾德,克里斯塔·埃辛格,弗雷多·杜兰德,安东尼奥·托拉尔巴.学习预测人类的视线。2009年IEEE计算机视觉国际会议,2009年9月。2[31] 克里斯托弗·科赫和西蒙·厄尔曼。选择性视觉注意力的变化:对潜在的神经回路的影响。见《情报问题》,第115-141页。Springer,1987年。1[32] Gert Kootstra , Bart de Boer , and Lambert R. B.Schomaker利用局部对称性预测眼睛对复杂视觉刺激的注视。认知计算,3(1):223-240,2011年1月。28798[33] Matthias Kummerer,Thomas S.A.作者声明:A. Gatys和Matthias Bethge理解固定预测的低水平和高水平贡献。2017年IEEE国际计算机视觉会议(ICCV),2017年10月。3[34] 徐祖林王来江,王哲。变换域中的图像显著性预测:一种深度复杂神经网络方法。2019年2月3[35] 放大图片作者:Victor Leboran,Anton Garcia-Diaz,Xose R. 和 Xose M. 帕 尔 多 动 态 白 化 显 著 性 。 IEEETransactionsonPatternAnalysisandMachineIntelligence,39(5):893-907,2017年5月。8[36] 奥利维耶·勒梅尔和蒂埃里·巴奇诺。用于比较扫描路径和显著性图的方法:优点和缺点。Behavior Research Method
下载后可阅读完整内容,剩余1页未读,立即下载
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)