时空维度下用于要旨感知的生物启发运动注意力

0AASRI Procedia  5 ( 2013 )  243 – 24802212-6716 © 2013作者们。由ElsevierBV出版。选择和/或同行评议由美国应用科学研究学会负责。doi: 10.1016/j.aasri.2013.10.0850ScienceDirect02013年AASRI并行与分布式计算系统会议0基于空间的生物启发运动注意力0时间维度0Jiawei Xu a* , Shigang Yue b0a,b林肯大学计算机科学学院，英国林肯，LN6 7TS0摘要0本文分析了运动对人类视觉系统的影响。通过使用脑电图（EEG）和γ-氨基丁酸（GABA），我们证明中间颞区（MT）对运动感知敏感。它连接了LGN（外侧膝状核）、V1（初级视觉皮层）和MST（中央颞区），这些区域之间的反馈是平行和循环的。几乎所有MT区域的神经元都对特定的运动方向和角度显示出偏好。某个神经元在特定相位的瞬时放电率比其他相位高出10倍。对某种特征产生类似响应的神经元可以组成一个神经元群并同步工作。我们的贡献是模拟了一个计算的运动场模型，可以在一定程度上反映MT中的神经元活动。这个模型可以在一定程度上解释注意选择机制和视觉感知。然而，还需要进一步研究神经元之间的相互连接和相关性。© 2013由ElsevierBV出版。选择和/或同行评审由美国应用科学研究学会负责 关键词：运动场、多尺度运动矢量、时空维度0* 通讯作者。电话：+44 (0) 7574339972电子邮件：jxu@lincoln.ac.uk或abyssecho@hotmail.com0在线访问www.sciencedirect.com0© 2013作者们。由Elsevier BV出版。选择和/或同0在CC BY-NC-ND许可下开放访问。0在CC BY-NC-ND许可下开放访问。 0244     Jiawei Xu and Shigang Yue /  AASRI Procedia  5 ( 2013 )  243 – 24801. 引言0当前的研究认可了人类视觉感知的三个准则。它们是稀疏准则、时间缓慢准则和独立准则。本文基于稀疏标准研究运动线索。稀疏准则背后的意义是大多数神经元对外部刺激（包括视觉、听觉和嗅觉信号等）都表现出相对较低的响应，只有少数神经元表现出明显的活动。一个神经元对刺激输入的响应分布具有稀疏和离散的特性，这些特征对于视觉系统研究中的维度推导和特征提取至关重要。时间缓慢准则可以描述为信号和环境随时间的快速变化，而特征随时间的变化较慢。因此，如果我们能够从视觉输入中提取出慢变化的特征（如随机运动、角度变换或旋转），计算算法将对生物启发模型具有鲁棒性。第三个准则意味着神经元对外部刺激是独立的。独立特征子空间与多维独立分量分析的组合有效地解释了这一准则。本文中，我们模拟了一个可以瞬间反映人类视觉选择的计算模型。为了表示复杂和不规则的神经元活动，我们对问题进行了简化和量化，使其可以在个人计算机上轻松模拟。框架如图1所示。本文组织如下：第2节详细描述了模型和算法，给出了算法的详细描述。第3节给出了实验部分。第4节给出了结论和与其他最先进模型的比较。0图1. 我们提出的模型框架02. 模型分析和算法设计0模型设计概念如下所述。运动强度线索揭示高度移动的对象。空间线索指示空间中不同的运动物体，而时间线索则表示一个对象在时间维度上的变化性。此外，运动方向权重运动显著图并在很大程度上影响结果。例如，当我们捕捉到一个135度的运动时0完全搜索动态输入0时间维度0运动矢量0特征通道0中值滤波器0运动感知图0显著图 (1) ) (3) 0245  Jiawei Xu and Shigang Yue /  AASRI Procedia  5 ( 2013 )  243 – 2480由大多数45度运动矢量组成的运动显著图上的运动。这对我们的人类视觉系统来说非常奇异和明显，意味着在下一个阶段上有较高的调谐权重。我们选择未压缩的视频样本以保持信息的保真度。在每一帧中，运动矢量的空间布局将组成一个称为动态运动感知场的场，该术语可以视为人眼的感光器，所有运动矢量可以替代为光神经的感知响应。模型设置为3种特征线索：运动强度线索、空间相位和时间相位。当动态运动感知场中的运动矢量经过这些线索时，它们将转化为三种特征图。我们通过线性组合将线索的归一化输出融合成运动线索图，并通过权重进行调整。最后，采用图像处理方法在显著图像中检测出关注区域。我们的实验结果如图2所示，图中给出了原始输入视频、运动线索图和相应的整体感知输出的流程图。第一个视频剪辑基于22个时空维度，而其他视频剪辑分别基于18、25、109个维度。根据预测，我们在完全搜索块的每个位置上有三个线索。每个块是视频编码器中运动估计的基本单元，由一个强度像素和两个色度像素块组成。由于计算负担，我们采用8*8的宏块。然后，通过计算运动矢量的幅度来获得强度线索。02 2 . , ( , ) / i j i j I i j dx dy MaxMag0这里，( )ij dxdyij表示运动矢量的两个分量的乘积，MaxMag是动态运动感知场中的最大值。空间相干相位引起运动矢量的空间相位一致性，高概率位于运动物体中。相反，运动矢量不一致的区域可能位于物体边缘或静止状态附近。首先，在Marco块的每个位置计算一个大小为*m*m像素的空间窗口的相位直方图。每个的bin大小为10度，将360度分为36个间隔，即从0度到10度我们将其视为相同的角度。然后，通过全搜索熵计算相位分布，计算如下：0n0C i j p t p t0p t SH t H k (2)0其中 s C 表示空间连贯性，( ) m SH i j t 是空间相位直方图，其概率分布函数为 ( ) s p t ，n是直方图的总数。类似地，我们定义一个滑动窗口内的时间相位连贯性，窗口大小为W(帧)。它将作为时间连贯性提示的输出，如下所示：0n0n W W t i j i j k0C i j p t p t0p t TH t TH k0其中 t C 表示时间连贯性，( ) W TH i j t 是时间相位直方图，其概率分布函数为 ( ) t p t ，n仍然是直方图的数量。此外，我们通过增加帧数作为时间维度，输出更容易区分差异。结果表明，如果我们延长帧数，关注区域可以更精确，如图5所示。拉普拉斯滤波器用于去除输入帧生成的脉冲噪声。在实验阶段，我们采用了3*3、7*7…、25*25的窗口滑动，但最终我们使用了3*3的窗口，以方便后续计算。 0246 Jiawei Xu and Shigang Yue / AASRI Procedia 5 (2013) 243-2480为了评估视觉感知的效率，我们在几种类型的基准视频序列上应用了这些方法。测试结果的详细信息见表2。我们在一台Acer笔记本电脑上测试了我们的模型，每台电脑都配有四核2.1 GHz的IntelXeon处理器，基准视频测试数据集列在表1中，根据不同的类型。03. 实验结果0表1. 表格示例0编号 视频主题 时间维度01 冲浪选手 2202 滑翔机 1803 摩托车 2504 交通动脉 1090表2. 显著区域比较，这里我们将地面真实性设为1，地面真实显著区域由10个参与者标记。ROC面积0Itti& Koch显着性模型[8,9] 0.78120Achanta的显着性模型[11] 0.74580AIM[10] 0.73190我们的模型 0.831604. 结论与未来工作0我们的贡献可以列举如下。我们通过计算模型使用生物启发的人类视觉系统，提出了一种关于运动效果的新方法。这是一种新颖和先进的方式。与心理学方法不同，使用计算机视觉技术可以更生动地描述人类的注意选择。为了进一步验证所提出的方法，我们将我们的方法与几种最先进的方法进行了比较。自从关注模型出现以来，已经提出了许多度量标准。通常情况下，评估中广泛采用的有两个指标，突出显示了显着信息，量化了关注模型以突出显示显着区域。我们通过精确度、召回率和F-measure来衡量所提出方法的整体性能，并将其与现有竞争自动显著对象分割方法的性能进行比较，例如Itti和Koch的方法[8][9]，AIM[10]和Achanta的方法[11]。 ))0247 Jiawei Xu and Shigang Yue / AASRI Procedia 5 (2013) 243-2480图2. 我们提出方法的评估0根据标准评估方法，精确度是检测到的显着性地图与非地面真实显着性地图之间的百分比。召回率是检测到的显着性地图与地面真实显着性地图之间的百分比。精确度的最高百分比表示真实关注区域，召回率类似于假阳性。F-measure是一种特殊的方法，用于预测模型的整体性能。本研究使用的精确度(P)、召回率(R)和F-measure是根据以下公式计算的：0P S A S0R S A A0F P R P R (4)0这里S表示提出的关注区域，A是地面真实关注区域，S*A表示通过像素乘法的灰度图像。（...）是每个像素的灰度值的总和。显然，较大的F值意味着更好的效果结果。本文关注运动线索及其对人类视觉系统的影响。总体而言，结果令人满意，我们正在尝试模拟自上而下和自下而上的路径中的运动效果。如果考虑到现实世界中的个体代理，它们将导致不同的输出。0致谢0感谢所有参与此研究的建模工作的合作者，以及林肯大学计算机科学学院的成员们对此研究的讨论和反馈。本研究得到了欧盟FP7-IRSES项目EYE2E（269118）、LIVCODE（295151）和HAZCEPT（318907）的资助。0参考资料 0248 Jiawei Xu and Shigang Yue / AASRI Procedia 5 (2013) 243-2480[1]刘杰，Newsome, WT (2005).时间视觉区域中速度感知与神经活动的相关性。神经科学杂志。25(3):711-722。[2]Newsome, WT和Paré, EB(1988). 中等时间视觉区域(MT)损伤后的运动感知选择性障碍。神经科学杂志。8: 2201-2211。[3]YF Ma, LLu, HJ Zhang, M Li, "用于视频摘要的用户注意模型" ACM Multimedia’02..[4]http://www.viratdata.org[5]http://cim.mcgill.ca/~lijian/database.htm[6]http://www-prima.inrialpes.fr/PETS04/caviar_data.html[7]http://people.csail.mit.edu/tjudd/research.html[8]L. Itti, C. Koch,特征组合策略用于基于显著性的视觉注意系统，电子成像杂志，第10卷，第1期，2001年1月，第161-169页。[9]L. Itti, C. Koch, E. Niebur,用于快速场景分析的基于显著性的视觉注意模型，IEEE模式分析与机器智能交易，第20卷，第11期，1998年11月，第1254-1259页。[10]L.Bruce, N.D.B., Tsotsos, J.K.,基于信息最大化的注意力。视觉杂志，7(9):950a,2007年。[11]R. Achanta和S.Süsstrunk，用于内容感知图像调整的显著性检测，IEEE国际图像处理会议，2009年。[12]L Chelazzi, MCorbetta, 灵长类大脑中视觉空间注意的皮层机制, 新的认知神经科学，667-686。