⃝可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 6（2020）155www.elsevier.com/locate/icte基于梯度自相关的监控视频暴力检测迪帕克·K Vignesh L.K.P.，钱德拉卡拉湾∗印度SASTRA大学智能系统小组接收日期：2020年2月29日;接收日期：2020年4月5日;接受日期：2020年4月13日2020年7月2日在线发布摘要视频的自动监控由于其在公共和私人领域的广泛应用而成为强制性的。特别是在拥挤场景中检测异常人类行为的研究引起了计算机视觉研究人员的广泛关注。由于人群的快速移动、遮挡和杂乱的背景，理解拥挤场景中的模式总是具有挑战性的。在这项工作中，我们探索时空自相关的梯度为基础的功能，以有效地识别拥挤的场景中的暴力活动。然后使用判别分类器来识别视频中的暴力行为。实验结果表明，与现有的最先进的方法相比，所提出的方法的性能得到了c2020年韩国通信与信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：暴力检测;时空梯度自相关;支持向量机;运动边界直方图; K-近邻1. 介绍人类活动的自动识别已经广泛应用于许多实时安全应用，例如公共和私人空间中的医疗保健、视频检索和暴力检测。暴力检测系统主要是对目标场景中的暴力行为进行识别和定位。图中显示了来自人群暴力数据集的几个场景。1.一、由于在公共场所安装了数千个监控摄像头，人工监控非常繁琐，因此通过机器学习算法进行自动异常事件检测的范围很广。主要的挑战在于从大量的视频中提取和表示有用的视觉线索。另一个关键挑战来自特征选择部分。轨迹分析似乎是从视频中捕获高级特征的最自然的方法，并且它表现得非常好在不拥挤的场景。但是，由于复杂的前景运动和遮挡，轨迹分析无法检测拥挤场景中的异常最近的一项工作[1]报告说，低级别的时空特征比全局特征对光照、遮挡和不一致性更鲁棒∗ 通讯作者。电子邮件地址：deepak@sastra.ac.in（Deepak K.），lkpvignesh@gmail.com（Vignesh L.K.P.），chandrakala@cse.sastra.edu（Chandrakala S.）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2020.04.014因此，我们专注于使用更简单的模型而不是数据饥渴的深度模型来检测监控视频中的暴力活动。机器学习算法的 效 率受 到 原 始 数 据表 示 的 高 度 影响 。 我 们 探 索了STACOG（事件的时空自相关性）[2]特征，通过利用区别性分类器来表示监控视频中发生的暴力或非暴力活动，该分类器接受向量形式的输入数据。在所提出的工作中，我们首先从输入视频中提取梯度特征的自相关性。然后，将基于自相关特征的表示作为输入馈送到诸如支持向量机（SVM）的判别分类器，以分类不同的正常和异常活动。2. 基于梯度自相关的暴力检测数据表示被认为是机器学习应用成功的关键步骤之一。数据的有效表示有助于改善不同类别之间的区分。我们探索空间时间自相关的事件（STACOG）作为手工制作的功能，以了解暴力活动的特点，从监控视频。所提出的方法包括两个阶段，如图所示。2：（1）提取基于梯度的自相关（STACOG）[2]特征;（2）使用SVM分类器对暴力/非暴力活动进行区分学习。2405-9595/2020韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。156迪帕克·KVignesh L.K. P和Chandrakala S./ICT Express 6（2020）155=⊗图1.一、 来自Crowd Violence数据集的暴力场景示例。图二、 拟议办法概览。图图3清楚地说明了从视频中提取STACOG特征。2.1.时空自相关分析STACOG （ Spatio-Temporal Autocorrelation of GradientBased Features）[2]是一种高速特征提取技术，它利用了空 间 和时 间 域 中时 空 梯 度之 间 的 局部 关 系 。此 外 ，STACOG特征的平移不变性使其适用于人群模式识别。在运动识别中，从子序列中提取帧特征在时间轴上的密集点采样的帧。活动的局部关系对应于几何特征，如梯度和曲率，它们是时空运动的基本性质。图3清楚地示出了从视频中提取STACOG特征基于帧的特征是有效和快速的，这是由于通过在沿时间轴放置的几个采样点上应用直方图来相比之下，图三. 基于梯度时空自相关的特征提取。在一个标准的特征技术包中的兴趣点的数量，STACOG仅使用几个采样点来形成运动表示。梯度向量是从视频中的每个时空点处的运动体积I（x，y，t）的（Ix，Iy，It）导数导出的。梯度向量可以由沿时间轴的幅度、空间方向和时间高度几何地表示。从幅度信息获得的梯度的方向被编码成B方向箱放置在一个单位球上通过执行加权投票到最近的箱。最后，方向由B维向量给出h，其被称为“空时定向编码（STOC）”向量。空间-时间梯度的N阶自相关函数（RN）由等式（1）（1）[2]。RN（a1. . . aN）= aWw [m（r）. . . m（r + aN）]×h（r）···h（r+aN）dr（1）幅度m和STOC向量h用于定义自相关函数。距参考点r（x，y，t）的距离矢量由符号ai给出。其中，w表示权重，向量的张量积由下式给出。关于梯度方向的几个非零分量由等式右侧的ai给出。机器学习算法的识别精度高度依赖于原始数据的表示。因此，我们采用STACOG描述符来从视频中提取有意义的运动信息。然后是一个固定的维度表示，作为SVM的输入，在暴力/非暴力活动之间进行分类。分类器（如SVM）专注于对类间的决策边界进行建模，并被证明对训练数据较少的预测任务3. 实验装置3.1. 数据集在2个具有挑战性的基准数据集上进行了实验。曲棍球比赛数据集[3]共有1000个来自国家曲棍球联盟的迪帕克·KVignesh L.K. P和Chandrakala S./ICT Express 6（2020）155157++++++++××∗∗+++++++++++表1对人群暴力数据集的检测结果算法准确度（%）光流场的直方图BoW [5] 58.71[5]第五届全国人大代表MoSIFT BoW [5] 57.09光流HMM直方图（基线）65.20运动边界直方图HMM（基线）73.00VIF SVM [3] 82.13高斯光流模型[6] 82.89AMDN [7] 84.72Weber局部描述符BoW [5] 88.16[5]第五届全国人大代表双向LSTM [8] 92.18STACOG+ KNN 81.80STACOG+ MBH功能+SVM 89.00STACOG功能+SVM 91.38（NHL）。人群暴力数据集[3]是专门用来测试人群行为检测的。该数据集共有246个真实视频片段，其中暴力片段123个，非暴力片段123个，分辨率为320 240像素所有的实验都是使用五折交叉验证两个数据集。3.2. 执行我们的额外的实验，除了建议STACOG为基础的方法使用MBH（运动边界直方图）描述符的块大小为12 2 6提取运动信息。我们每4帧采样一次视频。此基线方法产生用于视频的约144个描述符，其由视频块的总数与定向仓的数目的乘积形成，如[4]中所描述。对于这两个数据集，形成的序列向量的平均大小是约7200 - 144维。最后，在隐马尔可夫模型（HMM）的帮助下，对序列进行建模，并对暴力/非暴力活动进行分类。HMM的混合和状态根据经验选择为4个状态和2个混合，并建立训练模型。所有的实验都是在具有8 GB RAM的i5处理器系统中进行的。4. 性能分析表1和表2比较了所提出的方法与几种最新方法的性能。2分别为曲棍球打架和人群暴力数据集。基于局部时空描述符的方法通常与传统的词袋方法相结合，因为它在暴力检测任务中表现出了一些有前途的性能。将BOW（ Bag-Of-Words ） ， GMOF （ Gaussian Model of OpticalFlow ） [6] ， VIF （ Violent Flow ） [3] 和 HMM （ HiddenMarkov Model）等方法与所提出的方法的性能进行了比较。然而，基线BoW方法纯粹依赖于局部时空描述符的区分能力表2Hockey Fight数据集上的检测结果算法准确度（%）光流HMM直方图（基线）73.00运动边界直方图HMM（基线）76.50光流BoW直方图[5] 86.07MoSIFT BoW [5] 88.81HNF BoW SVM [5] 89.27Weber局部描述子BoW SVM [5] 89.28AMDN [7] 89.70VIF SVM [3] 90.07[5]第五届全国人大代表高斯模型的光流[6] 92.10[9]第九届全国人大代表双向LSTM [8] 96.54STACOG+ KNN 83.40STACOG+ MBH功能+SVM 88.50STACOG功能+SVM 90.40表3所提出的方法的精确度和召回率曲棍球比赛0.90 0.90 0.95视频. BoW模型的其他缺点是量化误差和光流噪声，这导致性能差。由于我们的方法是合理的歧视，它已设法优于所有其他的BoW方法，通过利用特征表示，平均精度提高了近25%。然而，对于曲棍球比赛数据集，MoIWLD BoW方法显示出比所提出的方法略有改善的性能，因为该方法结合了表示约束和系数调整。Alex Hanson等人[8]提出了一种双向C-LSTM架构，使用帧差作为输入来检测视频中的暴力活动。作为现有暴力检测模型的一种变体，作者提出了一种新的双向时间编码技术和元素最大池来形成时空编码。所提出的方法显示的结果比方法[8]相对较少，因为它不涉及任何用于特征学习和分类的深度学习技术。从结果中，还观察到，STACOG描述符工作良好的真实世界的场景，涉及密集的运动和相机不稳定。在基于STACOG的方法的情况下的示例假警报示于图1A和1B中。4和5.基于STACOG的方法利用了SVM分类器的代表能力，从而提高了性能。我们还经验性地证明了我们提出的想法在现有流行的HOF和MBH特征描述符上的性能作为一种替代方法，我们尝试将STACOG特征与MBH特征相结合来捕获运动信息及其边界。但据观察，这种方法并没有比STACOG功能更好。作为SVM分类器的替代，K-最近邻分类器数据集精度召回特异性人群暴力0.910.880.88158迪帕克·KVignesh L.K. P和Chandrakala S./ICT Express 6（2020）155表4形成一段曲棍球比赛和人群暴力数据集（Intel i5 - 8）的表示所需的时间GB RAM机器）。方法人群暴力曲棍球比赛时间（秒）ACC（%）时间（秒）ACC（%）MoSIFT [5]–57.0943.2288.81VIF [3]–82.1316.2790.07森林公园[9]––0.4694.60STACOG0.6091.380.6290.40见图6。Crowd Violence数据集（第1行）和hockey fight数据集（第2行）的第一个折叠的混淆矩阵。图四、 人群暴力数据集中的误报（人们挥舞旗帜）。图五. 人群暴力数据集中的误报（人们用力鼓掌）。测试了STACOG描述符的性能。但是KNN分类器的观察结果相对于SVM分类器非常低，如表1和表2所示。如图6.，与KNN分类器相比，SVM分类器在两个数据集上都实现了更高的真阳性率，这证明了所提出的方法的有效性。表4给出了所提出方法的运行时分析。尽管使用了浅层模型，但所提出的方法实现的特征提取时间几乎等于Hough Forests [9]方法。我们已经进行了实验与自相关的梯度功能，它提供了一个更好的准确性比大多数现有的方法时，支持向量机它被用作分类器。从表3中可以看出，我们提出的混合表示在严重拥挤的场景中检测暴力活动而不是非暴力活动方面表现更好，并且在误报率方面略有妥协。5. 结论在拥挤的场景中识别暴力的人类活动被认为是所有计算机视觉应用中的核心重要性。在本文中，我们探索了基于梯度自相关的方法，用于监控视频中的暴力检测，而不是数据饥饿的深度模型。该方法降低了活动表示的维度，从而显式地减少了特征的计算时间。在人群暴力和曲棍球比赛基准数据集上的实验也证明了所提出的基于特征的表示与其他现有技术方法相比的效率。CRediT作者贡献声明Deepak K.：方法，写作-原始草案，验证。VigneshL.K.P.：数据管理，软件。Chandrakala S.：概念化、督导、编审.竞合利益作者声明，他们没有已知的可能影响本文所报告工作致谢作者要感谢以下资助机构：迪帕克·KVignesh L.K. P和Chandrakala S./ICT Express 6（2020）155159（没有。DST/CSRI/2017/131（G））项目，该项目是印度政府科学技术部批准的认知引用[1] Y. Xian，X. Rong、黄毛菊X. Yang，Y. Tian，Evaluation of low-levelfeatures for real-world surveillance event detection ， IEEE Trans.CircuitsSyst.VideoTechnol.27 （ 3 ） （ 2017 ） 624http://dx.doi.org/10.1109/TCSVT.2016. 2589838[2] T. Kobayashi，N.最大类间方差，基于时空梯度局部自相关的运动识别，模式识别。Lett. 33（9）（2012）1188-1195。[3] T. Hassner，Y. Itcher，O. Kliper-Gross，暴力流：暴力人群行为的实时检测，在：2012年IEEE计算机协会计算机视觉和模式识别研讨会会议，2012年，pp. 1http://dx.doi.org/10.1109/CVPRW.2012.6239348[4] J. Uijlings ， I.C. Duta ， E.Sangineto ， N.Sebe ， 密 集 提 取HOG/HOF/MBH特征的视频分类：对准确性/计算效率权衡，国际多媒体信息检索杂志。4（1）（2015）33http://dx.doi.org/10.1007/s13735-014-0069-5[5] T. Zhang，W. Jia，X. He，J. Yang，Discriminative dictionary learningwith motion weber local descriptor for violence detection，IEEE Trans.Circuits Syst. Video Technol. 27（3）（2017）696http://dx.doi.org/[6] T. Zhang，Z.杨，W.贾湾，加-地Yang，J. Yang，X.他…一种新方法用于监控场景中的暴力检测，多媒体工具应用程序。75（12）（2016）7327[7] D. Xu，E. Ricci，Y. Yan，J. Song，N. Sebe，学习异常事件检测的外观和运动的深度表示，2015年，arXiv预印本arXiv：1510.01553。[8] A. Hanson， K. Pnvr ，S. 克里 希纳 戈帕尔 湖Davis， Bidirectionalconvolutional LSTM for the detection of violence in videos ， in ：ProceedingsoftheEuropeanConferenceonComputerVision（ECCV），2018，pp.0比0[9] I.塞拉诺岛Deniz，J.L.埃斯皮诺萨-阿兰达湾陈文辉，基于人工神经网络的视频图像识别，北京大学出版社，2004。27（10）（2018）4787 http://dx.doi.org/10。1109/TIP.2018.2845742。
我的内容管理
展开
