在线视频内容的高效分析方法

沙特国王大学学报基于镜头的边缘LBP关键帧提取方法H.M. Nandini，a，b，H.K.Chethana，B.S.拉什米ba印度Mysuru Maharaja理工学院Maharaja研究基金会计算机科学与工程系b印度Mysuru卡纳塔克邦国立开放大学信息技术系阿提奇莱因福奥文章历史记录：收到2020年2020年10月28日修订2020年10月31日接受2020年11月5日网上发售保留字：Sobel算子镜头边界检测梯度函数关键帧提取z分数A B S T R A C T技术的进步导致了在线视频内容的巨大增长，这需要高效和有效的基于内容的视频分析方法。在这方面，有效的方法，突变镜头边界检测（SBD）和关键帧提取已被提出。该方法通过局部二值模式（LBP）方法从纹理特征帧中提取二值化边缘信息来检测突变镜头。此外，欧几里德距离已被应用于直方图特征的构建和自适应阈值被用来检测突变镜头。在关键帧提取阶段，利用Sobel算子从分割镜头的每一帧中提取出幅度梯度。随后，幅度值被转换为Z分数，Z分数描述了每个像素在以每帧的标准偏差为单位测量时与平均值的距离方面的位置。最后，计算每帧的变异系数，并从每个镜头中选择具有最高值的帧作为关键帧。在TRECVID 2001数据集上进行了实验，对所提方法进行了分析和验证。实验结果表明，所提出的SBD和关键帧提取方法优于一些国家的最先进的算法，平均F1分数为98.15%，平均保真度分别为90%。©2020作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍如今，多媒体技术的快速发展导致了网络上可用的视频数据数量的增加。这就需要新的方法来促进视频摘要，索引和检索。视频镜头通常被视为视频分析的基本元素（Duan等人，2013年）。镜头是从单个相机中断中获取的连续帧序列（Thakre等人，2016年）。基本上，镜头边界分为突变和渐变。逐渐过渡包括溶解、淡入、淡出和擦除（Yuan等人，2007年）。整个视频镜头可以使用称为关键帧的单个帧来表示（Hannane等人， 2016年）。视频摘要描绘了视频序列的紧凑表示（Besiris等人， 2008年）。它被表示为一个序列，*通讯作者。电子邮件地址：nandiniksou@gmail.com（H.M.Nandini），hkchethan@gmail.com （ H.K.Chethan ） ， rashmibsrsh@compsci.uni-mysore.ac.in （ B.S.Rashmi）。沙特国王大学负责同行审查静 态 图 像 （ 关 键 帧 ） 或 动 态 图 像 （ 视 频 略 读 ） （ Truong 和Venkatesh，2007年）。视频略读相对于静态摘要的优势在于能够包含音频和运动元素，从而增强摘要所传达的信息（Jadhav和Jadhav，2015）。在静态摘要中，关键帧不受时间和顺序问题的限制。因此，它在浏览和导航的安排方面提供了更多的因此，近年来研究人员更加关注如何有效地开发静态摘要。在本文中，我们已经专注于生成静态视频摘要，玛丽提取关键帧的分割镜头的视频。基于纹理、形状、边缘等的特征提取方法有很多种。基于纹理的特征提取在医学图像分析、遥感、人脸识别和基于内容的图像检索等图像处理应用中起着至关重要的作用。最常用的纹理描述符是局部二进制模式（LBP）（Pietikainen，2005）。此外，为了提高鲁棒性和区分能力，可以使用不同版本的LBP，即平均LBP（Bai等人，2008）、改良的LBP（Jin等人，2004）、中档（Rashmi，2016）、显性LBP（Liao等人，2009）、Pyramid LBP（Qian等人，2011）和其他（Sliti等人，2018）（Khaleefah等人，2019年）已开发。尽管LBP及其变体在纹理分析方面取得了显著的成果，但它们往往将许多模式归为同一类，https://doi.org/10.1016/j.jksuci.2020.10.0311319-1578/©2020作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comH.M. Nandini，H.K. Chethan和BS Rashmi沙特国王大学学报4538对噪音敏感。为了在视频序列中准确地检测镜头边界的出现，我们必须从视频帧中选择有效且高效的特征，这些特征对于诸如照明或照明效果、缩放等的误导因素是鲁棒的。边缘在局部照明变化下很大程度上是不变的，并且受视频中可能的运动的影响要小得多（Escheroh等人，2009年）。与LBP相关的最新文献表明，可以使用边缘信息来提高原始LBP方法的准确性（Abdesselam，2013）。这促使我们开展这项研究工作。所提出的方法检测基于LBP纹理直方图，使用二值化的边缘信息的帧构造的突变。这提高了原始LBP方法的准确性。利用欧氏距离计算相邻帧直方图之间的距离，并采用自适应阈值检测镜头边界。在随后的步骤中，通过在镜头的每个帧上估计其幅度来应用Sobel梯度函数来执行关键帧提取。然后，对幅度值应用Z分数，并计算变化系数以提取关键帧。最后，通过组合获得的关键帧来设计论文的其余部分组织如下：第2介绍了一些相关的工作的简要说明。第3节给出了SBD和关键帧提取的建议方法的详细描述。第4节报告了实验分析和结果，第5节总结了论文。2. 文献综述在本节中，简要概述了各种研究人员关于SBD和关键帧提取方法的文献。2.1. 镜头边界检测在文献中，已经探索了用于SBD的各种方法（Yuan等人，2007;Abdulhussain等人，2018年）。大多数的方法是基于直方图，边缘，像素等。（2016）提出了基于泊松模型的帧间差异直方图方法来检测视频中的剪切和渐变。已经提出了一种经由双阶段方法来检测突变的新算法（Singh等人，2020年）。在第一阶段中，应用自适应维纳滤波器并提取局部二值模式傅里叶变换以减少光照的影响。 在第二阶段中，Canny 边 缘 差 被 用 来 去 除 运 动 和 照 明 的 影 响 。 正 交 变 换 矩（Abdulhussain等人，2019）已经被用于从帧中提取特征以检测视频中 的 硬 剪 切 。 Rashmi （ 2016 ） 引 入 了 中 值 局 部 二 进 制 模 式（MRLBP）作为纹理描述符来检测视频中的突然剪切。尺度不变特征变换已经并入RGB颜色空间，以便识别视频中的突然和逐渐过渡（Elkhattabi等人，2017年）。已经提出了一种使用Fischer线性判别准则基于分割和合并帧工作来识别视频中的镜头切换的新方法（Guru等人，2013年）。Hannane等人，（2016）提出了一种有效的方法通过从帧中提取全局和局部特征相结合的SIFT点分布直方图来检测视频中的突变和渐变。已利用视频的相邻帧之间的逐位XOR耗散性操作（Rashmi和Nrassraswamy，2016）来检测突然的剪切。Dadashi和Kanan（2013）提出了一种基于模糊规则检测视频中突然剪切的新方法。基于运动的SBD（MSBD）已使用curvlet特征呈现（Kanagaraj和Priya，2018），因为它表示不同大小和方向的对象运动。尽管在SBD的文献中有有用的以前的作品，它仍然是一个具有挑战性的问题，以达到所有类型的视频的质量性能。2.2. 关键帧提取关键帧的提取在视频摘要、索引和检索中起着至关重要的作用。因此 ， 人们 对 关 键帧 的 提 取进 行 了 大 量的 研 究 。如 Angadi 和 Naik（2014）所报道的，主要存在四种不同类型的关键帧提取方法：基于采样的方法、基于对象的方法、基于片段的方法和基于镜头的方法。在基于采样的技术中，关键帧是在采样下随机选择的，而不考虑视频的内容。这种技术的主要缺点是，它可能会导致一些必要的但短的视频剪辑没有代表性的帧。基于对象的方法是有效的和语义的，但更突出的前景和方便的某些应用程序只。基于分段的关键帧选择技术可以有效地表示视频的内容。即便如此，分割是一个复杂的过程，并且很难决定分割的数量。基于镜头的方法是有效的，也是重要的方法之一，因为它们从每个镜头中选择关键帧Hannane等人（2016）提出了一种使用基于熵的奇异值度量从镜头 中 提 取 关 键 帧 的 技 术 。 概 率 熵 度 量 已 被 用 于 （ Rashmi 和Nraswamy，2018）在视频镜头的模糊化帧中选择关键帧。Pan等人（2019）介绍了基于聚类的关键帧提取方法。基于从视频帧的相异性和代表性导出的关键帧的能量等级来选择关键帧。一种基于SBD颜色共生矩阵的新型视频摘要方法使用归一化平方差和进行，并 选 择 镜 头 的 中 间 帧 作 为 关 键 帧 （ Mussel Cirne 和 Pedrini ，2018）。使用利用单类分类器作为新颖性检测器的计算框架（Yong等人，2013）以基于帧的语义内容来提取关键帧。Barhoumi和Zagrouba（2013）提出了一种基于基于对象的事件检测从镜头中提取关键帧的方法已经设计了一种基于使用兴趣点、可重复性网络和模块化的逻辑图像描述来提取关键帧的新方法（Gharbi等人，2019年）。Kanagaraj和Priya（2018）提出了基于镜头的关键帧提取，用于多媒体事件分类的特征提取和选择这里，执行块匹配算法（BMA）以避免关键帧之间的相似性上述讨论的方法表明，各种技术，可以使用NIC来提取用于视频摘要的关键帧。然而，从分割的视频中提取关键帧以构建有效的视频摘要是一个很大的挑战。3. 拟议方法SBD和关键帧提取是所提出的方法的两个重要阶段预备步骤是在向前移动到前面的所述阶段之前将提取的视频帧从彩色转换为灰度。首先，灰度图像被转换成二值化的边缘图像，使用不同的边缘检测算子，如Sobel，Canny和Roberts。然后，基于块的LBP计算所获得的二值化图像与无中心像素和直方图构造，形成一个特征集。此外，在相邻帧的直方图特征之间应用欧几里德距离。根据获得的距离值计算自适应阈值来识别镜头边界。在随后的步骤中，Sobel梯度H.M. Nandini，H.K. Chethan和BS Rashmi沙特国王大学学报4539×X函数被应用于分割镜头的每个帧，并且估计其幅度。将Z分数应用于所获得的幅度梯度图像，并计算变化系数。最后从每个镜头中选取变异系数最大的帧作为关键帧。上述阶段大致分为三个步骤，即：(i)特征提取和表示（ii）突然镜头检测和（iii）关键帧提取。下一小节介绍了拟议框架的每一步。图1描述了所提出的方法的总体框架。3.1. 特征提取和表示使用Sobel（Sobel和Feldman，1968）、Roberts（Roberts，1963）和Canny（Canny，1986）边缘检测算子将图像转换为二值化边缘图像，如图12所示。 二、这些边缘描述符在实验中使用，以研究其性能，通过应用LBP方法。通过从二值化的边缘图像像素中提取特征向量，提高了基于LBP的方法的性能。在这里，通过应用LBP技术构造特征向量与和无中心像素的3 - 3邻域的二值化边缘图像。由于考虑了边缘图像的二值化，消除了阈值考虑到中心像素，计算的LBP代码位于0至511的范围内，并且不考虑中心像素，计算的LBP代码位于0至255的范围内BELBP的计算公式如下：p-1描述视觉信息的特征对识别镜头边界的出现起着重要原始的LBP运算器利用中心像素对每个图像像素进行阈值化，BELBP 普雷什粤ICP备16032888号-1p¼03*3邻里。基于阈值指定二进制值0/1。通过将二进制值与对应权重相乘并对结果求和来为每个3 × 3邻域生成LBP码（Ojala等人，1996年）。本文提出了一种新的特征提取方法--二值化边缘局部二值模式（BELBP）最初，灰度图像是这里，p表示邻域中的像素数，R表示半径，Gp给出二值化边缘图像的3*3掩码的二值化值因此，直方图构造使用这些LBP代码为每帧，这有助于镜头边界的检测。图3示出了计算用于二值化的Sobel边缘图像的LBP码的图示。Fig. 1. 拟议方法的框架。图二. anni009视频帧#03955的二值化边缘图像的图示。H.M. Nandini，H.K. Chethan和BS Rashmi沙特国王大学学报4540676723452345n1/1第1页图3.第三章。anni009视频帧#03955的Sobel BELBP计算图解3.2. 突发镜头检测在提取直方图特征之后，下一步是分析适当的度量以比较相邻帧。在突然镜头检测期间，通过使用在块级计算的基于统计的度量来获得最佳结果（Ford等人，2000年）。在该方法中，我们利用欧几里德距离测量来计算相邻帧的直方图帧差值。计算的欧几里德距离表示为等式。vuXn2图像以计算导数的近似值，一个在x方向（列）上，另一个在y方向（行）上估计梯度，如以下等式所示。-10þ1G x¼-两个0þ 2-10 þ1þ1 2þ 1Gy<$0 004我是说德国马克1/1ri-sið2Þ由内核为每个方向上的梯度分量（即Gx和Gy）产生单独的测量值。弹夹-其中DM表示距离度量，并且{ri}、{si}是视频的相邻帧的两个直方图值，其中{i=1，2，3............................................................................................................................，然后使用下面的等式计算梯度的幅值，图4表示Sobel梯度图像的幅值。n}。GM<$qG2G2ð5Þ视频，计算自适应阈值在该实验中，考虑距离值的标准偏差（r）和平均值（l）来计算阈值，并在以下等式中公式化其中，Athd提供自适应阈值，a是常数值如果帧之间的相异度超过自适应阈值，则识别出突然镜头变化。3.3. 关键帧提取然后，将幅度梯度值转换为Z分数，该Z分数根据以下方面测量图像的每个像素的位置：其与平均值的距离，以标准偏差为单位，如以下等式所示：ZGM1/4M ij-1=r6其中，l/1。Pn Pm 通用汽车公司vuPnPm在检测到视频中的突变镜头边界后，被提取，其有效地反映了rut联系我们Mij-ln枪了此外，将提取的关键帧组合以形成视频摘要在文献中，有各种技术来选择具有合理质量的关键帧，但是它们在计算上是昂贵的（Furini等人， 2010年）。在该方法中，选择Sobel梯度算子将灰度图像转换为梯度幅值图像，因为它在精度和计算效率方面优于其他边缘检测器（Abdesselam，2013）。为了提取关键帧，我们首先使用Sobel算子对分割镜头的每一帧应用梯度函数。该算子由一对3*3核组成，它们与原始核卷积，此外，计算变异系数，这有助于识别具有丰富视觉内容的帧。变化值的最高系数的结果指示帧/图像中的像素在边缘区域中是突出的，并且变化值的最小系数指示像素属于均匀区域（Badshah等人， 2012年）。基于该标准，代表最高变化系数值的帧因此被选择为视频镜头内的关键帧，并且公式化如下：CV¼r=1×7mm在获得帧序列的距离值时，XyH.M. Nandini，H.K. Chethan和BS Rashmi沙特国王大学学报4541¼¼-1/4×n1/1第1页其中，l/1。Pn Pm ZGMijvuPnPm见图4。 计算Sobel梯度图像的幅度的说明。4.1. 突变SBD在SBD过程中，将所得结果与地面我的天ZGMij-lntruth，将镜头检测分类为正确、错误或错过的镜头并使用以下措施来评估性能：4. 结果和讨论数据集：为了分析所提出的方法的性能，已考虑来自TRECVID2001数据集的视频序列，并在表1中给出描述。该数据集由突然的切割和不同类型的渐变以及对象运动、相机运动和照明变化组成。不同程度的，这使得检测过程非常召回CdCd精密度CdCdF1评分2ω回忆ω判断召回和预防其中，Cd是正确识别的镜头切眼数，Mdð8Þð9Þð10Þ是乏味。TRECVID 2001视频序列的帧分辨率为320 262。为了分析所提出的方法，考虑了这些视频的镜头过渡信息与地面实况。所提出的方法在两个阶段进行评估：i）镜头边界检测和ii）关键帧提取。使用Matlab 2014a在Intel Core i5处理器上进行了大量的实验，以分析所提出的技术的性能，运行在2.70 GHz，8 GB RAM。表1TRECVID 2001视频数据集的描述。未命中的镜头切数，Fd表示假切。一个优秀的镜头转换检测算法必须具有高查全率和高查准率.通过考虑六种不同的情况，已经进行了实验以在如表1 在所提出的方法中，系统的实验已经进行了不同的组合，如图所示。 五、实验分析基于Sobel、Roberts和Canny边缘图像分类如下：1）具有中心像素的LBP的结果2）不具有中心像素的LBP的结果。带中心像素的LBP：考虑到3*3邻域的中心像素，将LBP应用于二值化的Sobel、Roberts和Canny边缘图像，并构造直方图计算的自适应阈值应用于相邻帧的直方图特征向量根据Sobel、Roberts和Canny图像的召回率、精确率和F1分数分析的结果详见表2。实验结果表明，中心像素Sobel BELBP算法在提取图像的质量、精度和稳定性方面优于其他两种方法。查全率、查准率和F1分数。无中心像素的LBP：类似地，LBP已经被应用于上述的3*3邻域的无中心像素的二值化边缘图像，并且构造直方图。计算的自适应阈值应用于相邻帧的直方图特征向量。在Sobel、Roberts和Canny图像的召回率、精确率和F1得分方面分析的结果详见表3.文件名视频标题帧数突然的转变安妮005'' NASA_25周年-11,36338anni006Show_Segment_5”'' NASA_25周年-12,30641anni009Show_Segment_6”'' NASA_25周年-16,58738anni010Show_Segment_9”'' NASA_25周年-31,38998nad31Show_Segment_10”‘‘Spaceworks52,405187nad33‘‘Spaceworks49,768189nad53‘‘A26,11583nad57‘‘A12,78144H.M. Nandini，H.K. Chethan和BS Rashmi沙特国王大学学报4542图五. 提出的镜头突变方法的实验装置。表2对于不同的边缘算子，使用没有中心像素的LBP的突变SBD的结果视频序列Sobel边缘图像Roberts边缘图像Canny边缘图像RPFRPFRPF安妮0051009597.4410092.6896.2097.3690.2493.66anni00697.5693.0295.2395.1290.6992.8592.6888.3790.47anni00910097.4398.6994.7392.3093.4992.1089.7490.90nad5398.896.4797.6296.3894.1195.2393.9791.7692.85nad5710097.7798.8793.1889.1391.1190.9086.9588.88平均99.2795.9397.5795.8891.7893.7793.4089.4191.35表3使用具有不同边缘算子的中心像素的LBP的突变SBD的结果视频序列Sobel边缘图像Roberts边缘图像Canny边缘图像RPFRPFRPF安妮00597.3688.0992.4994.7387.8091.1392.1087.589.74anni00692.6886.3689.4090.2486.0488.0890.2485.7187.91anni00994.7390.8892.7692.1087.5089.9989.4787.1788.30nad5396.3890.9093.5593.9790.6992.3092.7789.5391.12nad5790.9088.8889.8890.9086.9588.8888.6386.6687.63平均94.4189.0291.6192.3887.7990.0790.6487.3188.94表3中的对比分析表明，Sobel无中心像素的BELBP在召回率、精确率和F1分数方面优于其他两种方法。表2和表3中的结果分析表明，不考虑中心像素的Sobel BELBP在召回率、准确率和F1分数方面优于所有实验情况，并在图3中以图形表示。 六、见图6。获得最佳结果的比较图。记录每种方法所用的CPU时间，并在表4中列出，以分析性能。分析表明，与其他方法相比，无中心像素的Sobel BELBP方法所需时间更短作为结论，它被观察到，索贝尔BELBP无中心像素被认为是一种有效的方法，在精度和计算速度相比，其他方法。所讨论的最佳情况与其他最先进的基于LBP的SBD方法进行了比较，如表5所示。所提出的方法优于原始LBP（Ojala等人， 1996）和其变体MRLBP之一（Rashmi，2016）在区分效率方面具有97%的F1得分，并在图中以图形方式表示。 六、此外，与一些现有的非LBP国家的最先进的SBD算法进行比较研究。表6中的结果示出了所提出的方法与非LBP现有技术方法的改进的效率 。所 提出 的方 法优 于使 用双阶 段SBD 技术 （Chakraborty 和Thounaojam， 2020），软 计算技术（ Rashmi和 Nnarraswamy，2018）和SIFT点分布直方图方法（Hannane等人，2016），F1评分为98.15%，每项评分以图形方式表示在图中。7.第一次会议。然而，所提出的算法在计算上比全局直方图方法昂贵（图8）。所提出的方法中的镜头边界检测是阈值依赖的，H.M. Nandini，H.K. Chethan和BS Rashmi沙特国王大学学报4543¼表4不同方法的特征提取每帧所需的CPU时间（毫秒）具有中心像素的视频序列Sobel边缘Roberts边缘Canny边缘Sobel边缘Roberts边缘Canny边缘安妮0050.3160.3930.4200.2880.3080.379anni0060.2980.3870.4130.2800.3320.364anni0090.3030.4030.4200.2970.3530.370nad530.3500.4120.4530.3040.3490.408nad570.3160.3910.4520.3050.3160.366表5与其他基于LBP的方法的比较视频序列号原始LBP（Ojala等人， 1996）中档LBP（Rashmi，2016）建议方法RPFRPFRPF“安妮005”380.760.940.840.760.880.821.000.950.97“安妮006”410.660.770.710.830.830.830.970.930.95“安妮009”380.740.880.800.790.860.861.000.970.98“nad53”830.770.770.770.870.870.870.980.960.97平均0.730.840.780.810.860.840.980.950.97表6所提出的方法与非LBP SBD方法的比较视频序列号Chakraborty和中国（2020）Rashmi和Nraswamy（2018）Hannane等人，（2016）建议方法RPFR PFRP FRPF“安妮005”3890.5076.082.60100 9597.4410094.961009597.44“安妮009”3889.5097.1093.20一百八十七点五93.3310084.591.6010097.4398.69“nad53”83–––98.7 92.895.6698.893.1498.896.4797.62“nad57”44100100100一百九十七点九98.9410095.697.7510097.7798.87平均93.3391.0391.9399.67 93.396.3499.789.6594.3699.796.6698.15见图7。 所提出的方法与基于LBP的方法的比较图。对突然的照明和相机平移/变焦操作敏感（图 9）。4.2. 关键帧提取视频分析和摘要的重要任务之一是对提取的关键帧进行评价。缺乏地面实况使得对提取的关键帧的评估成为一项繁琐的任务。 关键是-从镜头中提取的帧必须包含最大信息量见图8。所提出的方法与非LBP SBD方法的比较图。{f1，f2，f3，. fn}是输入视频的n个帧，并且R={kf 1，kf 2，kf 3，... kfm}是从视频序列的镜头提取的m个关键帧的集合。集合之间的距离定义如下：dj½mindVi;Rkm 11视频的每一帧的特征使用前面在特征提取部分中讨论的特征来表征。R和V之间的半豪斯多夫距离定义为：dsh¼maxdj12并且，保真度度量被定义为：通过一个镜头传达。在该方法中，采用基于半Hausdorff距离的保真度测度来检验保真一维扫描最大的最大的ð13Þ提取的关键帧的有效性。保真度测量（Chang等人， 1999）被计算为关键帧集和镜头帧集之间的最小距离的最大值。设V =高保真度值表明提取的关键帧集合对视频序列的视觉内容提供了良好的全局描述。所提出的方法的保真度测量值，H.M. Nandini，H.K. Chethan和BS Rashmi沙特国王大学学报4544引用表7见图9。 保真度方面的比较图Abdesselam，A.，2013.利用边缘信息改进局部二值模式技术。Lect. Notes软件工程360-363。https://doi.org/10.7763/lnse.2013.v1.77天啊Abdulhussain ， S.H. ， Ramli ， A.R. ， Mahmmod ， B.M. ， Saripan ， M.I. ， Al-Haddad，S.A.R.，Jassim，W.A. 2019.基于正交多项式的镜头边界检测。多次。工具应用78，20361-20382。https://doi.org/10.1007/s11042-019-7364-3Abdulhussain ， S.H. ， Ramli ， A.R. ， Saripan ， M.I. ， Mahmmod ， B.M. ， Al-Haddad ， S.A.R. ， Jassim ， W.A. 2018. 镜头 边界检 测的方 法和挑 战：综 述。熵https://doi.org/10.3390/e20040214网站。Escheroh，D.，李，M.C.，Banda，N.，坎达斯瓦米大学，2009.自适应面向边缘的镜头边界检测。Eurasip J.图像视频处理。2009. https://doi.org//2009/859371.Angadi，S.，Naik，V.，2014.基于熵的模糊C均值聚类和关键帧提取用于体育视频摘要，在：Proceedings - 2014第五届信号和图像处理国际会议，ICSIP 2014。IEEE Computer Society，pp. 271-279. https://doi.org/10.1109/ICSIP.2014.49Badshah，N.，陈凯，Ali，H.，Murtaza，G.，2012.基于变异系数的活动轮廓图像选择性分割模型。《东亚应用数学杂志》，2，150-169。https://doi.org/10.4208/eajam.090312.080412a网站。Bai，G.，Zhu，Y.，中国科学院，丁志2008.一种基于局部二值模式的分层人脸识别方法。Proc. - 第一届国际恭喜图像信号处理CISP 2008 2，610从保真度角度进行比较分析。614. https://doi.org/10.1109/CISP.2008.520Barhoumi，W.，Zagrouba，E.，2013.实时提取关键帧，视频名称突然割伤按位XOR方法（Rashmi和Nraswamy，2016）该方法视频摘要AASRI Procedia 4，78-84. https://doi.org/10.1016/j的网站。aasri.2013.10.013网站。Besiris，D.，Fotopoulou，F.，Economou，G.，Fotopoulos，S.，2008年视频摘要2005年38 0.85 0.912006年10月31日2009年10月38日0.900.93NAD53平均值0.86 0.90在TRECVID 2001数据集上实施的结果记录在表7中，并使用逐位XOR方法对结果进行了比较分析（Rashmi和Nraswamy，2016）。结果表明，所提出的方法优于Bitwise-XOR方法（Rashmi和Nirraswamy，2016），具有90%的保真度。从TRECVID 2001数据集的视频镜头中提取的关键帧足以以紧凑的方式表示和概括整个原始视频。5. 结论在这项研究工作中，提出了一种简单而有效的方法来生成视频摘要，这有助于视频索引和检索。该算法通过提取视频帧的二进制边缘信息进行LBP直方图特征化来检测突变。利用欧氏距离计算相邻帧的距离比较，并采用自适应阈值检测突变。在TRECVID 2001数据集上对SBD进行的实验分析表明，BELBP直方图具有较好的区分能力，平均F1值为98.15%。在关键帧提取过程中，将Z分数应用于Sobel梯度图像的估计幅度，并计算变化系数。通过组合来自每个视频镜头的具有最高变化系数的所选关键帧来生成视频摘要。从视频镜头中选择的关键帧足够有效，可以构建平均保真度为90%的视频摘要。在未来的工作中，将分析所提出的方法来检测视频中的渐变，并评估其他视觉特征来提取关键帧。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。基于图论的FCM算法。Canny，J.，1986.边缘检测的计算方法。IEEE传输模式分析马赫内特尔PAMI-8，679-698。https://doi.org/10.1109/TPAMI.1986.4767851。查克拉博蒂，S.，Thounaojam，D. M.，2020年。SBD-Duo：一种双阶段镜头边界 检 测 技 术 ， 对 运 动 和 光 照 效 果 具 有 鲁 棒 性 多 次 。 工 具 应 用https://doi.org/10.1007/s11042-020-09683-y的网站。Chang，H.S.， Sull ，S.，Lee，S. U. ，成员，S. ，1999年Efficient Video IndexingScheme for Content-Based Retrieval 9，1269达达什河，卡南HR 2013. AVCD-FRA：一种基于模糊规则的自动视频剪切检测新方法。Comput.目视图像理解117，807-817。https://doi.org/10.1016/j.cviu.2013.03.002网站。段，X.林，L.，Chao，H.，2013.基于无监督随机图划分的视频镜头类别发现。IEEETrans. Multimed. 15，167-180。https://doi.org/10.1109/TMM.2012.2225029。El khattabi，Z.，Tabii，Y.，Benkaddour，A.，2017. 基于尺度不变特征变换和RGB颜色通道 的 视 频 镜 头 边 界 检 测 。 国 际 电 子 计 算 杂 志 Eng.7 ， 2565-2573 中 描 述 的 。https://doi.org/10.11591/ijece.v7i5.pp2565-2573的网站。福特，R.M.，罗布森角，坦普尔，D.，Gerlach，M.，2000.数字视频序列中镜头边界检测的一种新方法。多次。系统8，37-46。https://doi.org/10.1007/s005300050003.Furini，M.，Geraci，F.，Montangero，M.，Pellegrini，M.，2010年。STIMO：静止和移动的视频情节串联图板的网络场景。多次。工具应用46，47网址：http：//doi.org/10.1007/s11042-009-0307-7Gharbi，H.，Bahroun，S.，Zagrouba，E.，2019.基于局部描述和重复图聚类的视频 摘 要 关 键 帧 提 取 。 信 号 、 图 像 和 视 频 处 理 。 13 ， 507-515 。https://doi.org/10.1007/s11760-018-1376-8.导师，博士，Suhil，M.，Lolika，P.，2013年。一种新的视频镜头边界检测方法Hannane河，Elboushaki，A.，Afdel，K.，Naghabhushan，P.，Javed，M.，2016年。提出了一种基于SIFT点分布直方图的视频镜头边界检测和关键帧提取方法. Int. J.Multimed. Inf. Retr. 5，89-104. 网址：//doi. org/10.1007/s13735-016-0095-6。霍 ， Y. ， 王 玉 ， Hu ， H. ， 2016. 视 频 镜 头 和 场 景 边 界 检 测 的 有 效 算 法 。 2016IEEE/ACIS第15届计算机与信息科学国际会议，ICIS 2016 - Proceedings。电气与电子工程师协会https://doi.org/10.1109/ICIS.2016.7550913。Jadhav，P.S.，Jadhav，D.S.，2015.视频摘要使用高阶颜色矩（VSUHCM），在：Procedia计算机科学。ElsevierB.V.，pp.275-281.https://doi.org/10.1016/j.procs.2015.03.140.Jin，H.，刘昆，吕，H.，唐，X.，2004.基于改进LBP算法的人脸检测.程序-第三届国际会议图像图。306-309. 网址：//doi. org/10.1109/icig.2004.62。Kanagaraj，K.，Priya，G.G.L.，2018.基于曲波变换的多媒体事件分类特征提取与选择。J.KingSaudUniv.-ComputInf.Sci.0-8.https://doi.org/10.1016/j.jksuci.2018.11.006网站。Khaleefah，S.H.，Mostafa，S.A.，穆斯塔法，A.，Nasrudin，M.F.，2019年。Gabor滤波器和均匀局部二值模式组合在变形扫描纸张图像上的理想效果J. King SaudUniversity.信息科学https://doi.org/10.1016/j.jksuci.2019.07.012.Liao，S.，劳，M.W.K.，Chung，A.C.S.，2009年用于纹理分类的主导局部二值模式IEEE传输图像处理。18，1107-1118。https://doi.org/10.1109/TIP.2009.2015682。H.M. Nandini，H.K. Chethan和BS Rashmi沙特国王大学学报4545贻贝卷，M.V.，Pedrini，H.，2018. VISCOM：一种使用颜色共生矩阵的鲁棒视频摘要 方 法 。 多 次 。 工 具应 用 77 ， 857- 875 。 https://doi.org/10.1007/s11042-016-4300-7网站。Ojala，T.，Pietikäinen，M.，哈伍德，D