没有合适的资源?快使用搜索试试~ 我知道了~
⃝可在线访问www.sciencedirect.comScienceDirect信息通信技术快递6(2020)170-174www.elsevier.com/locate/icte曲棍球活动认知使用预培训深学习模型凯尔塔纳·朗加萨米一个,*,穆罕默德·阿米尔·阿斯阿里一个,b,努尔阿兹米娜拉赫马德一个,Nurul Fathiah加扎利一个一个学校的生物医学工程和健康科学、学院的工程、大学技术马来西亚、柔佛新山、马来西亚b运动创新和技术中心(SITC)、研究所的人类中心工程(IHCE)、大学技术马来西亚、柔佛新山、马来西亚收到6一月2020年;收到在修订形式15四月2020年;接受28四月20205月21日在线可用2020摘要由于球员内部的快速动态互动,运动中的活动识别通常是一项复杂的任务。在这篇论文中,pre-训练有素的VGG-16,已提出基于深度学习的曲棍球活动识别模型。由于没有可用的场地曲棍球数据集,因此构建了由自由命中、进球、点球角和长角等四项主要活动组成的自己的曲棍球数据集。实验结果表明,预先训练的深度学习模型通过调整对这个具有挑战性的数据集产生比较结果 那个超参数的这个预培训模型。c2020那个韩语研究所的通信和信息科学(踢球者)。 出版服务由埃尔塞维尔B.V. 这个is安打开访问文章下那个抄送BY-NC-ND许可证(http://creativecommons.org/licenses/by-nc-nd/4.0/)。关键词:运动视频分析;深学习;活动认知1. 介绍体育在这些时代的娱乐领域发挥着重要作用[1]。因此,教练们正在寻找多种方法来提高球员的表现能力。教练不可能记住和洞察球员在比赛结束时的所有动作和行动,以利用这些信息来训练他们的球员。的改进可能的错误。 美国一个结果,性能分析师也称为记述分析师,通过记录整个事件、收集数据以识别活动的那个玩家、播放器运动,时间的一个具体活动并向教练展示这些关键发现[2]。稍后,教练将使用这些数据来训练他们的球员并提高球员的表现水平。然而,它是绩效分析师对每项活动进行注释的沉重负担一由一手动在安努力到身份那个活动由球员执行。因此,建议使用自动活动识别系统来自动识别球员在曲棍球球场上的活动。这项研究主要是焦点在曲棍球运动美国只有小研究是* 对应作者。电子邮件地址:keerthana2@live.utm.my(克。Rangasamy),amir-asari@biomedical.utm.my(文学硕士As‘ari),nazmina4@live.utm.my(N.A。 拉赫马德),fathiah5@live.utm.my(N.F。 加扎利)。对等评论下责任的那个韩语研究所的通讯与信息科学(踢球者)。https://doi.org/10.1016/j.icte.2020.04.013从事曲棍球运动。几乎80%的体育相关研究限制专注在足球、篮球、棒球和网球[3]。如上所述的活动识别是绩效分析师开始任何工作的最基本任务之一他们的运动分析。虽然有几个工具,如Dartfish、Sportcode可供性能分析师使用,但他们仍然需要观看整个运动视频,以标记球员为进一步分析所做的活动,无论教练和球员都需要在更短的时间内完成分析的结果[4]。因此,本文侧重于计算机视觉领域的曲棍球活动识别,以方便教练评估球员的表现。已经开发了一种模型,该模型使用曲棍球视频图像作为输入来自动识别曲棍球比赛的四个主要活动。这些活动是罚球角、进球、长角和罚球。对于任何防守犯规,防守球队将获得角球、长角球和罚球。这三项活动在曲棍球比赛中被认为很重要,因为它有能力改变比赛的得分。而对方进球,进球多的球队就是胜利者的那个游戏。 因此,分析那个运动模式以及球员在这些活动前后的位置可以玩巨大的部分在改进匹配表演。为了实现本深入研究的目标实施了学习方法。使用深度神经网络可以学习和提取直接从那个输入不喜欢传统的机器学习方法2405-9595/c 2020那个韩语研究所的通信和信息科学(踢球者)。 出版服务由埃尔塞维尔B.V. 这个is安打开访问文章下那个抄送BY-NC-ND许可证(http://creativecommons.org/licenses/by-nc-nd/4.0/)。K. 朗加萨米,文学硕士 阿斯阿里,N.A. 拉赫马德et艾尔。 /信息通信技术快递6(2020)170-174171表格1传统的方法的运动分析模型。文章提议的模型体育Category表格2深学习方法的运动分析模型。文章提议的模型体育Category[6]提出了一个判别模型,以研究体育视频的层次结构事件。[7]设计检测的分层方法游戏休息在冰曲棍球匹配。[8]通过低水平就业引入基于规则的算法功能[9]使用等位球的曲率和判别特征开发模型来检测足球中的球游戏[10]给出一种使用兴奋的篮球高光一代的方法建模字段曲棍球冰球足球足球篮球[12]使用基于CNN的深度转移学习介绍端到端足球视频场景和事件分类方法[13]使用CNN和RNN开发模型以绘制框架特征和框架时间关系[14]通过使用将事件识别作为操作本地化问题进行处理片段-CNN[15]发现VGG-16与LSTM的耦合模型那个点活动在长足球游戏[16]当前冰球占有事件分类模型使用RNN[17]使用LSTM提出的2阶段深度时间模型模型足球足球足球足球冰球曲棍球排球需要从输入中提取功能的地方要手工制作。提议的模型使用了预训练的VGG-16网络,该网络对曲棍球活动的分类(自由命中、进球、长角和点球角)进行了适当的调整。从YouTube上发现的广播曲棍球比赛中构建了曲棍球图像数据集,因为没有用于活动识别的公开可访问的基准曲棍球数据集。在这个曲棍球数据集中,自由命中、进球、长角和点球角的活动被标记,这些活动将用于使用模型。这篇论文的主要贡献是提出来自自己的广播曲棍球比赛的自动活动识别模型数据集consisting的四播放曲棍球活动:自由命中,进球,长角,还有点球角。本文的其余部分按以下部分组织2是关于体育相关活动认可的相关工作的评论。部分3方法与节的焦点4介绍结果和讨论,最后部分5 is结论。2. 相关的工作2.1. 运动视频分析凭借大量可用的免费在线数据集以及卷积神经网络(CNN)在计算机视觉领域的物体检测和图像分类中的突破,运动分析成为许多研究人员感兴趣的当前主题[5]。虽然以前,运动视频分析是使用传统的机器学习方法完成的,但随着当前技术的发展,运动视频分析出现了新的发展,通过深度学习方法取得了优异的成绩。运动分析is一个巨大的域哪里每个体育有它自己的独特的特征。在早期阶段,在一系列深度学习开发之前,专家设计了每个功能,以提取特定游戏的欲望功能。由于其简单性和灵活性,这些手工机器学习模型仅限于特定运动,例如足球、篮球、棒球和网球[3]。表格1显示列表的一些手工制作运动分析模型。之后那个突破的CNN在对象检测和我-年龄分类,研究人员开始实施和进化使用深度学习方法的传统机器学习模型[11]。它从文本分类开始,慢慢发展到人类活动识别,简单的动作识别直到复杂的组活动认知和体育视频分析。在体育视频分析领域,它可以分为sev类,例如轨迹和跟踪、实施空间特征、时间特征以及时空特征的组合。但是,本文仅关注CNN之前讨论的空间功能的利用。表格2展示了一些关于基于运动视频的深度学习的先前研究分析。3. 方法论3.1. 数据集准备由于没有公开可用的曲棍球数据集,自己的曲棍球数据集是收集的形式国际曲棍球联邦(FIH) YouTube视频的(曲棍球世界杯子2018年)。 该数据集包含自由命中、进球、长角和点球角的视频帧,收集自12场广播曲棍球比赛,作为展示图。1。视频分辨率为1280x720。聚集的视频被转换为视频帧。25 fps的帧速率用于视频帧提取,所有想要的活动都被手工注释。仅从提取的框架中,这些数据集中总共收集了400个曲棍球活动框架,即每类100个,以确保数据集是每晚分发的。这些曲棍球数据集是具有挑战性的数据集,因为它包括来自不同相机视点的视频帧、比例变化、外观和位置玩家。3.2. 框架选择如前所述,曲棍球活动框架数据集是从收集的12个YouTube视频中选择的。每个班级只选择了100个帧,因此本实验总共使用了400个帧。这些RGB框架在VGG-16型号的输入尺寸下调整为224x224。数据集在传递给数据集之前被标准化并保存为numpy数组模型。 在这个学习10折交叉验证是利用了。172K. 朗加萨米,文学硕士 阿斯阿里,N.A. 拉赫马德et艾尔。 /信息通信技术快递6(2020)170-1743.3. 帧级活动识别模型图。1. 曲棍球(a)罚球、(b)进球、(c)长角和(d)点球数据集角落。在这个帧级活动识别系统中,使用了经过Imagenet预培训的VGG-16型号,如中所示图。 2。使用转移精益方法培训这些收集的数据集比使用CNN进行培训更有效划痕。那个VGG-16模型参数是固定的其中16个带3个完全连接层的卷积层后面是softmax层。最后一个完全连接(FC)层被移除,并用新的完全连接(FC)层替换用于此活动分类模型。考虑到收集的数据集接近Imagenet数据集,它不需要完整地微调层。在此模型分类中,曲棍球活动-关系的视频框架是模型的输入。输入被传递到VGG-16型号,该型号对此曲棍球活动识别任务进行了适当调整。输出是从最软层的最高概率获得的。此模型从图像上的整个框架中提取框架级别功能。它从整个框架中学习模式,并从较低级别的功能提取到较高级别的功能,因为它从第一输入层通过连续卷积和循环过程到达此VGG-16模型的层末。训练是使用10折叠交叉验证进行的。总体精度是使用分类测量的交叉中心。此 活 动 识 别 模 型 是 使 用 带 有 Tensorflow 后 端 的 hard(2.3.1版)实现的。使用不同数量的100、200和300纪元重复训练过程三次,以研究其中一个超参数is纪元。 那个批次尺寸是固定的到那个默认价值的32.学习率为0.0001的Adam optimization用于模型的优化,beta 1和beta 2的值被固定为默认值,分别为0.9和0.999。Adam是深度学习领域的一种流行算法,因为它具有出色的快速结果。这些型号在GPU上使用Nvidia GeForce GTX1050进行了培训。框架的提议的模型is插图在图。 3。4. 结果和讨论美国提到前期,那个提议的模型认可曲棍球活动,包括免费击球、进球、长角和点球角。数据集是手动创建和标记的,因为缺乏开放和高质量的曲棍球视频数据集。分层10折交叉验证是利用在这个曲棍球图。 2. 架构的提议的VGG-16模型。K. 朗加萨米,文学硕士 阿斯阿里,N.A. 拉赫马德et艾尔。 /信息通信技术快递6(2020)170-174173图。 3. 框架的提议的分类模型。表格3准确性矩阵的提议的模型。不。时代类精密召回F1-Score准确性自由打1.000.800.89100目标0.930.930.930.90长角落0.820.900.86处罚角落0.861.000.92自由打1.000.800.89200目标1.001.001.000.95长角落0.831.000.91处罚角落1.001.001.00自由打1.000.900.95300目标1.001.001.000.98长角落0.911.000.95处罚角落1.001.001.00活动模型。The term stratifies here means the splitting每个类的数据是相同的。在这个模型中,只有一个超参数被调整,这是纪元的数量。这项研究重复了三次,具有相同的数据集和模型架构,但具有不同数量的纪元,分别是100、200和300。每个时代的精度、召回和F1分数以及该研究的困惑矩阵都被呈现在表格3和图。 4分别。基于表格3,我们列出了每个纪元模型的精度、召回和F1分数。精度检查模型的准确性,召回检查实际结果有多少是正确预测的,而F1分数衡量精度和召回之间的平衡。由于在研究准确性和召回对于准确性测量都是重要的部分,因此我们考虑F1分数来评估模型。根据该车型的F1得分,300分的时代得分最高。它的准确性最高,为98.0%。该模型在自由命中和长角之间略微混淆,因为这两种活动在球员的位置和外观方面具有非常相似的视觉模式。图。4显示用于简单可视化评估模型性能的困惑矩阵。5. 结论在这项工作中,提出了一种基于深度学习的转移学习模型,VGG-16在曲棍球领域的活动识别。 四播放活动认知哪个是自由打,进球,长角落和处罚角落是已识别从那个通过此预训练模型收集曲棍球数据集。该模型实现的最高精度是曲棍球活动识别率为98.0%。这一发现是有希望的,未来的工作应强调纳入更多类型的曲棍球活动和也包括空间功能与时间功能由图。4. Confusion matrix提出了用于不同纪元(A)100的方法,(b) 200和(c)300.174K. 朗加萨米,文学硕士 阿斯阿里,N.A. 拉赫马德et艾尔。 /信息通信技术快递6(2020)170-174将LSTM模型合并,因为提议的预训练VGG-16模型仅关注框架级曲棍球活动的空间功能认知。CRediT authorship contribution声明Keerthana Rangasamy:构思、数据整理、写作原稿、方法、调查。穆罕默德·马德·阿米尔·阿斯阿里:监督,项目管理,写作-ing-评论&编辑。努尔阿兹米娜拉赫马德:写作-评论&编辑。Nurul Fathiah Ghazali:写作-评论&编辑。竞争声明利息作者声明他们不知道可能出现的竞争性经济利益或人际关系到影响那个工作报告在这个纸。Acknowledgements作者想对马来西亚Uni-Versiti Teknologi(UTM)捐赠这项研究和马来西亚高等教育部(MOHE)在Zamalah奖学金和研究 补 助 金 No 。 下 支 持 这 项 研 究 工 作 表 示 感 谢 。Q.J130000.2651.16J20.参考[1] 文学硕士鲁索,一个。菲洛年科,K.H。Jo,使用CNN和RNN按顺序进行体育分类,在:2018年Int。Conf.Inf.社区。技术。 机器人。 ICT-机器人2018, 2018,页。 1-3.[2] 米。斯坦因等,把它带到音高:结合视频和运动增强团队运动分析的数据,IEEE Trans。维斯。计算机。 图形24(1)(2018)13-22.[3] H.C. Shih,A survey of content-aware video analysis for sports,IEEE跨性别。 电路系统。 视频技术。 28(五)(2018)1212-1231.[4] D.顾,体育竞赛战术信息收集分析基于智能提示自动完成算法35,2018年,页。 2927-2936.[5] G.姚,T。Lei,J.Zhong,A review of convolutional-neural-基于网络的动作识别,模式识别。莱特。118(2019)14-22.[6] T.兰,L。西格尔,G。Mori,人类活动识别分层模型中的社会角色,在:Proc。IEEE计算机。Soc.Conf.计算机。 维斯。 模式承认。, 2012,页。 1354-1361.[7] 文学硕士卡博诺,A.J。雷蒙德,E。格兰杰,G。Gagnon,使用上下文描述符在体育赛事中进行实时视觉中断检测,在:Proc。-IEEE Int。辛普。电路系统。,卷。2015-2015年7月,页。2808-2811.[8] D.W. Tjondronegoro,Y.P.P。陈,知识-优惠活动检测-体育视频中的信息,IEEE Trans。系统。曼赛伯恩。A 40(5)(2010)1009-1024.[9] P.L. Mazzeo,P.Spagnolo,M。利奥,T。德马尔科,C。别斯坦特,鲍尔德-使用等位基因曲率和判别的足球图像中的技术特色、模式肛门。 应用。 19(三)(2016)709-718.[10] G.G.李,H.K。金,W.Y。Kim,使用概率兴奋的篮球视频的亮点一代,在:Proc。-2009年IEEE Int。Conf.多管齐下。 博览会、ICME 2009, 2009,页。 318-321.[11] 一个。汗,一个。索海尔,U。美国扎胡拉库雷希,最近的调查架构的深卷积神经网络、2019,页。 1-62.[12] Y.洪,C。玲,Z。是的,具有深度转移学习的端到端足球视频场景和活动分类,在:2018 Int。Conf.英特尔。系统。 计算机。 远景、ISCV 2018,卷。 2018年-5月,2018,页。 1-4.[13] H.江,Y。Lu,J.Xue,基于CNN和RNN结合的深度神经网络的自动足球视频事件检测,在:Proc。-2016年IEEE第28届Int。Conf.带有艺术的工具。英特尔,ICTAI 2016,2017,pp。490-494.[14] T.刘某等,使用3D卷积的足球视频事件检测通过深度距离功能进行网络和射击边界检测,在:计算机科学讲义(包括子系列讲义在人工智能和生物信息学讲座笔记中),在:LNCS、卷。 10635,2017,页。 440-449.[15] J.余,一个。 雷,Y。 胡,足球视频事件检测基于深度学习,在:计算机科学讲座笔记(包括人工智能中的子系列讲义及讲义在生物信息学)、在:LNCS、卷。 11296, 2019,页。 377-389.[16] M.R.托拉,J.J。Little,Classification of puck possession events in icehockey,in:IEEE Conference on Computer Vision and Pattern认知工场、CVPRW、2017,页。 147-154.[17] 米。G.易卜拉欣M.S.,S.穆拉利达兰,Z。邓,一个。Vahdat,群体活动识别的分层深层时间模型,在:IEEE计算机视觉和模式识别会议论文集,2016年,pp。 1971-1980.
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)