细粒度动作质量评估：FineDiving数据集和程序感知方法

2949FineDiving：一个用于过程感知行动质量评估徐景林*，饶永明*，于旭敏，陈光毅，周杰，陆继文<$清华大学自动化系北京国家信息科学技术研究中心{xujinglinlove，raoyongming95} @ gmail.com; yuxm20@mails.tsinghua.edu.cn;guangyichen1994@gmail.com;{ jzhou，lujiwen} @ tsinghua.edu.cn图1. FineDiving数据集和程序感知动作质量评估方法概述。FineDiving是一个细粒度的体育视频数据集，对动作过程进行了详细的注释。通过在查询实例和范例实例之间构造一个新的时间分割注意力模型，提出了一种具有更好可解释性摘要大多数现有的动作质量评估方法依赖于整个视频的深层特征来预测分数，由于推理过程不透明和可解释性差，因此不太可靠。我们认为，理解高层次的语义和内部的时间结构的动作在竞技体育视频是关键，使预测准确和可解释的。为了实现这一目标，我们构建了一个新的细粒度数据集，称为FineDiving，开发了不同的潜水事件，详细的注释行动程序。我们还提出了一个程序感知的方法进行动作质量评估，学习了一个新的时间分割注意力模块。具体来说，我们建议将成对查询和示例动作实例解析为具有不同语义和时间对应关系的连续步骤。提出了过程感知的交叉注意学习嵌入算法，*同等贡献。 †通讯作者。Tween查询和范例步骤以发现它们的语义、空间和时间对应关系，并且进一步用于细粒度对比回归以导出可靠的评分机制。大量的实验表明，我们的方法实现了实质性的改进，国家的最先进的方法，具有更好的可解释性。数据集和代码可在https：//github上获得。com/xujinglin/FineDiving.1. 介绍竞技体育视频理解已经成为计算机视觉领域的研究热点。动作质量评价作为理解运动动作的关键技术之一，近年来受到越来越多的关注在2020年东京奥运会上，体操AI评分系统作为评判员，评估运动员的得分表现，并为提高运动员的竞技水平提供反馈，减少了2950例如，在一个实施例中，跳水和体操。AQA是一项任务，通过在分析性能后估计一个分数来评估一个动作的执行情况。不喜欢的常规动作识别[2，8，13，17，26，33，34，36，40-大多数现有的AQA方法[1，5，6，9，18，27-由于潜水事件通常是在类似的环境中拍摄的（即，水上运动中心），所有视频包含相同的动作程序，即“起飞”、“飞行”和“进入”，而细微的差异主要出现在空翻和转体的数量、飞行位置以及它们的执行质量上捕捉这些细微的差异，要求AQA方法不仅要解析潜水动作的步骤，而且要明确量化这些步骤的执行质量。如果我们仅仅通过对整个视频的深层特征进行评分来判断动作质量，这将是对动作质量的混乱和不透明的评估，因为我们无法通过分析动作步骤的性能来解释最终得分。认知科学[22，32]表明，人类学会通过引入细粒度的注释和可靠的比较来评估动作质量。受此启发，我们introduce这两个概念到AQA，这是具有挑战性的，因为现有的AQA数据集缺乏细粒度的动作程序的注释，不能进行可靠的比较。如果我们使用粗粒度的标签来判断动作质量，我们无法从最终动作质量得分追溯到令人信服的原因。构建一个细粒度的体育视频数据集，以鼓励一个更透明和可靠的AQA评分方法。为了应对这些挑战，我们构建了一个新的竞赛视频数据集FineDiving有几个特点（图1，上半部分）：（1）两级语义结构。所有视频都在两个级别上标注语义标签，即动作类型和子动作类型，其中呈现的子动作类型的组合产生动作类型。(2)两层时间结构。在每个视频中的动作的时间边界被注释，其中每个动作被手动分解成连续的步骤，根据定义良好的词典。(3)正式动作得分、裁判员受最近提出的Core [47]的启发，我们进一步提出了一种程序感知方法，用于评估FineDiving上的动作质量（图1，下半部分）的所提出的框架利用新的时间分割注意模块（称为TSA）来学习过程感知嵌入，以预测具有更好的可解释性的准确分数。具体来说，TSA首先将动作解析为具有语义和时间对应性的连续步骤查询动作的连续步骤被用作查询，示例动作的步骤被用作键和值。然后TSA将两两查询和范例步骤输入到Transformer中，通过交叉注意学习获得过程感知的嵌入。最后，TSA对过程感知的嵌入执行细粒度对比回归，以量化查询和示例之间的逐步质量差异，并预测动作得分。这项工作的贡献总结如下：（1）构建了第一个细粒度的体育视频数据集动作质量评价包含丰富的语义和多样的时间结构。(2)我们提出了一个程序感知的方法进行动作质量评估，这是学习一个新的时间分割注意力模块和量化查询和样本之间的质量差异，在一个细粒度的方式。(3)大量的实验表明，我们的过程感知方法得到了实质性的改进，达到了最先进的水平。2. 相关工作体育视频数据集。体育视频中的动作理解是计算机视觉领域的一个热门研究课题，它比理解一般视频数据集中的动作更具挑战性，例如，HMDB [16]、UCF-101 [37]、Kinetics [2]、AVA [11]、ActivityNet [7]、THU-MOS [10]、Moments in Time [23]或HACS [49]，因为运动和环境的类间方差较低。竞技体育视频动作理解严重依赖于可用的体育数据集。Early，Niebles etal. [25]引入奥林匹克运动数据集对运动进行建模。Karpathy 等 人 。 [14] 提 供 了 一 个 大 规 模 的 数 据 集Sports1M，并在强大的基于特征的基线上获得了显着的性能。Pirsiavash等人 [31]发布了第一个奥运会裁判数据集，包括跳水和花样滑冰。Parmar等人。 [29]发布了一个新的数据集，包括跳水，体操跳马，花样滑冰，以便更好地研究AQA。 Bertasius等人 [1]提出了一个第一人称篮球数据集，用于估计篮球运动员的表现评估。Li等人。 [20]建立了Diving48数据集，由4个属性的组合注释（即，后空翻、空翻、转体和自由身）。Xu等人。 [44]将ex-MIT-Figure Skating数据集扩展到500个样本。Parmar等人 [28，30]提出了MTL-AQA数据集，该数据集利用多任务网络来评估运动。Shao等人。 [34]提出了FineGym数据集，该数据集在时间和语义上提供了从粗到细的注释，以促进动作识别。最近，Li等人 [19]开发了2951小行星6241B小行星5337D小行星5154B407B小行星5152B6243D307C5253B小行星5231D10m 精细潜水3M向内405B3索姆派克626B405C205C614B小行星5255B205B107B105B107C407 C5353 B305 B动作类型子操作类型向前0.5索姆直0.5索姆斯·派克后1索姆。直1索姆。派克反向1.5索姆直1.5索姆斯派克向内2索姆。直2索姆。派克Arm.Forward2.5索姆斯直2.5索姆斯派克手臂。背部3索姆。派克手臂。反向3.5索姆。派克4索姆派克4.5索姆斯派克0.5 Soms.Tuck 0.5 TwistsEntry 1Soms.Tuck 1 Twists1.5抱膝1.5转2抱膝2转2.5抱膝2.5转3抱膝3转3.5抱膝3.5转4抱膝4转4.5松褶4.5扭转5.5 Soms.Tuck............401B小行小行305B行动...............1893018943189571896718978向前翻腾2.5周屈体一周2.5空翻扣球条目步骤图2.两级语义结构。动作类型表示由潜水编号描述的动作例程。子动作类型是动作类型的组成部分，其中子动作类型的每个组合可以产生动作类型，并且不同的动作类型可以共享相同的子动作类型。绿色分支表示不同类型的起飞。紫色、黄色和红色分支分别表示具有三个位置的翻筋斗（即，直体、屈体和抱膝），其中每个分支包含不同的翻腾转弯。橙色的树枝表示在翻筋斗过程中穿插的不同的转体动作。浅蓝色表示进入水中。(Best以颜色查看）。一个大规模的数据集MultiSports，具有细粒度的动作类别，在空间和时间域中具有密集的注释，用于时空动作检测。Hong等人。 [12]提供了一个花样滑冰数据集VPD，用于促进细粒度的运动动作理解。 Chen等人[3]提出了具有细粒度语义标签、2D和3D注释姿势以及评估信息的SMART数据集。与上述数据集不同，FineDiving是AQA的第一个细粒度体育视频数据集，它通过详细的注释引导模型理解动作过程，从而实现更可靠的动作质量评估。行动质量评估。大多数现有方法将AQA表示为由分数监督的各种视频表示的回归。在早期的开创性工作中，Pirsiavash等人。 [31]首先制定了AQA，并提出将基于姿态的特征，时空兴趣点和分层卷积特征映射到图3.两层时间结构。动作级标签描述有效动作例程的时间边界，而步骤级标签提供过程中连续步骤的起始帧。(Best以颜色查看）。使用SVR评分。Parmar等人。 [29]利用时空特征来估计分数，并证明了其对跳水，体操跳马和花样滑冰等动作的有效性。Bertasius等人 [1]提出了一种基于学习的方法来估计篮球运动员的运动、行为和表现评估。Li等人。 [18]提出将一些网络修改与排名损失相结合，以提高AQA性能。Doughty等人 [6]通过高技能和低技能注意力模块，基于视频级成对注释评估了长视频中的相对整体技能水平。Parmar等人 [28]介绍了行动之间行动质量的共同概念。Parmar等人。 [30]进一步将AQA的定义重新表述为端到端方式的多任务学习。此外，Xu等人。 [44]提出使用自注意和多尺度跳跃卷积LSTM来聚合来自单个剪辑的信息，这在花样滑冰样本的评估上取得了最佳性能。Pan等人。 [27]通过基于图形的联合关系建模从视频中视觉评估了动作的表现。最近，Tang等人。 [39]提出通过不确定性感知分数分布学习（USDL）来减少来自人类法官的动作分数标签的潜在模糊性。Yu等人。 [47]基于视频级特征构建了一个对比回归框架（CoRe），以对视频进行排名并预测准确的分数。与以往方法不同的是，该方法理解动作过程，挖掘查询和范例之间的过程感知注意力，以实现更透明的动作评估。3. FineDiving数据集在本节中，我们提出了一个新的细粒度竞争性体育视频数据集FineDiving。我们将从数据集的构建和统计来介绍FineDiving。3.1. 数据集构建收藏. 我们搜索奥运会，世界杯，世界锦标赛和欧洲游泳比赛中的跳水项目-295235025015050-50100080060040020006004002000（c）难度类型表1.现有的体育视频数据集和精细潜水的比较。Score表示乐谱注释;Step是细粒度的类和时间边界;动作是粗粒度的类和时间边界;Tube包含细粒度类、时间边界和空间定位。定位样本数量事件数量#行动。班级 Avg.Dur. Anno.TypeTAPOS [35][34]第三十四话[19]第十九话162943269737701/1024721530669.4s1.7s1.0s步骤阶梯式管接评估样本数量事件数量#Sub-act.Typ. Avg.Dur. Anno.Type[31]第三十一话1591/6.0s评分[29]第二十九话3701/3.8s评分[28]第二十八话5496/4.1s评分[30]第三十话141216/4.1s行动，得分精细潜水300030294.2s步骤，得分图4.FineDiving的统计数据（a）动作实例的动作类型(b)动作实例的子动作类型分布。（c）动作实例的难度分布在YouTube上观看比赛，并下载高分辨率的比赛视频。每个官方视频都提供了丰富的内容，包括所有运动员的跳水记录和从不同角度的慢速回放。词典我们构建了一个由语义和时间结构组织的细粒度视频数据集，其中每个结构包含两级注释，如图2和图3所示。在此，我们聘请了三名专业运动员的潜水协会，谁在潜水的先验知识，并帮助构建一个词汇，为后续的注释。对于图2中的语义结构，动作级别标签描述运动员的动作类型，步骤级别标签描述程序中连续步骤的子动作类型，其中每个动作程序中的相邻步骤属于不同的子动作类型。子动作类型的组合例如，对于动作类型在时间结构中，动作级别标签定位由运动员执行的完整动作实例的时间边界在这个注释过程中，我们丢弃所有不完整的动作实例，并过滤掉缓慢的回放。步骤级别标签是动作过程中连续步骤的起始帧。例如，对于属于类型“5152 B”的动作，连续步骤的起始帧是18930、18943、18957、18967和18978，如图3所示。注释。给定一个原始的潜水视频，注释器使用我们定义的词典来标记每个动作及其过程。我们需要完成从粗粒度到细粒度的两个注释阶段。粗粒度阶段是标记每个动作实例的动作类型及其时间边界以及官方分数。细粒度阶段是为动作过程中的每个步骤标记子动作类型，并记录每个步骤的起始帧。步粗粒度和细粒度注释阶段都采用交叉验证标记方法。具体来说，我们雇用了六名工人谁在潜水领域的先验知识，并将数据分成六个一个工人的注释结果由另一个工人检查和调整，这确保了注释结果被双重检查。为了提高注释效率，我们在细粒度注释阶段使用了一个有效的工具箱[38在这条流水线下，整个标注过程的总时间约为120小时。3.2. 数据集统计数据FineDiving数据集由3000个视频样本组成，涵盖52个动作类型，29个子动作类型和23个难度类型，如图4所示。这些统计数据将有助于制定比赛策略，更好地发挥运动员的优势。表1报告了我们数据集的更详细信息，并将其与现有的AQA数据集以及其他细粒度体育数据集进行了比较。我们的数据集在注释类型和数据集规模上与现有的AQA数据集不同。例如，MIT-Dive、UNLV和AQA-7- Dive只提供动作分数，而我们的数据集提供细粒度的注释，包括动作类型、子动作类型、粗粒度和细粒度的时间边界以及动作分数。MTL-AQA提供了粗粒度的注释，即，动作类型和时间边界。其他细粒度的体育数据集由于缺乏动作得分而不能用于评估动作质量我们看到Fine-Diving是AQA任务的第一个细粒度体育视频数据集，填补了AQA中细粒度注释的空白4. 方法在这一部分中，我们将系统地介绍我们的方法，其主要思想是构建一个新的时间分割注意模型，提出一个可靠的、透明的动作质量评估方法。我们的方法的总体架构如图5所示。(a)动作类型(b)子动作类型NumberNumberNumber407C307C205B109C小行星5154B小行星5152B305B207B305C小行星5156B103B小行星5353B403B101B205C小行星5231D33.23.423.33.63.53.12.83.73.82.92.73.91.91.62.42.12.61.84.12.31.52.5索姆斯派克靠背向前3.5索姆塔克向内反转3.5索姆斯派克1.5倍Arm.Back0.5索姆斯·派克4.5索姆斯塔克2索姆斯派克1.5索姆斯派克2.5 倍 1Twi。2Twi。2.5索姆斯·塔克3索姆斯·塔克3.5倍3Twi1.5索姆塔克2953PFTP {FT}SFFFk=1S≤··· ≤S∈公元前KK不 KKL|L--示例评分i3D分割共享权重示例性查询分数贴片提取精细潜水...Transformer解码器查询回归器i3D分割时间分割注意力图5.提出的程序感知行动质量评估的架构。给定一个成对查询和示例实例，我们提取时空视觉特征与I3D，并提出了一个时间分割注意力模块，通过相继完成过程分割，过程感知交叉注意学习，细粒度对比回归来评估动作质量。时间分割注意力模块由步骤过渡标签和动作得分标签监督，其引导模型聚焦于与查询步骤一致的示例区域，并量化它们的差异以预测可靠的动作得分。4.1. 问题公式化给定成对查询X和样本Z实例，我们的过程感知方法被公式化为回归通过学习一个新的时间分割注意力模块（简称TSA）来预测查询视频的动作质量分数的问题它可以表示为：yX=P（X，Z|Θ）+yZ（1）哪里 =、表示包含I3 D [2]主干和TSA模块的总体框架;Θ表示的可学习参数;y=X是X的预测得分，yZ是Z的地面实况得分。4.2. 时间分割注意力TSA由三个部分组成，即过程分割、过程感知的交叉注意学习和细粒度对比回归。程序分段。为了解析成对查询和范例动作成连续的步骤与语义和时间的对应关系，我们首先建议通过识别步骤从一个子动作类型切换到另一个子动作类型来分割动作过程。假设需要识别L个步骤转换，过程分割组件通过计算来预测步骤转换发生在第t[p<$1，···，p<$L]=S（F（X）），（2）第k步在第t帧处过渡的可能性;t_k是第k步过渡的预测。在等式（2）中，分量由两个块组成，即“d o wn-up” （b1 ）和“linear”（ b2 ）。具体地，b1块由四个“向下-向上- n“子块组成每个子块包含两个连续的卷积层和一个最大池化层。b1块使用沿时间轴的卷积层来增加I3D特征（X）的长度，并使用沿空间轴的最大池化层来减小（X）“下-上”块推进视觉特征（X）在较深层中包含更深的空间和更长的时间视图用于程序分割。“线性”块进一步对b1块的输出进行编码，以生成L个概率分布在动作过程中的L步转换。此外，等式（3）中的约束确保了预测的转变是有序的，即， 我的 天啊。给定第k步转换的基础事实，即，t k，它可以被编码为二进制分布p k，其中pk（tk）=1并且pk（ts）sk=0。利用预测p_k和真实值p_k，可以将过程分割问题转化为一个稠密分类问题，即预测每一帧是否为第k我们计算了p_k和p_k之间的二进制交叉熵损失来优化并找到具有最大概率为第k步转换的帧目标函数可以写为：tk=argmaxpk（t）（3）T（k−1） 10时，Spearman等级相关性的改善变得不太显著，并且在表4中也可以发现相对距离2 -距离的类似趋势。5.4. 可视化我们在FineDiving上可视化了查询和样本之间的过程感知交叉注意，如图6所示。可以看出，我们的方法突出了与查询步骤一致的示例步骤中的语义、空间和时间对应区域，这使得从细粒度对比回归中学习到的查询和示例过程之间的相对分数更具可解释性。6. 结论与讨论在本文中，我们构建了第一个细粒度的体育视频数据 集 ， 即 FineDiving ， 用 于 评 估 动 作 质 量 。 在FineDiving上，我们提出了一种过程感知的动作质量评估方法，通过构建一个新的时间分割注意模块，在查询和范例过程中以成对的步骤学习语义，空间和时间一致区域，使推理过程更具可解释性，并实现了对现有AQA方法的实质性改进。限制潜在的负面影响。所提出的方法有一个假设，在行动过程中的步骤过渡的数量是已知的。细粒度的注释需要手动分解和专业标记。现有资产和个人数据。这项工作贡献了一个关于潜水运动的新数据集，所有数据都收集并在YouTube和bilibili网站上下载。我们正在积极联系创作者，以确保获得适当的同意。确认这 项 工 作 得 到 了 国 家 自 然 科 学 基 金 62125603 、62106124、U1813218的资助，中国博士后科学基金2020 M680564的资助，以及北京人工智能研究院的资助。2958引用[1] Gedas Bertasius ， Hyun Soo Park ， Stella X Yu ， andJianbo Shi.我是个球员吗？第一人称视频中的篮球表现评估。在ICCV，第2177-2185页，2017年。二、三[2] Joao Carreira和Andrew Zisserman。你好，动作识别？新模型和动力学数据集。在CVPR中，第6299-6308页二、五、七[3] 陈欣 ，庞 安琪 ，杨 伟， 马悦欣 ，徐 岚， 余静 怡。Sportscap：单目3d人体动作捕捉和精细理解具有挑战性的体育视频。arXiv预印本arXiv：2104.11452，2021。3[4] AlexeyDosovitskiy，LucasBeyer，AlexanderKolesnikov，Dirk Weissenborn，Xiaohua Zhai，ThomasUnterthiner ， Mostafa Dehghani ， Matthias Minderer ，Georg Heigold，Sylvain Gelly，et al.一张图片相当于16x16个单词：用于大规模图像识别的变换器. arXiv预印本arXiv：2010.11929，2020。6[5] 黑兹尔·道蒂迪玛·达曼沃特里奥·马约尔·奎瓦斯谁更好？谁最好？用于技能确定的成对深度排名。在CVPR中，第6057-6066页，2018年。2[6] 黑兹尔·道蒂沃特里奥·马约尔·奎瓦斯和迪玛·达曼利与弊：用于长视频中技能确定的等级感知时间注意力。在CVPR中，第7862-7871页，2019年。二、三[7] Bernard Ghanem Fabian Caba Heilbron、Victor Escorcia和Juan Carlos Niebles。Activitynet：用于人类活动理解的大规模视频在CVPR中，第961-970页，2015年。2[8] ChristophFeichtenhofer、AxelPinz和AndrewZisserman 。 卷 积 双 流 网 络 融 合 视 频 动 作 识 别 。 在CVPR，第1933-1941页，2016年。2[9] Srujana Gattupalli，Dylan Ebert，Michalis Papakostas，Fillia Makedon，and Vassilis Athitsos. Cognilearn：一个基于深度学习的认知行为评估界面。在IUI，第577-587页，2017年。2[10] A. Gorban，H. Idrees，Y. G. Jiang，中国茶条A.罗尚扎米尔岛Laptev，M. Shah和R.苏克坦卡THUMOS挑战：具有大量类的动作识别。网址：//www.thumos.info/，2015年。2[11] Chunhui Gu ， Chen Sun ， David A Ross ， CarlVondrick，Caroline Pantofaru，Yeqing Li，SudheendraVijayanarasimhan ， George Toderici ， Susanna Ricco ，Rahul Sukthankar，et al. Ava：时空局部原子视觉动作的视频数据集。在CVPR中，第6047-6056页，2018年。2[12] Jam esHong ， Matthe wFisher ， Michae？lGharbi ，andKayv onFatahalian.视频姿态蒸馏，用于少数镜头，细粒度的运动动作识别。在ICCV中，第9254-9263页，2021年。3[13] 水忘机、魏旭、明阳、开宇。用于人体动作识别的三维卷积神经网络TPAMI，35（1）：221-231，2012. 2[14] Andrej Karpathy ， George Toderici ， Sanketh Shetty ，Thomas Leung，Rahul Sukthankar，and Li Fei-Fei.使用卷积神经网络进行大规模在CVPR中，第1725-1732页2[15] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。7[16] Hildegard Kuehne，Hueihan Jhuang，Est´ıbaliz Garrote，Tomaso Poggio，and Thomas Serre. Hmdb：用于人体运动识别的大型视频数据库。在ICCV，第2556-2563页，2011中。2[17] Hongyang Li，Jun Chen，Ruimin Hu，Mei Yu，HuafengChen，and Zengmin Xu.使用视觉注意力和强化学习的动作识别。在ICMM，第365-376页，2019年。2[18] 李永军，柴秀娟，陈西林。端到端学习促进行动质量评估。在PRCM中，第125二、三[19] 李逸轩，陈雷，何润玉，王振志，吴刚山，王利民.多项运动：时空定位运动动作的多人视频数据集。在ICCV中，第13536-13545页，2021年。二、四[20] Yingwei Li，Yi Li，and Nuno Vasconcelos.回响：无表征偏差的行为识别.在ECCV中，第513-528页，2018年。2[21] 林天威，小刘，李欣，丁二瑞，文石磊。Bmn：用于时间动作提议生成的边界匹配网络。在ICCV，第3889-3898页，2019年。2[22] 梅雷迪思·迈耶，达雷·鲍德温，卡拉·塞奇。评估幼儿的层级动作分割。CogSci，第33卷，2011年。2[23] Mathew Monfort，Alex Andonian，Bolei Zhou，KandanRa- makrishnan ， Sarah Adel Bargal ， Tom Yan ， LisaBrown，Quanfu Fan，Dan Gutfruend，Carl Vondrick，etal. Moments in time数据集：100万个视频用于事件理解。TPAMI，第1-8页，2019年。2[24] 阿尔贝托·蒙特斯，阿玛雅·萨尔瓦多，圣地亚哥·帕斯夸尔和泽维尔·吉罗-尼托。基于递归神经网络的未修剪视频 中 的 时 间 活 动 检 测 。 arXiv 预 印 本 arXiv ：1608.08128，2016。2[25] Juan Carlos Niebles，Chih-Wei Chen，and Li Fei-Fei.用于活动分类的可分解运动段的建模时间结构。ECCV，第392-405页，2