COIN数据集：用于教学视频分析的大规模数据集及其应用

1207COIN：一个用于综合教学视频分析的唐岩松1丁大军2饶永明1于正1张丹阳1赵丽丽2卢继文1周杰11清华大学自动化系2美图公司https://coin-dataset.github.io/摘要互联网上有大量的教学视频，使我们能够获得完成各种任务的知识。然而，现有的大多数用于指导性视频分析的数据集在多样性和规模上都存在局限性，这使得它们与许多真实世界中发生更多样化活动的应用相距甚远而且，如何组织和利用这些数据仍然是一个巨大的挑战为了解决这些问题，我们引入了一个名为“COIN”的大规模数据集，COIN数据集以分层结构组织，包含12个领域中180个任务的11，827个视频（例如，车辆、小工具等）与我们的日常生活有关利用一个新开发的工具箱，所有的视频都被有效地注释了一系列的步骤描述和相应的时间边界。此外，我们提出了一个简单而有效的方法来捕捉依赖一个- mong不同的步骤，它可以很容易地插入到传统的基于提议的动作检测方法本地化的教学视频中的重要步骤。为了给教学视频分析提供一个基准，我们在COIN数据集上根据不同的评估标准评估了大量的方法。我们期望COIN数据集的引入将促进社区未来对教学视频分析的深入研究。1. 介绍教学视频为学习者提供了直观的视觉示例，以获取知识来完成不同的任务。随着互联网上视频数据的爆炸式增长，世界各地的人们已经上传并观看了大量的教学视频[10，36]，涵盖了各种各样的类别。根据教育心理学的科学家[34]，新手在从整个现实任务中学习时往往面临困难，有必要将整个任务分成更小的片段或步骤，作为一种简化的形式。本文通讯作者是陆继文。第实际上，计算机视觉中的各种视频分析任务（例如，动作时间定位[45，50]、视频摘要[19，30，49]和视频字幕[27，47，53]等）。此外，越来越多的努力致力于利用教学视频分析的不同挑战[10，24，36，52]。近年来，在社区中收集了许多用于教学视频分析的数据集[10，14，28，35，40，41，52]这些数据集标注了完成不同任务的一系列步骤的文本和时间边界，为初步研究提供了良好的基准。然而，大多数现有的数据集集中在一个特定的领域，如烹饪，这使得它们远离许多现实世界的应用程序，其中发生更多样化的活动。此外，这些数据集的规模不足以满足最近数据驱动学习方法的需求为了解决这些问题，我们引入了一个名为“COIN”的新数据集，用于复杂的教学视频分析。COIN数据集包含180个不同任务的11，827个视频，涵盖与车辆，小工具等相关的日常活动。与现有的教学视频数据集不同，COIN组织在一个三级语义结构中。以图1的顶行为例，该根到叶分支的第一级是名为“vehicles”的域对于一个特定的任务，如“改变汽车轮胎”，它是由一系列的步骤-例如“拧下螺丝”，“用千斤顶把车顶起来”，“装上轮胎”等等。这些步骤出现在一段视频的不同区间，属于COIN的第三级标签。我们还提供了所有步骤的时间边界，这是有效地注释的基础上新开发的工具箱。作为另一个贡献，我们提出了一个新的任务一致性的方法来定位不同的步骤，在教学视频考虑其内在的依赖关系。首先，作为一种自底向上的策略，我们根据预测分数来推断w孔视频的任务标签，该预测分数可以通过现有的基于提议的动作检测方法来获得。然后，作为一个自上而下的计划，我们细化的建议分数的基础上预测的任务标签。为了设置1208*USGiT：GYQ 9ZKV8J7 8J9 86D97“1 D 1 D 1 D J“87”879 882 886 89389J1DJ8 1D6D 1D611D68 1D69

下载后可阅读完整内容，剩余1页未读，立即下载