![](https://csdnimg.cn/release/download_crawler_static/88432177/bg4.jpg)
S.保罗,S。Roy和A. K. Roy-
Chowdhury
3.
我们在两个具有挑战性的数据集上进行了广泛的实验,并表明所提出的方法
比当前最先进的方法表现得更好。
2
相关作品。
从弱监督数据中学习的问题已经在几个计算机视觉任务中得到解决,包括对象
检测[4,16,33,42,11,47],分割[54,55],以及其他一些计算机视觉任
务。
38,3,28,59]、视频字幕[41]和摘要[37]。在这里,我们将详细讨论与我们的
工作更密切相关的其他工作。
弱监督空间动作定位。一些研究人员已经研究了使用弱监督的大多数短
且修剪的视频中的演员的空间定位问题在
[10]
中,开发了用于播放器本地化
的框架
在体育视频中,使用来自最先进的全监督球员检测器的检测作为其网络的输
入。人检测器也用于[48,61]中以生成人管,其用于学习不同的基于多实例学习
的分类器。条件随机场(CRF)在[63]中用于从视频级标签但在短视频上执行演
员动作分割。
脚本作为弱监督。文献中的一些作品使用通常与视频一起可用的脚本或字幕
作为活动定位的弱标签。在[32,14]中,从字幕中提取与人类动作相关的单
词,以提供用于训练的动作的在[5]中,从电影中提取的演员-动作对
脚本作为弱标签的空间演员的动作定位,通过使用判别聚类。另一方面,我们
的算法仅考虑视频的标签作为整体是可用的,对于从其获取标签的源是不可知
的,即,电影剧本、字幕、人类或其他神谕。
排序的时间定位。除了训练期间的视频级标签之外,文献中很少有作品考虑
活动的时间顺序的可用性。训练视频中的活动排序被用作判别聚类中的约束,
以学习[6]中的活动检测模型类似的方法
”(《七绝》)。在[20]中,作者提出了一种基于动态规划的方法来评估和搜索
视频帧与相应标签之间的可能对齐[40]中的作者使用递归神经网络(RNN)来迭
代地训练和重新排列活动区域,直到收敛。在[31]中,相同的作者提出了类似的
迭代过程与这些文献中的作品不同,我们的工作不考虑任何有关活动顺序的信
息[57,35]中的工作与本文提出的问题设置密切相关。然而,由于[57]中的框架
基于时间片段网络[58],因此在训练期间考虑固定数量的片段,而不管视频的长
度如何,此外,它们只使用MILL,这可能不足以以精细的时间粒度定位活动。
在[35]中优化了基于稀疏性的损失函数,以及与[57]中使用软选择方法获得的损
失函数类似的损失函数在本文中,我们引入了一种新的损失函数,名为共活性
相似性损失(CASL),它施加成对的约束,以获得更好的定位性能。我们还提
出了一种机制,用于处理长视频,但在高时间检测活动