![](https://csdnimg.cn/release/download_crawler_static/88424429/bg4.jpg)
但他们都忽略了一个重要的组成部分所述检索序列 人类注释者随后产
生最终注释,该注释是一种可以在注释过程期间
免费
收集的监督注释形
式。在第3节中,我们介绍了Human Searches数据集,它允许我们破
坏当前关于动作数据集如何结构化/收集以及动作发现/定位模型如何可
能被训练的范式。
时间动作定位。大量的工作已经成功地解决了动作识别[8,9,28,38,
42]和时空局部化[10,18,27,30,33,39]的任务。在这里,我们简要
回顾了一些有影响力的作品在时间动作本地化的领域。 早期的方法依
赖于滑动窗口加分类器的组合来产生动作时间边界[13,15,23,29]。最
近,一系列的工作已经探索了行动建议的想法,以减少由滑动引起的计
算复杂性。 基于窗口的方法。值得注意的是,Shou
等人。
[35]引入了
一个多阶段系统,该系统可以找到并分类感兴趣区域以产生时间动作位
置。同时,Caba Heilbron
等人。
[7]提出了一种稀疏学习框架,根据其与
训练样本的相似性对片段进行排名。本着同样的精神,当代作品[4,
14,17]通过利用深度神经网络的有效性来产生行动建议。最近,端到端
方法已被证明可以提高两阶段方法的性能,证明了联合优化特征提取和
检测过程的重要性[3,41,43,46]。其他研究人员使用语言模型[32],
动作进展分析[26,34]和高级语义[5]来产生高保真的动作检测。
大量的时间动作本地化的工作主要集中在检测性能和/或速度的改
进,而很少的作品有针对性的发展,高效的搜索机制。现有工作中的主
要搜索策略集中于详尽地观察整个视频(通过观察所有帧或它们的均匀
时间子采样)至少一次。Yeung等人的开创性方法
。
[44]背离了这种范
式,他们引入了
Frame Glimpses
方法,通过观察很少的帧来预测动作
的时间范围。他们的基于强化学习的方法尝试学习策略以智能地跳过视
频以用于检测的直接目的。虽然它有着类似的目标,但我们的模型通过
利用地面真实数据来描述人类如何顺序地注释动作,从而避免了学习此
类策略的微妙之处。使用这种信息进行动作定位,我们的方法优于
帧一
瞥
,并在THUMOS14 [ 24]上实现了 最先进的 检测结果(参见第5节)。
2)的情况。
序列预测递归神经网络(RNN),特别是长短期记忆(LSTM)网络
已经成功地解决了几个序列预测问题[1,2,19,20]。例如,Alahi
et
al.
[1]介绍了一种基于LSTM的模型来预测拥挤场景中的人体运动轨
迹。格雷夫斯
等人
[19]提出一种RNN,它可以学习在线手写预测中的
下一个笔画。这些方法的成功的动机,第4节介绍了我们的新的学习
搜索策略,制定了一个序列预测问题的
行动发现的