没有合适的资源?快使用搜索试试~ 我知道了~
首页边界敏感网络:有效解决时态动作建议生成与检测
边界敏感网络(BSN)是一种创新的方法,专为解决时态动作建议生成这一复杂问题而设计。在现实世界的视频分析中,尤其是长时和多动作的未修剪视频处理,精确的时间边界和高效的动作识别至关重要。传统的动作识别方法往往针对剪辑后的短片段,无法应对这类复杂场景。 BSN的核心理念是采用“局部到全局”的策略,即首先在局部(每个时间位置)识别可能的时间边界和动作概率,然后通过边界敏感提案功能,筛选出包含高置信度动作区域的提议。这种方法的优势在于能够精准定位时间范围,同时减少无意义的建议生成,以提高召回率和重叠度,确保建议的有效性和实用性。 在实验中,BSN在两个具有挑战性的数据集——ActivityNet-1.3和THUMOS14上表现出色,相比其他最先进的时间动作建议生成方法,BSN不仅具有更高的召回率,而且在时间精度方面也有所提升。这表明BSN在实际应用中能有效应对大规模、长时视频的分析需求。 除了提案生成,BSN还与现有动作分类器相结合,进一步增强了时间动作检测的能力,这在视频推荐和智能监控等领域具有显著的性能提升潜力。整体而言,BSN为时态动作建议生成和时间动作检测提供了一种强大而实用的解决方案,对于推动视频内容自动分析技术的发展具有重要意义。
资源详情
资源推荐
4
Tianwei Lin
等人
n=1
n=1
n=1
类,并可分为建议和分类阶段。大多数检测方法[32,34,49]分别采取这两个
阶段,而也有方法[26,3]联合采取这两个阶段。对于建议生成,早期的作品
[23,29,40]直接使用滑动窗口作为建议。最近,一些方法[4,5,9,13,32]
生成具有预定义的持续时间和间隔的建议,并使用多种方法来评估建议的置信
度得分,例如字典学习[5]和递归神经网络[9]。TAG方法[49]采用分水岭算法,
以
局部
方式生成具有灵活边界和持续时间的提案,但不需要用于检索
的全局
提
案级置信度评估。在我们的工作中,BSN可以产生具有灵活边界和可靠置信度
的检索建议。
最近时间动作检测方法[48]基于每个位置的按类开始、中间和结束概率来检
测动作实例。我们的方法在两个方面优于[48]:(1)BSN使用时间卷积来评估
概率得分,以更好地捕获时间信息;(2)
3
我们的方法
3.1
问题定义
未修剪的视频序列可以表示
为
其中,
xn
是
X
中的第
n
帧。视频
X
的注释由一组动作组成
-
stances
g
=
{
n
=(
t
s
,
n
,
t
e
,
n
)}
N
g
,其中
N
g
是真值动作实例的数量
在视频
X
中,t
s
,
n
,
t
e
,
n
分别是动作
实例
n
开始和结束时间
与检测任务不同,动作实例的类别不被认为是在时间的行动,行动建议生成。
在训练期间使用注释集Ψ
g
在预测期间,生成的建议集Ψ
p
应该以高召回率和高时
间重叠覆盖Ψ
g
3.2
视频特征编码
为了生成输入视频的建议,首先我们需要提取特征来编码视频的视觉内容。在
我们的框架中,我们采用双流网络[33]作为视觉编码器,因为这种体系结构在
动作识别任务中表现出很好的性能
[42]并且已经被广泛采用在时间动作检测和提议生成任务中[49,26,12]。双流
网络包含两个分支:空间网络在单个RGB帧上操作以捕获外观特征,而时间网
络在堆叠光流场上操作以捕获运动信息。
为了提取双流特征,如图2(a)所示,首先我们组成一个片段
序列
S
={
s
n
}
l
s
其中Is是片段序列的长度一
片段
s
n
=(
x
t
n
,
o
t
n
)包括两个部分:
x
t
n
是
X
中的
第
t
个
RGB
帧,并且
o
t
n
是
X
中的第
t
个
RGB
帧。
围绕中心帧
x
t
n
导出的堆叠光流场。为了降低计算成本,我们提取具有规则
帧间隔
σ
的
片段,因此
Is
=
IV
/σ
。给定片段
s
n
,我们将空间网络和时间网络的顶
层中的输出分数连接起来以形成编码的特征向量
f
t
n
=
(f
S
,
tn
,
f
T
,
tn
),其
中
f
S
,
tn
,
f
T
,
tn
分别是来自空间网络和时间网络的输出分数因此,给出了一
个片段
剩余16页未读,继续阅读
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 前端面试必问:真实项目经验大揭秘
- 永磁同步电机二阶自抗扰神经网络控制技术与实践
- 基于HAL库的LoRa通讯与SHT30温湿度测量项目
- avaWeb-mast推荐系统开发实战指南
- 慧鱼SolidWorks零件模型库:设计与创新的强大工具
- MATLAB实现稀疏傅里叶变换(SFFT)代码及测试
- ChatGPT联网模式亮相,体验智能压缩技术.zip
- 掌握进程保护的HOOK API技术
- 基于.Net的日用品网站开发:设计、实现与分析
- MyBatis-Spring 1.3.2版本下载指南
- 开源全能媒体播放器:小戴媒体播放器2 5.1-3
- 华为eNSP参考文档:DHCP与VRP操作指南
- SpringMyBatis实现疫苗接种预约系统
- VHDL实现倒车雷达系统源码免费提供
- 掌握软件测评师考试要点:历年真题解析
- 轻松下载微信视频号内容的新工具介绍
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功