没有合适的资源?快使用搜索试试~ 我知道了~
首页视频语义共分割:对象发现与理解
"Semantic Co-segmentation in Videos" 是一篇发表在ECCV2016上的计算机视觉领域的研究论文,主要关注的是视频中的语义协同分割技术。这项工作旨在在没有预先知识的情况下,通过分析一系列相关视频来识别并分割出物体,并理解其视觉语义。 在视频对象分割这个复杂任务中,由于物体外观的变化、形状的变形以及混乱的背景,使得自动发现和分割物体极具挑战性。为此,论文提出了一种新的方法——语义协同分割。该方法首先从视频中提取语义对象,并利用基于追踪的技术生成跨视频的多个类似物体的轨迹(tracklets)。每个轨迹包含了时间上连续的片段,并与预测的类别相关联。 为了利用其他视频中的丰富信息,研究者收集了所有视频中被分配到相同类别的轨迹,并通过解决次模函数来共同选择真正属于目标物体的轨迹。这个次模函数考虑了如外观、形状和运动等物体属性,有助于协同分割过程的优化。这种方法能够更好地处理视频中的变化和不确定性,提高分割的准确性和鲁棒性。 实验部分展示了该算法在三个视频对象分割数据集上的表现优于其他现有的先进方法,证明了其有效性和实用性。作者 Yi-Hsuan Tsai、Guangyu Zhong 和 Ming-Hsuan Yang 分别来自加州大学默塞德分校和大连理工大学,他们的研究工作为视频分析和理解领域提供了新的视角和工具,对于后续的视频处理和智能监控应用具有重要价值。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/9729789/bg4.jpg)
4 Y.-H. Tsai, G. Zhong, M.-H. Yang
...
...
...
...
Input Videos
Semantic Tracklets
Generation
Semantic Tracklets
Co-selection
Semantic
Segmentation
...
...
...
...
...
...
Fig. 1. Overview of the proposed algorithm. Given a collection of videos without pro-
viding category labels, we aim to segment semantic objects. First, a set of tracklets
is generated for each video, and each tracklet is associated with a predicted category
illustrated in different colors (e.g., blue represents the dog and red represents the cow).
Then a graph that connects tracklets as nodes from all videos is constructed for each
object category. We formulate it as the submodular optimization problem to co-select
tracklets that belong to true objects (depicted as glowing nodes), and produce final
semantic segmentation results.
cluster segments and eliminate clusters containing noisy segments through the
video. Among the selected clusters with object segments, we randomly choose a
few of them as initializations and apply a spatial-temporal graph-based tracking
algorithm to generate tracklets. Each tracklet maintains coherent appearances
of an object region (segment) in the spatial and temporal domains.
However, tracklets may still contain only object parts or noisy background
clutters, and the available visual information is limited within each video. We
construct a graph that connects tracklets within the same category from all
videos as nodes, and utilize a submodular function to define the corresponding
relations based on their appearances, shapes and motions. After maximizing this
submodular function, tracklets are ranked according to their mutual similarities,
and hence prominent objects can be discovered in each video. Fig. 1 shows the
overview of the proposed algorithm.
3.2 Semantic Tracklet Generation
Video object segmentation methods usually utilize object proposals in each frame
to detect where instances may appear [6,14,15,34]. One challenge is to associate
thousands of proposals from different objects while maintaining temporal con-
nections for each of them across all sequences. Here, we propose to utilize a
semantic segmentation algorithm (e.g., FCN) to generate object segments as
initializations, and then construct a spatial-temporal graphical model to track
剩余15页未读,继续阅读
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://profile-avatar.csdnimg.cn/b5a88b5c8e824483928fd2ef46575f66_ilovejohnny.jpg!1)
1LOVESJohnny
- 粉丝: 232
- 资源: 11
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 多模态联合稀疏表示在视频目标跟踪中的应用
- Kubernetes资源管控与Gardener开源软件实践解析
- MPI集群监控与负载平衡策略
- 自动化PHP安全漏洞检测:静态代码分析与数据流方法
- 青苔数据CEO程永:技术生态与阿里云开放创新
- 制造业转型: HyperX引领企业上云策略
- 赵维五分享:航空工业电子采购上云实战与运维策略
- 单片机控制的LED点阵显示屏设计及其实现
- 驻云科技李俊涛:AI驱动的云上服务新趋势与挑战
- 6LoWPAN物联网边界路由器:设计与实现
- 猩便利工程师仲小玉:Terraform云资源管理最佳实践与团队协作
- 类差分度改进的互信息特征选择提升文本分类性能
- VERITAS与阿里云合作的混合云转型与数据保护方案
- 云制造中的生产线仿真模型设计与虚拟化研究
- 汪洋在PostgresChina2018分享:高可用 PostgreSQL 工具与架构设计
- 2018 PostgresChina大会:阿里云时空引擎Ganos在PostgreSQL中的创新应用与多模型存储
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)