![](https://csdnimg.cn/release/download_crawler_static/88781678/bg4.jpg)
虚拟现实智能硬件
2022
年
12
月
4
日第
3
和视频摘要
[31]
,以提取视频中视觉上有趣和突出的区域。然而,这些方法在处理复杂的
360°
视频时
具有若干限制。
VR
图像中的显着性检测处于原始水平
[32
,
33]
,但这些方法受到
360°
视频的动态特性的
限制。此外,视频重定向也预测视频中的视觉注意力,然而,主要问题是它需要良好的预处理和编
辑视频。此外,在视频摘要中,仅生成关键帧,其中冗余帧被去除,导致非序列帧。相比之下,我
们的重点是在不丢失帧序列的情况下生成平滑、视觉上有趣且令人愉快的视频。
显著性检测通过提取输入视频中有趣的视觉内容来吸引观众的注意力。例如,
Jiang
等人使用显着
性作为回归问题,其中使用监督学习技术将图像分割为多级显着性分数
[34]
。此外,所有这些分数被
融合以产生显著性图。在另一项研究中,
Tong
等人从输入图像中生成显着图,用于生成训练样本,
然后使用分类器学习和检测显着像素
[35]
。最后,将显著图和显著像素相结合,以提高检测性能。然
而,显著图提供了一些模糊的边缘,限制了显著性检测的性能。
Li
等人使用了一个端到端
CNN
网
络,它具有像素级完全连接和分段特征层来处理模糊边缘问题
[36]
。
Wang
等人介绍了一种前景推理网
络,用于检测图像中有趣和显著的对象。然而,这种方法忽略了全局语义信息的提取,从而导致有
效的特征学习
[37]
。
Zhang
等人通过渐进的方式提取选择性的多层次上下文信息
[38]
。他们开发了一种多
路循环反馈来提高系统效率。尽管有这些方法,
Wang
等人还是引入了一种名为注意显着性网络的
新方法,该方法通过开发固定图来模仿人类视觉系统,以在视觉场景中找到显着和有趣的对象
[39]
。
显着性的主要目的是强调图像的局部内容,然而,我们提出的系统专注于整个
360 FOV
。此外,这
些方法专注于图像的
2D
位置,而拟议的
Deepdive
架构使用
120° FOV
的虚拟相机,为观众提供流畅,
有趣和愉快的视频。
除了显着性,另一个新兴的领域,旨在裁剪,缩放和最佳拟合源视频到一个给定的显示器也被称
为
“
视频重定向
”
。例如,
Lin
等人介绍了一种基于内容感知扭曲的视频重定向新方法
[40]
。他们的系统
使用了对象保持扭曲,减少了事件中对象令人不快的扭曲。视觉
3D
显著对象通过
“
尽可能刚性的扭
曲
”
方案,而最不重要的内容输入到
“
尽可能接近
”
方案进行线性缩放,这使得他们的系统能够避免过
度变形。此外,这个问题也研究了张等人。
[41]
提出了一种压缩域解决方案,用于在智能手机等低功
耗设备上进行视频重定向。在他们的方法中,从比特流的运动矢量中提取诸如运动信息的低级域特
征,以增强压缩视频中的四边形网格变形。这些方法对图像的特定区域或像素进行操作,从而扭曲
对象的形状。
Li
等人提出了一种用于视频重定向的网格流方法,以克服失真问题
[42]
。他们开发了一
种两步走的方法,在第一步中,视频被分成包含网格的片段,称为
网格流
,用于消除内容不一致。
其次,这些网格流被用来选择关键帧的每个视频段的摘要。
Bansal
等人提出了一种无监督的方法,
将空间和时间信息与对抗性损失相结合,以增强内容翻译和保存
[29]
。
Kim
等人提出了一种用于快速
视频修复的深度架构,使用基于图像的编码器
-
解码器模型来合成仍然未知的区域,从而产生增强和
令人愉快的视频
[43]
。我们的工作和视频重定向都专注于视觉吸引力,
250