高保真视频预测：融合扭曲与置信度的动态生成

高保真视频预测是一项前沿的计算机视觉任务，旨在生成动态场景中既保持细节又体现真实运动的预测。传统视频预测方法主要分为两种：一种是基于像素的生成，从头开始预测每一帧，利用3D技术和循环卷积网络捕捉空间内容和潜在运动（图2a），虽然能捕捉一定的时空一致性，但可能无法处理非遮挡区域的真实外推；另一种是基于运动传播，通过光流表示和扭曲函数来传递像素间的显式运动（图2b），这可能导致明显的非遮挡问题。 在本文中，作者提出了高保真视频预测模型，解决了运动不可知的生成问题，特别是在遮挡区域。该模型的关键创新在于引入了置信度感知的像素预测机制。首先，模型将流预测器用于非遮挡区域，生成连续的运动传播，然后利用上下文编码器处理遮挡区域，通过一个置信度感知的扭曲运算符来区分可预测和不可预测的像素。这种方法的优势在于： 1. 置信度感知：模型计算并区分了扭曲操作后的置信度，这有助于区分哪些区域可以信赖外推，哪些需要额外的上下文信息。相比于单一网络同时处理运动和外观，这种方法更为精确。 2. 分离网络结构：扭曲步骤后计算置信度，以及使用单独的网络进行暴露区域的修复，这种分离设计提高了预测的清晰度和现实感。 3. 遮挡图生成：通过计算稀疏遮挡图，模型能够准确地识别哪些像素需要进一步处理，从而减少重影和非自然的预测。 4. 实证验证：实验结果在合成数据集和真实世界数据上显示，相较于现有强基线，高保真视频预测方法能提供更佳的遮挡图，生成的预测更为清晰、自然。 总结来说，高保真视频预测模型通过细致的置信度分析和分开的网络架构，改进了对动态场景中复杂运动的预测能力，特别是在处理遮挡和不可预测区域方面，从而显著提升了视频预测的质量。这在视觉效果和真实感方面具有显著优势，为视频预测领域的研究和发展带来了新的突破。