FAST-VQA: 基于片段采样的高效视频质量评估新法

FAST-VQA是一种创新的视频质量评估方法，由吴浩宁、陈超峰等研究人员提出，主要针对高分辨率视频的高效评估而设计。传统的深度视频质量评估（VQA）在处理高清晰度视频时面临着计算成本高的问题，这限制了它们在端到端训练中的应用和性能优化。为了解决这一挑战，研究人员引入了网格小补丁采样（GMS）策略。 GMS的核心思想是通过对视频进行局部的、小尺寸的网格采样，每个采样区域称为“片段”，保留了原始分辨率下的局部质量和上下文信息。这种方法避免了全帧采样的高计算需求，同时又不失质量相关的重要细节。通过将这些小片段进行拼接和时间对齐，GMS确保了局部信息和全局质量的结合。 为了更好地处理这些片段信息，研究团队构建了片段注意力网络（FANet），专为片段输入设计，它能够有效地整合和理解片段中的视觉特征。将FANet与片段采样技术相结合，形成了FAST-VQA，即片段样本Transformer，这是一种深度学习模型，能够实现高效的端到端视频质量评估，并学习出更有效的视频质量相关表示。 FAST-VQA的主要贡献在于显著提升了评估精度，大约提高了10%，同时降低了处理1080P高分辨率视频所需的计算量，降低了约5%的FLOPS。新学习的质量相关表示不仅适用于大型数据集，还能在较小的VQA数据集中表现出色，从而提升在不同分辨率输入下的性能。该研究还展示了良好的可扩展性和适应性，其成果已开源在GitHub上，便于其他研究人员进行进一步的研究和应用。 FAST-VQA通过巧妙地利用局部片段和注意力机制，提供了一种既精确又高效的视频质量评估解决方案，对于大规模视频内容的处理和高质量视频体验具有重要意义。