无参考视频字幕新度量：EMScore——粗细粒度嵌入匹配提升

本文主要探讨了当前视频字幕度量方法存在的局限性，特别是对于无参考视频和对视觉相关性的忽视问题。作者石亚亚等人提出了一个新的无参考视频字幕度量标准——EMScore，旨在解决这些问题。EMScore的核心思想是利用大规模预训练的视觉语言模型，通过粗粒度和细粒度嵌入匹配来直接度量视频字幕与候选字幕之间的相似性。这种方法摒弃了传统的基于文本比较的依赖，能够更好地反映字幕的质量，即使在没有参考字幕的情况下也能提供客观评价。 粗粒度匹配关注视频和字幕的整体一致性，确保两者在内容上的一致性，而细粒度匹配则聚焦于帧和单词级别，捕捉更具体的视觉和语言细节。这种设计允许EMScore综合考虑视频的全局理解与局部特征，从而更准确地衡量字幕的质量。同时，EMScore具有灵活性，可以在有参考的情况下进一步优化，利用人类标记的参考信息。 为了验证EMScore的有效性，作者构建了VATEX-EVAL和ActivityNet-FOIL数据集，分别进行系统的评估。在VATEX-EVAL实验中，结果显示EMScore在人相关性方面表现优异，减少了对参考字幕的依赖，这表明其能更公正地评价字幕质量。而在ActivityNet-FOIL实验中，EMScore成功地识别出所谓的“幻觉”字幕，即那些看似合理但实际上与视频内容不符的字幕，证明了其在识别偏差和误导性字幕方面的优越性。 EMScore作为一种创新的无参考视频字幕度量方法，通过结合视觉和语言嵌入的匹配，为视频字幕评估提供了更为全面和客观的视角。该方法不仅适用于无参考场景，还能在有参考情况下充分利用额外信息，极大地提升了字幕评价的准确性和公平性。研究者们已经开源了相关的代码和数据集，使得其他研究人员和实践者能够在实际应用中体验和改进这一度量标准。