序列级探索提升字幕任务召回率的新方法

本研究聚焦于序列级探索在字幕任务中的应用，特别是针对模型的召回率优化。序列级学习目标在字幕生成任务中已被广泛应用，旨在通过奖励模型生成的完整句子质量来提升模型性能。然而，现有方法主要关注的是精准度，即生成的字幕集的准确性，这在实验中表现为模型往往在召回率上表现欠佳。 研究者指出，字幕任务的独特性在于其序列结构以及存在多个潜在正确字幕的特性。输入的图像或视频需要转化为具有丰富信息的描述性句子，这使得单一的单词级监督（如交叉熵损失）无法充分捕捉到这一复杂性。传统的序列级学习目标虽然缓解了训练和测试阶段的不一致性，但仍然存在优化偏向于精准度的问题，导致模型可能在生成多样化字幕（召回率）上表现不足。 为解决这个问题，研究者提出在当前序列级学习目标中引入序列级探索项。这一策略旨在引导模型在训练过程中更全面地探索可能的正确字幕，而不仅仅是追求最高的精准度得分。通过这种方法，新的学习目标同时考虑了生成字幕的精确度和召回率，旨在提高模型的整体性能。 实验结果在视频和图像字幕数据集上验证了这一方法的有效性。实验数据表明，改进后的训练目标使得模型在保持良好精准度的同时，显著提升了召回率，从而更好地适应了字幕任务的复杂性和多样性需求。 总结来说，这项工作对字幕任务的学习目标进行了深入探讨，强调了召回率优化的重要性，并通过引入序列级探索来改进模型在生成多样性和全面性方面的表现。这对于提升字幕生成系统的实用性和自然度具有重要意义。