DYLE：用于长输入摘要的动态潜在提取方法

"DYLE是一种用于抽象长输入摘要的动态潜在提取方法，旨在解决基于Transformer的模型在处理长文本摘要时的效率和质量挑战。该方法同时训练提取器和生成器，提取的文本片段作为潜在变量，解码过程中实现动态的片段级注意力权重。DYLE引入了启发式方法进行oracle提取，以及一致性损失项来优化提取器和生成器的协同工作。在GovReport、QMSum和arXiv数据集上的实验结果显示，DYLE在长文档和长对话摘要任务上表现出色，ROUGE分数提升显著，并且其动态权重提供了生成过程的可解释性。" DYLE（Dynamic Latent Extraction）是针对长输入摘要问题提出的一种创新解决方案。传统的基于Transformer的预训练语言模型（如BART和T5）在处理短文本摘要时表现出色，但它们在处理长篇幅输入时面临效率和准确性的双重挑战。这是因为完全自注意力机制导致的高内存复杂性，使得模型难以高效地处理大量信息。 DYLE通过结合提取器和生成器，试图克服这一难题。提取器负责从长输入文档中选择关键信息片段，这些片段作为潜在变量参与到生成器的解码过程中。在解码过程中，DYLE采用动态的片段级注意力权重，这允许模型根据需要灵活关注不同文本片段，从而提高摘要的精度和覆盖度。 为了训练这个系统，DYLE采用了两种损失函数：Oracle损失和一致性损失。Oracle损失基于简单的启发式方法，为提取过程提供监督，帮助模型学习理想的文本片段选择。一致性损失则鼓励提取器的输出接近生成器预测的动态权重，以确保两者之间的协调一致。 在多个长文档和长对话摘要任务的评估中，DYLE展现了优越的性能，尤其是在GovReport和QMSum数据集上，相比于现有方法，其ROUGE评分有显著提升。此外，DYLE的动态权重机制不仅提升了摘要的质量，还为生成过程提供了可解释性，有助于理解模型的决策过程。 DYLE是解决长输入摘要问题的一个重要进展，它通过动态潜在提取和优化的训练策略，实现了对长文本的高效、高质量摘要，同时提供了生成过程的可解释性，这对于未来的研究和应用具有重要的启示意义。