播客文本摘要方法及其在抽象摘要中的应用

+v：mala2277获取更多论文播客文本的抽象接地摘要宋凯强，<$陈丽，王晓阳，于东，刘飞<$腾讯人工智能实验室，西雅图，华盛顿州†University of Central Florida，Orlando，FL{riversong，ailabchenli，shawnxywang，dyu}@tencent.comfeiliu@cs.ucf.edu摘要播客最近的流行程度有所上升。摘要播客对内容提供者和消费者都有实际的好处。它可以帮助人们快速决定他们是否会听播客和/或减少内容提供商撰写摘要的认知负荷。然而，播客摘要面临着重大挑战，包括摘要与输入的事实不一致。这个问题是加剧了言语不流利和识别错误的成绩单的口语。在本文中，我们探索了一种新的抽象摘要方法，以减轻这些问题。我们的方法学习产生抽象摘要，同时将摘要片段固定在转录本的特定区域，以允许对摘要细节进行全面检查我们在一个大型播客数据集上对所提出的方法进行了一系列的分析，并表明该方法可以取得令人满意的结果。接地摘要在定位包含不一致信息的摘要和记录片段方面带来了明显的好处，从而在自动和人工评估方面提高了摘要质量。1介绍播客是最受欢迎的新媒体形式之一截至今天，每周有超过1.55亿人收听播客（Christian，2021）。随着兴趣的增长，对预测播客内容的文本摘要的需求也在增加。这些摘要可以帮助人们在几秒钟内决定他们是否要收听播客或订阅频道。对于想要查找以前听过的播客的用户来说，它们很有帮助此外，它们可以重新用于社交媒体帖子或电子邮件营销活动，使内容创建者能够使更多的受众能够访问他们的播客。最好从播客记录中生成有根据的摘要，其中摘要的跨度文本与原始音频紧密相连。图1提供了一个基础抽象概要的例子。当用户点击摘要片段时，她将被引导到音频剪辑，该音频剪辑提供了会话上下文的进一步细节。接地摘要为我们提供了 一 个 值 得 注 意 的 播 客 片 段 的 预 览（Shalom，2019），它们可以通过将用户引导到原始音频来进一步释放摘要服务提供商的潜在法律索赔这是因为，语音识别器会引起转录错误，并且抽象的摘要模型可能会产生幻觉，而这些事实并不是原始的（Kryovski etal. ，2020），两者都可能导致播客摘要包含误导或不准确的信息。有了基础摘要，用户就能够构建、解释任何系统生成的摘要，并将其置于上下文中，从而减少了部署播客摘要技术的障碍。可以尝试在后处理步骤中将摘要文本和播客转录本对齐以生成接地摘要。不幸的是，幻觉不允许适当的比对，因为它们在转录物中没有发现（Maynez et al. ，2020）。分层注意力模型 似 乎 很 有 希 望 完 成 这 项 任 务 （ Liu 和Lapata，2019）。然而，过长的成绩单使得很难在整个成绩单上产生注意力分布。最近的证据表明，注意力权重并不是输入相对重要性的可靠指标（Jain和Wallace，2019），因此注意力是否可以用来找到成绩单和摘要片段之间的一致性在本文中，我们试图通过探索一个按需抽象摘要器来从播客成绩单中生成接地它模仿了人类如何处理冗长的成绩单-专家将确定成绩单中被认为最重要且与现有摘要相关的部分，将其用作生成新摘要的基础。arXiv：2203.11425v1 [cs.CL] 2022年3月+v：mala2277获取更多论文欢迎来到我的播客系列，一种普通的爱的所有诗歌都来自我的小册子。 这是我的演讲，叫做《正常的爱》，然后我把它发表在一个叫做《正常的爱》的章节里，小册子里，你们在这个系列中听到的所有诗歌都可以在那本书里找到，还有我在周围几个地方做的演讲。《一种正常的爱》是一部关于家庭虐待的作品，充满了诗歌、散文和音乐。所以如果你想了解更多关于正常的爱，你可以在亚马逊上购买一本聊天书，一本由阿丽亚娜射箭的聊天书，你也可以在我的作者网站上了解更多关于正常的爱，在阿丽亚娜樱桃点wordpress.com和顶部菜单中。【......】现在我在这里展示裸体和脆弱的所有他们的耻辱。我不会让他们看到我哭泣。我很好让他们叫我的名字。我会紧紧抓住我的心，看透我的灵魂，爱我自己，因为即使没有名字，我的灵魂也是完整的。谢谢你倾听一种正常的爱。我希望它能帮助那些正在经历类似家庭虐待或暴力的人，或者如果你认识这样的人，你可以帮助他们。这是一个非常敏感的情况，但我只是想让每个人都知道，无论如何，它是可能找到一个光。在黑暗中，它只是需要很多时间，很多仔细的计划，很多同情，很多祈祷，很多希望和信仰，但嗯，总是有信心，事情会变得更好，即使他们现在看起来不太好摘要部分是基于块的成绩单，作为一种打击的错误，发生在成绩单摘要。这首诗，“没有名字”是从作者，阿丽亚娜R樱桃的介绍，“一种正常的爱，”这是关于家庭虐待。 她在自己的家乡给那些可能正在努力解决这个问题的人做了演讲，或者认识一些人。图1：一个接地摘要的例子，其中摘要文本的跨度与原始音频相关联用户可以点击以听到音频剪辑，从而在上下文中解释系统生成的摘要。这一过程将重复进行，直到完成摘要。我们的摘要器采用了一种新的正则化技术，使其能够按时间顺序访问部分转录本，同时允许标记，以产生一个连贯的摘要。这还有另一层含义。这意味着我们可以估计播客成绩单的百分比被摘要覆盖，从而在必要时进行调整。区分我们的工作，从早期的研究提取，然后抽 象 的 方 法 （ 许 等 。 ， 2018; Chen andBansal ， 2018; Gehrmann et al. ， 2018;Daughoff et al. ，2019; Jin et al. ，2020; Pilaultet al. ，2020），我们要求所选择的转录块具有高显著性，而且那些显著内容必须出现在所选择的块的开始处，使得对应的音频剪辑可以为用户提供良好的切入点以开始收听。我们的实验是在一个包含超过100，000个英语播客的大型播 客汇总数 据集上进行 的（Clifton etal. ，2020）。我们表明，我们提出的接地摘要器可以执行竞争力或优于最先进的方法，包括最近的方法，利用大型，预训练的模型（刘易斯等人。，2020; Beltagy等人，2020年），由自动度量和人工评估判断。我们在本文中的贡献如下。• 我们解决的问题，播客摘要，灰调查按需摘要，产生接地摘要。摘要帮助用户快速决定他们是否会听播客，并提供一个突出的播客剪辑采样器。按需摘要器不需要对整个转录进行编码，因此大大减少了GPU内存占用。• 我们进行了一系列分析，以深入了解特定设计决策的影响它们包括应如何定义转录块，这些转录块是否重叠，摘要内容在多大程度上是从选定的块中逐字提取的，以及如何扩展摘要以涵盖更多信息。• 通过在基准播客数据集上的广泛实验，我们证明了我们提出的方法的有效性，并显示出与人类作家性能相当的结果。该方法为生成一种新的摘要开辟了一条途径，允许用户验证摘要部分与原始音频片段的信息一致性12相关工作随着播客的迅速兴起，对播客文本自动摘要的需求也随之而来虽然研究相对不足，但最近的工作取得了很大进展。Clifton等人（2020）介绍了TREC 2020中采用的Spotify数据集，2我们在TREC 2020中的参与系统专注于从转录本中识别突出片段，并将其用作抽象摘要器的输入（Song et al. ，2020）。Reddy等人（2021）开发分类器，以检测和消除播客中无关的营销材料，以帮助总结。在本文中，我们将探讨生成接地播客摘要的技术，其中摘要文本的片段与短播客剪辑相关联。1我们的模型和代码已公开发布：https://github.com/tencent-ailab/GrndPodcastSum2https://trec.nist.gov/data/podcast2020.html+v：mala2277获取更多论文YCVG{C· · ·C}神经抽象摘要的最严重问题之一是摘要可能包含事实上不正确的信息和幻觉（Falke etal. ， 2019; Kryovski et al. ， 2020; Maynez etal. ，2020; Daughoff et al. ，2020）。由于没有扎实的摘要，用户必须听完整集，才能找到摘要细节和原始播客之间的联系。如果成功的话，接地摘要将有利于一些摘要任务，其中输入涉及冗长的记录，包括会议（李等人。，2019; Koay et al. ，2020，2021; Zhong et al. ，2021年），医学对话（刘和陈，2019年），采访（朱等。，2021）、直播（Choet al. 2021年）及以上。可以使用提取然后抽象的策略来生成有基础的抽象摘要（Chen和Bansal，2018; Gehrmann等人。，2018; Hsu et al. ，2018; Jin et al. ，2020; Pilault et al. ，2020）。这些方法中的大多数都是针对书面文档定制的新闻、维基百科和学术文章。它们从文档中提取句子，并将其作为抽象摘要模型的输入来生成摘要。然而，口头语言的转录缺乏必要的文档结构，如句子，段落和节边界，使得不清楚这些方法将如何在播客上执行。Attention提供了另一种机制来对齐摘要和记录片段。稀疏注意力的使用允许摘要模型潜在地扩展到更长的文档（Beltagyet al. ，2020;Kitaev et al. ，2020; Huang et al. ，2021年）。分层Transformer以分层方式对多个paragraphs进 行 编 码 ， 以 允 许 它 们 交 换 信 息 （ Liu 和Lapata ， 2019; Fab-bri 等 人 ， 2019 年 ） 。 ，2019; Chen和Yang，2020）。然而，研究表明，注意力权重并不是输入相对重要性的可靠指标，因为其他注意力分布会产生类似的结果（Jain和Wallace，2019）。本文中我们的方法是更好地将摘要片段与转录本的组块对齐，以便于跟踪不一致的信息。它有一个生成器，可以从头到尾写一个摘要，还有一个精明的选择器，知道什么时候切换到一个新的转录块，以及切换到哪里。与PG网络不同（参见et al. ，2017）和检索增强生成（Guuet al. ，2020; Lewis等人，2021年），我们的选择器非常重视建模和选择trans-脚本块。一个理想的块预计约2分钟长，并将重要信息放在开头，以便于用户验证。在下一节中，我们将详细介绍模型实现。3我们的方法播客摘要面临的一个主要挑战是源和目标序列之间的巨大长度差异以每分钟122个单词的说话速率进行自发讲话（Polifroni et al. ，1991年），1小时长的剧集的完整文本包含大约7，000个单词，而1.5小时长的剧集的完整文本可能达到10，000个单词。相比之下，播客摘要很短，根据Manakul和Gales（2020），平均包含它们的长度之比可能高达100比1，这促使我们研究抽象的接地摘要，其中摘要片段接地到选定的文本块，作为对抗播客摘要中不可避免的错误的一种方式。设x为源转录中的标记序列，y为摘要中的标记序列。这些标记共享相同的词汇表.我们使用xC来表示转录本的一个块，并给出属于该块的标记的索引。完整的转录本可以被分解为一系列块，由1，，M.这些块可能有不同的大小，并且彼此重叠;它们是生成播客摘要的基础。我们的假设是双重的。首先，我们假设通过对先前生成的标记（y1switchG（y1&无开关摘要（=句子）5以其基础块xC和所有先前生成的记号25个字符）将直接从摘要中删除 摘要中的每一句话被赋予一个显著性分数，该分数是其单词的IDF分数的总和。低分数（10）表示句子包含很少的信息词，因此将其从摘要中删除。最后，如果在句子删除后，引用摘要太短或无法与脚本块正确对齐（§3），则将实例从数据集中删除。[8]这个过程过滤掉了大量低质量的参考摘要，在训练集中产生了40，302集Spotify数据集有1,027集的标准测试集，其中179集用于人类评估。基线。我们的基准包括TREC 2020播客摘要竞赛中表现最好的三个系统。这些系统通过自动度量和NIST评估员进行的人工评估被判定为性能最佳 所有系统都使用BART大型模型（Lewis et al. ，2020）。首先在新闻摘要数据集上调整模型，即，CNN/DM或XSum，然后在播客数据集上进行微调由于文字记录篇幅较长，卡尔博姆和8摘要需要包含至少10个BPE令牌，并且与其所有基础块具有>2个共享二元组。在计算句子显著性分数时，仅考虑IDF分数大于1.2的词Clifton（2020）描述了一种组合的Longformer-BART模型，该模型用Longformer的注意力替换了BART注意力层（Beltagy et al. ，2020年）;他们的系统被命名为hk_uu_podcast1。Song等人（2020）开发一个提取模块，从转录本中选择片段，然后将提取器与BART提取器集成以生成 摘 要 （ UCF_NLP 2 ） 。 他 们 的 基 线（UCF_NLP 1）直接将转录本截断为前1，024个令牌。Manakul和Gales（2020）使用前1,024个 令 牌 开 发 了 一 个 类 似 的 基 线（cued_speechUniv3）此外，他们使用层次注意力模型（cued_speechUniv1/2/4）和来自不同数据 转 换 和 检 查 点 的 模 型 集 合（ cued_speechUniv1/2）执行句子过滤在本文中，我们的系统被称为GrndAbs生成接地摘要。它有4个选项：-to，-tn，-so，-sn，表示滑动窗口是根据标记（-t）或句子（-s），重叠（-o）或非重叠（-n）定义的。我们从这些竞争基线和我们的系统中获得输出，以检查这些尝试的成功和失败。5结果和分析实验设置。我们的编码器-解码器模型使用BART-large作为基础模型，然后在播客数据集上 对 其 进 行 微 调 。 我 们 使 用 AdamW（Loshchilov和Hutter，2017）优化器，其中动量参数设置为0.9和0.999。正则化系数α在验证集上在{0，0. 01，0。1，1}。+v：mala2277获取更多论文V运行IDR-1（%）R-2（%）R-L（%）BertS（%）BLEURT总计mLcued_speechUniv130.5411.2521.0584.17-0.743458.16cued_speechUniv230.5211.3621.1684.20-0.749156.93cued_speechUniv328.449.5519.5283.77-0.789755.58cued_speechUniv429.0010.4219.9583.99-0.778151.75UCF_NLP 130.0912.0721.7584.16-0.750857.35UCF_NLP 230.4411.9921.6784.14-0.738257.85hk_uu_podcast129.0210.7020.6684.21-0.799244.63GrndAbs-so25.427.9516.9382.62-0.816480.44GrndAbs-sn25.588.2716.9982.64-0.822078.80GrndAbs-to25.798.3817.1582.67-0.802882.98GrndAbs-tn25.798.2517.2082.71-0.813079.90表2：包含1，027次发作的标准测试集的结果。我们的评估指标包括ROUGE变体（R-1，R-2和R-L），BERTScore和BLEURT。我们报告总结的长度（SummL），以单词为单位。E↑G↑E+G↑ 公平↓坏↓cued_speechUniv2 22.09 51.3673.45 22.67 3.88UCF_NLP 222.29 46.7169.00 20.93 10.08hk_uu_podcast118.60 45.9364.53 25.78 9.69创建者描述13.95 42.0546.00 30.43 13.57GrndAbs-tn25.19 50.58 75.77 20.16 4.07表3：人体评价结果。25%的接地摘要被评为优秀，76%的评级为优秀（E）或良好（G）。对于概括解码，我们使用波束搜索，其中波束大小K=4并且长度惩罚p=2。我们的滑动窗口，以标记或句子来衡量我们使用字节对编码（BPE）标记器，vocabulary size = 50，265。对于抄本和参考文献摘要，我们使用SpaCy工具 将 它 们 分 割 成 句 子 （ 模 型 en_core_web_lg2.2.5）。示例总结。在表1中，我们提供了系统摘要的直接比较。这个播客是由娜塔莉和杰西卡主持的，他们自称为“护肤侍酒师”。”我们发现，接地抽象总结（GrndAbs-*）具有更高的特异性水平相比，总结没有接地。接地摘要的片段与特定的转录块相关联。如果听众发现某个摘要片段感兴趣，他们可以点击以在上下文中收听所选的摘要我们的基准线具有很强的竞争力。他们的摘要往往包含更一般的内容。播客创作者提供的描述相对较短，有时并不直接总结剧集。播客的自动摘要有明显的好处，它可以减少认知负荷和播客创作者编写摘要所需的时间。自动化控制在表2中，我们报告了包含1，027个播客集的标准测试集的结果。这些指标包括ROUGE（Lin，2004）变体，该变体将系统摘要与基于n-gram重叠的creator描述进行此外，我们用最近开发的指标进行实验：BertScore（Zhang et al. ，2020）和BLEURT（Sel lametal. ，2020），其利用深度神经表示来评估生成的文本。我们的方法在ROUGE evaluation中对创建者的描述并没有超过基线然而，当考虑到更先进的指标（BertScore和BLEURT）时有两种可能的解释。首先，接地摘要比简单的抽象摘要长约50%。每个摘要的平均长度约为80个单词，因此精确度得分较低其次，创作者描述的质量Jones等人（2020）报告说，只有40%的描述质量良好或优秀，这表明未来的工作可能会考虑创建高质量的地面实况摘要。在我们的方法的四个变体中，我们观察到它们的差异并不突出。基于令牌的非重叠窗口（-tn）变体在R-1和R-L方面优于其他变体该系统用于后续的实验和分析。人的评价。鉴于创建者提供的数据质量差，并且不存在地面实况总结，因此我们遵循TREC的指导方针，要求人类评估人员将每个总结分配到四个等级之一：优秀，良好，一般和差。优秀的摘要将准确地传达该集最重要的内容（主题内容，流派和参与者）。+v：mala2277获取更多论文G系统Q1：人员名字Q2：人员添加信息Q3：主要主题Q4：播客格式Q5：标题上下文Q6：总和雷敦Q7：好英语Q8：开始/结束点创建者描述60.0850.1980.8159.6157.0016.2888.7660.16hk_uu_podcast164.1547.2985.6357.6258.9510.8594.7670.35UCF_NLP 267.3851.5587.0263.5762.5214.4095.1571.71cued_speechUniv269.1250.6787.9864.7363.6212.8794.9377.00GrndAbs-tn75.1564.4789.7369.5166.1517.0994.5573.35表4：8个是/否问题的179个测试总结的人类判断平均得分一位评估员迅速浏览了这一集，并对每一集的摘要做出了判断。“creator_description” represents 我们的系统Q1摘要是否包括播客中涉及或提到的主要人物（主持人，嘉宾，角色）的姓名Q2摘要中是否提供了关于所提及人员的任何其他信息（如他们的职位、简历、个人背景等）？Q3摘要是否包括播客的主要主题Q4摘要是否告诉你任何关于播客;例如，无论Q5摘要是否提供了更多关于标题的关于Podcast？Q6摘要是否包含冗余信息？Q7摘要是用流利的英语写的吗？Q8摘要的开头和结尾是好的句子和段落的开头和结尾吗表5：有8个关于总结质量的是或否问题。一个理想的总结应该得到一个它应该几乎不包含多余的材料，是连贯的，可理 解 的 ， 没 有 语 法 错 误 （ 琼 斯 等 人 。 ，2020）。我们还要求人类评价者回答8个关于总结质量的是/否问题（Jones et al. ，2020）建议，这些问题如表5所示。我们在包含179个播客集的测试集上进行这些实验（Jones et al. ，2020年），其中每个摘要都由机械土耳其招募的五名Master工人进行评估。如表3所示，我们发现人类更喜欢更有根据的抽象摘要，这大大超过了所有基线。25%的接地摘要被评为优秀，其中76%获得优秀或良好的评级。表4显示了8个问题的结果。与以前的最佳系统相比，我们的接地抽象摘要在检索重要信息方面有显着的性能提升，包括人名（+6.03%），人 员 附 加 信 息 （ +12.92% ） ， 主 要 主 题（+1.75%），播客格式（+4.78%）和标题相关上下文（+2.47%），略有冗余。组块选择和转换点预测。我们很想知道我们的系统在预测接地块：（x，y< j）上的表现如何。在这项研究中，我们假设开关点是已知的，并报告验证集的结果 我们的解码器从第一个转录块开始，并在每个切换点预测下一个块。 我们发现，它达到了86.02%的准确率确定地面真相块。接下来，我们检查切换点预测的性能 在验 证 集 上 ， 我 们 观 察 到 预 测 器 分别达 到98.75%，84.95%和91.33%的精确度，召回率和F分数。此外，每个摘要平均有3.67个转换点。大部分时间（92.42%），模型决定使用当前块继续解码下一个摘要片段。 在一个小的百分比（7.58%），模型决定找到一个新的接地块。我们发现1.24每个摘要都有独特的基础块。统计数据表明，识别接地块是至关重要的摘要生成。接地摘要。在表7中，我们测量了出现在成绩单（对于所有基线）或基础块（对于我们的方法）中的摘要n-gram的百分比。虽然一元词的分布在很大程度上是相似的，我们观察到接地抽象摘要倾向于重用更多的二元词和三元词的接地块。此外，对于在接地组块中发现的三元组，我们发现70%的三元组往往出现在开头-组块的前半部分这些结果表明，我们的方法确定的接地块可以提供有效的支持摘要生成。是什么让任务变得复杂？我们手动分析了大量的抄本及其创建者描述，以确定播客摘要的挑战点，如表8所示：+v：mala2277获取更多论文优秀摘要准确地传达了剧集的所有最重要的属性，包括主题内容、类型和参与者。除了准确地表达内容外，它几乎不包含在决定是否收听时不需要的冗余材料。也是连贯，可理解，没有语法错误。好摘要传达了大多数最重要的属性，并使读者对插曲包含很少的冗余材料，这是不需要时，决定是否听。偶尔的语法或连贯性错误是可以接受的。公平摘要传达了内容的一些属性，但给读者一个不完美或不完整的感觉。它可能包含在决定是否听，可能包含重复或断句。坏摘要没有传达任何最重要的内容项目的插曲或给读者一个不正确的或无法理解的感觉插曲包含。它可能包含大量的冗余信息，这些信息在决定是否收听该集时是不需要的。表6：TREC提供的播客摘要的人类评估指南播客摘要，其中摘要文本的跨度基准数据集上的实验证明了我们所提出的方法的实用性。致谢作者要感谢所有匿名的审稿人，感谢他们富有洞察力的评论，这些评论有助于改进本文。这项研究得到了美国国家科学基金会（NSF）的表7：出现在成绩单（对于所有基线）或基础组块（对于我们的方法）中的摘要1/2/3-gram的百分比。我们观察到，接地抽象摘要倾向于重用其接地块的二元组和三元组。• 在口语和书面形式的描述之间存在着大量的词汇不匹配语音识别错误是大量的。例如，在一个示例中，“• 创作者的描述有时是高度抽象的，并不总是总结插曲，并包含挑逗。例如，在一个示例中，“一个男性视角的播客来开始一段对话... ” and “• 文字稿包含广告插页，例如，“我需要告诉你关于我们的赞助商... 并且相同的描述用于导致模型混淆的不同情节，例如，“DailyFortnite的目标是建立一个社区。“6结论在本文中，我们研究播客摘要，以产生文本摘要的播客情节，帮助听众理解为什么他们可能要播放这些播客。我们提出了一种新的格兰特编号2143792引用放大图片作者：Matthew E.彼得斯和阿曼·科汉2020.Longformer ： 长 文 档 Transformer 。 arXiv ：2004.05150。陈佳傲和杨第2020年。多视图序列到序列模型与会话结构的抽象对话摘要。在2020年自然语言处理经验方法会议（EMNLP）上，第4106-4118页。计算语言学协会。Yen-Chun Chen和Mohit Bansal。2018. 快速抽象摘要与加强选择句子重写。在Proceedings of the56thAnnualMeetingoftheAssociationforComputational Linguis-tics （ Volume 1 ： LongPapers ） ， pages 675-686 ， Mel- bourne ，Australia.计算语言学协会。Sangwoo Cho，Franck Dernoncourt，Tim Ganter，Trung Bui，Nedim Lipka，Walter Chang，HailinJin，Jonathan Brandt，Hass