参数高效的抽象QA编码器-解码器模型在多模态信息搜索系统中的应用

+v：mala2277获取更多论文基于表格或文本的Vaishali1Evangelos Kanoulas2Maarten de Rijke21阿姆斯特丹大学发现实验室2阿姆斯特丹大学诉pal，e.kanoulas，m.uva.nl摘要信息搜索问答系统的一个长期目标是在多模态上下文上进行推理，并为用户查询生成自然答案。如今，通过在特定模态（如非结构化文本或结构化表格）的QA数据上微调模型，理论密集型预训练语言模型适用于下游任务，如QA。为了避免训练这种内存消耗的模型，同时为每个模态使用统一 的 架 构 ， 参 数 高 效 的 适 配 器 在Transformer层之间添加和训练小的特定于任务的瓶颈层。在这项工作中，我们研究了参数高效的抽象QA编码器-解码器模型在结构化的表格数据和非结构化的文本数据，只使用1.5%的额外参数，为每一个模态。我们还对编码器和解码器模块中的适配器层进行了消融，以研究效率-性能权衡，并证明将额外的可训练参数减少到0.7%我 们 的 模 型 在 表 格 QA 数 据 集 （ 如Tablesum和FeTaQA）上的表现优于当前最先 进的 模型 ，并 在文 本 QA数 据集 （如NarrativeQA）上实现了可比较的性能，使用的可训练参数明显少于微调。1介绍不同背景下的信息搜索系统需要模型能力来推理非结构化和结构化数据，如自由形式的文本、表格和图像（Agrawal et al. ，2016; Vaku-lenkoet al. ，2019; Hudson and Manning，2019;Zhang et al. ，2020; Zhu等人，2021; Deldjoo etal. ，2021年）。如果部署为面向任务的会话代理，则这样的系统可能具有生成自然语言响应的附加要求（Wen et al. ，2015; CarnegieandOh ， 2000;Rambowetal.， 2001;Ratnaparkhi，2002）。开放域问答（QA）的最新工作主要通过微调来解决这些挑战自然答案LM头部文本适配器Nx编码器工作台适配器文本适配器解码器表适配器提问表问题文件图1：使用特定模态（表/文本）适配器进行抽象问题分类的基于不同模态（如表格和文本）的大规模预训练语言模型（Yin et al. ，2020; Herzig et al. ，2020 ， 2021; Katsis 等 人 ， 2021; Nanet al. ，2021年）。然而，在特定输入类型上训练的每个模型与其他模态不兼容，并且需要模态特定的微调。例如，在表格式QA（Herzig et al. ，2020），通过训练附加位置嵌入（行和列标识符）来识别表格单元格属于哪一行和哪一列来学习表格这使得这种模态特定的模型与基于自由形式文本的模型不兼容多模态模型（Zhu etal. ，2021）可以通过连接文本上下文和扁平化的表来对表和文本两者进行推理，从而导致更长的输入序列并限制可以被编码的上下文的长度。为了应对这些挑战，我们研究了针对表格和文本的抽象QA的参数有效迁移学习。我们的动 机 是 使 用 适 配 器 层 ， 在 冻 结 的 预 训 练Transformer层之间注入小瓶颈层，因为它们实现了与精细转换层相当的性能arXiv：2204.03357v1 [cs.CL] 2022年4+v：mala2277获取更多论文调整各种任务，如多语言翻译（Pfeiffer etal. ， 2020; Philip 等 人 ， 2020; Guo et al. ，2020）、分类（Houlsby et al. ，2019a），文本到文本生成（Lin et al. ，2020）、对话状态跟踪中的域适应和响应生成（Hung et al. ，2021年）。适配器层的消融研究（Rucklé等人，，2020年 ） 上的 掩 蔽 语言 模 型，如BERT- base和RoBERTa在GLUE基准测试表明，删除开始适配器层导致性能下降最小。在单独的编码器和解码器模块上扩展适配器层烧蚀是重要的，因为层的顺序修剪的常规方法我们的工作探讨了在抽象QA的背景下，两个模块的适配器层的相互作用。Lin等人 （2020）探索适配器瓶颈尺寸对各种语言生成任务的影响，这些任务超过了自回归模型，如GPT-2（Radford et al. ，2019）。他们不研究表格数据，也不消融适配器层，这对于理解顺序Transformer模块架构（如编码器-解码器）中单个适配器的影响至关重要。我们的分析是对（Lin et al. ，2020），因为我们消融适配器层以研究参数-性能权衡，而它们仅关注适配器瓶颈尺寸。此外，我们概括了文本到文本的设置，并探索从结构化或非结构化输入（如表格和文本）生成语言。这在下游数据的任务和结构我 们 提 出 了 一 个 系 统 ， 名 为 Partists ，Eefficient ， AbstractiveQ uestionA nswering（PeaQA），如图1所示，它使用共享的预训练语言模型和特定于模态的适配器层学习对非结构化和结构化输入进行推理。我们自动将层次表转换为常规表，以获得统一的表示，而不会破坏表单元格之间的关联。此外，我们扩展的研究消融适配器层的编码器和解码器模块。我们的主要贡献归纳如下：(1) 我们在多模态上下文上执行参数高效的抽象问题回答，每个模态仅使用额外的1.5%的可训练参数。我们的适配器调优模型通过以下方面优于现有的工作：在表格QA数据集上有很大的余量，在文本QA数据集上实现了相当的性能(2) 我们研究表格QA作为一种新的模态，它引入了大量的输入域转移到预先训练的语言模型。我们提出了一个两步的层次表到序列的转换，它产生了一个统一的表示，由一个单一的，共享的预训练的语言模型和模态特定的适配器层使用据我们所知，这是第一个以参数有效的方式探索表格QA问题回答的工作。(3) 我们烧蚀了编码器和解码器模块中的适配器层，以研究它们的影响，并表明可以消除编码器和解码器的起始层，而不会显着降低性能。我们还证明了最后的编码器适配器层是不可或缺的，并具有更大的贡献比解码器层在同一级别。2相关工作表格式问答。表格式QA系统旨在回答结构化表格中的问题，这些表格可以是规则的或分层的。分层表可以具有跨越多个行和列的标题单元格和主体单元格（Chenget al. ，2021年）。在大多数表格式QA系统中（Herziget al. ，2020; Zhu等人，2021; Katsis et al. ，2021），表的结构通过引入表特定的位置信息（诸如行id和列id）在大型语言模型的嵌入层中编码。，2021; Cheng et al. ，2021）提出了通过推理和聚合来自表格的不连续事实来生成自然答案的额外挑战。文本问答。文本上的问题回答测量系统理解用户问题和上下文段落中的自由形式文本并预测答案的能力。预测的答案本质上可以是提取的，其中系统识别上下文段落中的短文本跨度以回答用户查询（Lee et al. ，2016; Seo等人，2016; Rajpurkar等人。，2016; Pearce et al. ，2021），或者它可以是抽象的，其中需要生成自由形式的答案（Yin et al. ，2016; Mitra，2017; Bauer 等 人 ， 2018; Reddy et al. ，2019）。迁移学习。迁移学习技术，如微调预训练模型，+v：mala2277获取更多论文流任务需要为每个新任务学习一组新参数为了避免这种记忆密集型迁移学习方法，已经提出了适配器作为适应新领域的参数有效方法（ Houlsby et al. ， 2019 b; Pfeiffer et al. ，2020）。适配器已经被扩展到各种生成任务中的语言生成，诸如翻译、摘要、多轮对话和面向任务的自然语言生成（Lin et al. ，2020）。我们的工作结合了上述所有方面，从表格和文本中生成抽象的答案，只有0。7%3模型我们专注于编码器-解码器模型的抽象问题回答的任务。 我们使用BART（Lewis et al. ，2019）编码器-解码器架构，其包括双向编码器和自回归解码器。输入序列由问题、上下文标题和上下文序列组成，上下文序列之前有指示每个子序列开始的提示形式上，输入序列表示为question>qq1. . . qm