+v：mala2277获取更多论文WebCWQQSPCWQWebQSP多跳知识库问题检索的张静1，张小康1，余纪凡2，唐健3，唐杰2，李翠萍1，陈红11中国人民大学信息学院中国北京，2清华大学计算机科学与技术系，北京，中国3决策科学系联系方式HEC Montreal.{zhang-jing，zhang2718}@ruc.edu.cn，yujf18@mails.tsinghua.edu.cn，jian. hec.ca，jietang@tsinghua.edu.cn，{licuiping,chong}@ruc.edu.cn摘要知识库问题回答（KBQA）的最新研究成果是检索子图以便于推理.一个期望的子图是至关重要的，因为一个小的可能会排除答案，但一个大的可能会引入更多的噪音。然而，现有的检索要么是启发式的，要么是交互式的。100908070605040301K 2K 5K10K子图大小(a) 回答覆盖率100908070605040301K 2K 5K 10K子图大小(b) QA命中率@1与推理交织在一起，导致在部分子图上进行推理，当中间监督缺失时，这增加了推理偏差。本文提出了一个可训练的子图检索器（SR）解耦的后续推理过程，这使得一个即插即用的框架，以增强任何面向子图的KBQA模型。大量实验表明，与现有的检索方法相比，SR具有更好的检索性能和更好的质量 通过弱监督预训练以及端到端微调，SR在与NSM结合时实现了新的最先进性能（Heet al. ，2021），面向子图的推理，基于嵌入的KBQA方法。代码和数据集可在线获取1。1介绍知识库问题查询（KBQA）旨在从Freebase，Wikidata和DBPedia等结构化知识库中寻找事实问题的答案。KBQA吸引了很多关注，因为逻辑组织的实体及其关系有利于推断答案。基于语义解析（基于SP）的方法（Das et al. ，2021; Lan and Jiang，2020; Sun et al. ，2020）和基于嵌入的方法（He et al. ，2021; Sunetal. ，2018，2019）是解决KBQA的两种主流方法。前者严重依赖于昂贵的中间逻辑形式（如SPARQL）的注释。而不是解析的问题，后面的直接代表和第1https://github.com/RUCKBReasoning/SubgraphRetrievalKBQA图1：子图大小对NSM的（a）答案覆盖率和（b）QA性能（Hits@1）的影响（He et al. ，2021）（Yih et al. ，2016年）和CWQ（Talmor和Berant，2018年）。基于实体与输入问题的相关性对实体进行 其中，首先检索问题相关子图，然后对其执行推理的模型（He et al. ，2021; Sun et al. ，2018年，2019年）减少了推理空间，与整个KB推理 相 比 显 示 出 优 越 性 （ Chenet al. ， 2019;Saxena等人。，2020; Xu et al. ，2019年）。表2为经验证明）。子图检索对整个QA性能至关重要，因为小的子图很可能排除答案，但大的子图可能引入影响QA性能的噪声。图1（a）显示了两个广泛使用的KBQA数据集WebQSP（Yih et al. ，2016 年 ） 和 CWQ （ Talmor 和 Berant ， 2018年）。我们提取完整的多跳主题为中心的子图，并通过实体的个性化网页排名（PPR）（Haveliwala，2003）分数来控制图的大小我们还介绍了NSM的QA性能（Hits@1）（Heetal. ，2021），一种最先进的基于嵌入的模型，在图1（b）中的子图的相同大小下。据观察，虽然较大的子图更有可能覆盖答案，但当子图包括超过5,000个节点时，QA性能急剧下降此外，它是效率低下的提取这样一个完整的多跳子图的在线问答。结果表明，该方法是可行的，arXiv：[中文回答覆盖率（%）2022年2月QA的命中率（%）+v：mala2277获取更多论文抽动恢复远非最佳。为了提高检索性能，PullNet（Sun et al. ，2019）提出了一种可训练的检索器，但检索和推理过程是交织在一起的。在每一步中，基于LSTM的检索器选择与问题相关的新关系，基于GNN的推理器确定新关系的哪些尾部实体应该扩展到子图中因此，推理机的推理和训练由于中间监督通常是不可观察的，部分子图上的推理增加了偏差，最终会影响最终整个子图上的答案推理。本文提出了一个增强的子图检索模型，该模型设计了一个与子图推理器解耦的可训练子图检索器。SR被设计为一种高效的双编码器，它可以扩展路径以导出子图，并且可以自动停止扩展在此之后，任何面向子图的推理机，如GRAFT-Net（Sun et al. ，2018）或NSM（Heet al. ，2021）可以用于从子图中精细地推导出这种可分离的检索和推理确保推理仅在最终的整体上而不是中间的部分子图上，这使得即插即用框架能够增强任何面向子图的推理器。我们系统地研究了SR的各种训练策略的优点，包括弱监督/无监督的预训练和端到端的微调。我们提取从问题中的主题实体到答案的最短路径，而不是地面真实路径，作为预训练的弱监督信号。当QA对本身也很稀缺时，我们为无监督的预训练构建伪（问题，答案，路径）标签。为了通过最终的QA性能进一步教导检索器，我们启用端到端的微调，其将子图上的答案的相似性作为来自推理器的反馈注入到子图的先验分布中以更新检索器。我们对We-bQSP和CWQ进行了广泛的实验。结果表明：（1）SR与现有的面向子图的推理器相结合，与其他检索方法相比，取得了显著的增益（+11.3-19.3%Hits@1）。此外，SR与NSM一起为基于嵌入的KBQA创建了新的模型（2）在答案覆盖率相同的情况下，SR可以得到更小的子图，从而可以得到更准确的答案。(3)仅具有20%弱监督信号的无监督预训练与具有全部弱监督信号的预训练相当(4)端到端的微调可以提高检索器和推理器的性能捐款. (1)我们提出了一个可训练的SR解耦从随后的推理机en-able一个即插即用的框架，以增强任何面向子图的推理机。（2）提出了一种简单而有效的双编码器结构，实现了比现有检索方法更好的检索效果和质量（3）配备SR的NSM通过弱监督预训练和端到端微调，为基于嵌入的KBQA方法实现了新的SOTA2相关工作KBQA解决方案可以分为基于SP和基于嵌入的方法。基于SP的方法（Bao et al. ，2016;Berant and Liang，2014; Daset al. ，2021; Lanand Jiang ， 2020; Liang et al. ， 2017; Qiu etal. ，2020b; Sun et al. ，2020）将问题解析为可以针对KB执行的逻辑形式。这些方法需要将昂贵的逻辑形式注释为监督，或者仅限于具有少数逻辑谓词的窄域基于嵌入的方法嵌入实体并基于其与问题的相关性对其进行排名，其中从整个KB中提取实体（Miller et al. ，2016;Saxena等人，2020）或限制在子图中（Chen etal. ，2019; He et al. ，2021; Sun et al. ，2018;Zhang et al. ，2018）。它们具有更好的容错性，但整个KB或ad-hoc检索子图包括许多不相关的实体。一些作品如PullNet（Sun et al. ，2019 ） ， SRN （ Qiuet al. ， 2020a ） 和 IRN（Zhou et al. ，2018）通过训练检索器来增强检索，但是检索和推理交织在一起，导致在部分检索的子图上进行推理。开放领域QA（OpenQA）旨在回答基于大型文档源的问题。大多数OpenQA模型也由检索器和推理器组成。检索器被设计为基于稀疏项的方法，诸如BM 25（Robertson和Zaragoza，2009 ） 或 可 训 练 的 密 集 通 道 检 索 方 法（ Karpukhin 等 人 ， 2009 ） 。 ， 2020;Sachan等人，2021 a），并且推理器处理每个文档-+v：mala2277获取更多论文∈GΣ|GG--{|{\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F}GGGG|·········L|GG|DLΣ单独地（Guu et al. ，2020）或将所有文档融合 在 一 起 （ Izacard 和 Grave ， 2021 ） 。 与openQA中的文献不同，KBQA中的子图只能通过多跳检索得到，推理机需要处理整个子图而不是每个单独的关系来寻找答案。尽管一些openQA研究提出了多跳文档检索（Asai etal. ，2020），重点是文档的匹配，而不是与KBQA中问题的关系。因此，KBQA的具体解决方案应该与openQA不同。3问题定义知识库（KB）G将事实信息组织为一组三元组，即，，G=（e，r，EJ）e，EJE，rR，其中E和R分别表示实体集和关系集.给定一个事实问题q，KBQA是从G的实体集合E中找出问题q的答案Aq。q中提到的实体是由Eq=eq表示的主题实体，其被假定为给定的。本文考虑了复杂问题的答案实体是多跳远离主题实体，称为多跳KBQA。KBQA的概率形式化。给定一个问题q和它的一个答案a A q，我们将KBQA问题转化为最大化概率分布p（a|G，q）。我们不是直接在G上进行推理，而是检索一个子图G <$G并在G上推断a。由于G是未知的，我们将其视为潜在变量并重写p（a|G，q）为：p（a|G，q）=p φ（a|q，G）p θ（G|q）。（一）G目标分布p（a G，q）由子图检索器和答案推理器联合建模子图检索器pθ定义了以问题q为条件的潜在子图上的先验分布，而答案推理器pφ预测给定答案a和q的可能性。目标是找到最佳参数θ和φ，使训练数据的对数似然最大化，即、然后由检索器在采样子图上求出推理器pφ 通过绘制样本（Sachan et al. ，2021b），我们可以近似方程。（2）作为：（θ，φ）=max logpφ（a q，）+logpθ（q），（3）θ，φ（q，a，G）∈D其中第一项和第二项可以分别针对推理器和检索器被优化。具体的推理器可以通过任何面向子图的KBQA模型来实例化，例如基于GNN的GRAT-Net（Sun et al. ，2018）和NSM（He etal. ，2021年）。4子图检索器（SR）检索器需要计算pθ（q），，这是难以处理的，因为潜在变量本质上是组合的。为了避免枚举，我们建议从主题实体中扩展与q相关的前K条路径，然后诱导子图跟随这些路径。4.1扩展路径路径扩展从主题实体开始，遵循一个顺序决策过程。 这里，路径被定义为关系序列（r1，，r|p|），因为一个问题通常意味着排除实体的中间关系。 假设部分路径p（t）=（r1，，rt）在时间t被检索，通过沿着路径填充中间实体，可以从p（t）导出树，即，，T（t）=（e q，r1，E1，rt−1，Et−1）.然后我们从E t-1的相邻关系的并集中选择下一个关系。每个关系r与问题q的相关性通过它们的嵌入之间的点积来衡量，即、s（q，r）=f（q）Th（r），（4）其中f和h都由RoBERTa实例化（Liu et al. ，2019）。具体来说，我们将问题或r的名称放入RoBERTa中，并将其[CLS]标记作为输出嵌入。根据假设（He et al. ，2021; Qiuet al. ，2020a; Zhou et al. ，2018年），在不同的时间步骤扩大关系应该注意（θ，φ）=maxθ，φ（q，a，G）∈Dlogpφ（a|q，G）pθ（G|（q）、（2）G一个查询的特定部分，我们通过简单地连接origi来更新问题的历史发展关系的最终问题其中是整个训练数据。由于这种公式化，检索器可以通过首先训练检索器pθ和inp（t）作为RoBE RT a，i的输入。e. 、f（q（t））=RoBERT a（[q;r1;···;rt]），（5）+v：mala2277获取更多论文图灵温奖|Y|| || |t=0Σ|·问：主题实体1图灵奖路径1（成功，毕业）实例化树1Bengio研究生麦吉尔爱丁堡子图图灵加拿大公民在哪里与图灵合并获奖爱丁堡大学Hinton获奖的毕业生？主题实体2加拿大路径2（公民，毕业生）实例化树2加拿大公民毕业生JamesGosling剑桥CMU加拿大公民剑桥图2：子图检索过程的图示我们从每个主题实体展开一条路径，并归纳出一棵对应的树，然后将不同主题实体的树合并成一个统一的子图。因此s（q，r）变为s（q（t），r）=f（q（t））Th（r）。然后关系r被扩展的概率然后，我们只保留沿着所有树的跟踪路径的实体和关系，例如，在图2中，给定p（r|Q（吨））=1，（6）1+exp（s（q（t），r）−s（q（t），END））问题有两个主题实体其中END是名为“END”的虚拟关系分数s（q（t），END）表示依赖性分数的阈值。如果s（q （ t ） ，r）>s（q （ t ） ，END），则p（rq（t））小于0.5，并且不大于0.5否则我们选择top-1关系，p（rq（t））>0。五、如果关系的概率都不大于0.5.最后，给定问题的路径的概率可以计算为路径中所有关系的联合分布，即，、|p|pθ（p|q）= p（rt|q（t））。（七）t=0其中p表示p中的关系的数量，t=0表示主题实体处的选择，并且t=p表示路径扩展完成时的停止选择。由于不能保证前1个相关路径是正确的，因此我们每次执行前K个波束搜索以获得K个路径。从每个主题实体中，我们得到K条路径，这导致n个主题实体总共有nK条路径。nK个路径对应于nK个实例化的树。4.2诱导子图我们将一个主题实体的前K树的并集合并为一个子图，然后将不同子图中的相同实体合并为一个子图。这可以减小子图的大小，即，答案推理空间，因为来自不同主题实体的子图可以看作是彼此的约束具体来说，从n个主题实体的n个子图中，我们找到相同的实体并合并它们。 从这些合并的实体，我们在每个子图中追溯到根（即，主题实体）并向前跟踪到叶子。Award为了清楚地说明，图中仅呈现了前1个路径。5培训战略在本节中，我们将讨论预训练和端到端微调策略，以训练检索器。图3说明了整个框架和培训过程。5.1弱监督预训练由于地面真值子图不易获得，我们求助于由（q，a）对构造的弱监督信号。具体地说，从问题的每个主题实体中，我们检索到每个答案的所有最短路径作为监督信号，因为路径比图更容易获得。 因为对数最大化-路径的长度等于|p|logp（rtq（t）），我们可以最大化路径中所有中间关系的概率。为了达到 这个目 标， 我们分 解了一 条路 径p =（r1，···，r|p|、END）进入|+ 1（question，relation）来自时间的实例|+1 (question, relation) instances from time0mm 至 |p| ， 包 括 （ [q] ， r1 ） ， （ [q;r1] ，r2），...，和（[q; r1; r2;; r|p|]，END），并优化每个实例的概率。5.2无监督的预训练当（q，a）对也很稀少时，我们以独立于（q，a）对的无监督方式训练检索器。我们利用纽约时报的数据集，2有些作品将因此，本文将两者都视为主题实体。Hinton爱丁堡Hinton剑桥+v：mala2277获取更多论文||˛¸φθ|G|GGG||GG|GGΣΣ`|XΣ问题q用于寻回犬预训练用于寻回犬微调检索器SG点积f（t）（q）p（r|q（t））添加（rt，Et）成树形之前pq）后可能性p（a|q、p、k）h（r）✓（pk|路径NKk=1p，$（pk|q、a）树木进行推理训练Top-K关系编码器nK路径融合nK树木，可能性p（a|q，G）推理器基于关系嵌入的Top-K内积问题编码器图3：SR及其培训策略概述。给定一个问题，SR通过迭代扩展关系生成nK条我们根据每条路径的先验知识对检索器进行预训练，并根据从nK棵树融合的子图的可能性来训练推理器对于端到端训练，检索器在每个路径的后验上进行微调，该路径由先验和它的可能性组成。SG是停止梯度操作。用于关系提取的远程监督数据集（Riedel etal. ，2010）来构造伪（q，a，p）标签。在该数据集中，每个实例被表示为元组（s，（e1，r，e2）），其中s是引用在句子s中提到的两个实体e1和e2之间的关系r的句子。对于两个实例（s1，（e1，r1，e2））和（s2，（e2，r2，e3）），我们将e1视为主题实体，e3视为答案。 然后我们将s1和s2连接起来作为问题，并将r1和r2连接起来作为相应的路径来训练检索器。训练目标与弱监督预训练相同pφ（a q，pk）是给定第k条路径的答案a的似然性本质上，pφ（aq，pk）估计由第k条路诱导的单树上的答案a，而不是由nK条路诱导的融合子图上的答案a.结果，每棵树上的推理似然可以反映到诱导该树的相应路径 估计p φ（ a） 的 理 由 |q， pk ） 与 计 算 p φ （ a|q ，G）。总之，每个训练实例（q，a，G）的整个目标函数被形式化为：5.3端到端微调L= max logp φ（a|q，G）（九）端到端训练是一种对单独训练的检索器和推理器进行联合微调的替代方案。主要的想法是利用反馈推理器NK+max logSG（p φ（a|q，p k））p θ（p k|q），从理性引导路径扩张，寻回犬 为了实现这一点，我们优化了后验p θ，φ（G|q，a）代替先验p θ（G|q），因为k=1Retrieverx前一个包含额外的可能性pφ（a q，pk），其精确地反映了来自推理机的反馈。我们不直接优化后验pθ ， φ（q，a），因为它是从nK条路径中导出的，这使得它不知道哪条路径应该从总体上计算的似然中接收反馈相反，我们通过nK条路径的概率之和近似p（q，a），并通过贝叶斯规则重写每条 路 径 的 后 验 （ Sachan et al. ， 2021b ） ，即，、NK在停止梯度操作SG要停止的更新参数φ。推理机已更新这与两阶段训练相同，通过计算由检索器采样的似然pφ（aqi）（不使用来自答案a的信息）。因此，在计算pφ（a q i）时，训练和评估之间不存在失配，因为仅依赖于两者的先验。直观地，我们训练推理机从nK条最高得分路径中提取正确的答案。我们训练重新-p θ，φ（G|q，a）∝p θ，φ（pk|q，a），（8）k=1nKp φ（a|q，pk）p θ（pk|q），k=1当考虑来自推理器的反馈时，尝试选择总共具有高分数的nK条路径来推导答案。尽管这两个组件是联合训练的，但推理仍然是在检索到的整个其中pθ（pk q）是第k条路径的先验分布，其可以通过等式（1）估计。（7），和在每个时期的子图。我们在附录中介绍了培训过程。`+v：mala2277获取更多论文表一： 数据统计。 表2的QA对数量：WebQSP和CWQ上的QA性能（%）。培训，验证和测试。模型WebQSP点击率@1F1CWQ点击率@1 F1SP模型6实验在本节中，我们进行了大量的实验来评估子图检索（SR）增强模型。我们设计的实验主要回答了以下四个问题：（1）SR是否对提高QA绩效有效？(2)SR能得到更小但质量更高的子图吗？(3)弱监督和无监督预训练如何影响SR（4）端到端的微调是否可以提高检索器和推理器的性能6.1实验设置数据集。我们采用两个基准，WebQues-tionSP（WebQSP）（Yih et al. ，2016年）和复杂网络问题1.1（CWQ）（Talmor和Berant，2018年），用于评估拟议的KBQA模型。表1显示了统计数据。评价我们评估检索的答案覆盖率，这是问题的比例，其中的主题-nK检索路径包含至少一个答案。该指标反映了QA性能的上限，并记为Hits@K。对于QA性能，我们使用Hits@1来评估前1个预测答案是否正确。由于有些问题有多个答案，我们还预测的最佳阈值搜索验证集上的答案，并评估其F1得分。基线模型。我们比较嵌入式KBQA模型，其中EmbedKGQA（萨克斯-ena等。，2020）基于（主题实体、问题、答案）的直接嵌入来直接优化它们的三元组。KV-Mem（Miller et al. ，2016）BAMNet（Chen et al. ，2019）将三元组存储在键值结构化存储器中用于推理。GRAFT-Net（Sun et al. ，2018），BAMNet（Chen et al. ，2019），NSM（He et al. ，2021）和PullNet（Sun et al. ，2019）是面向子图的嵌入模型。我们还比较了基于SP的模型，其中QGG（Lan和Jiang，2020）通过添加约束来生成问题的查询图嵌入式模型KV-Mem46.6 34.518.4 15.7EmbedKGQA46.0-32.0-BAMnet55.6 51.8- -GRAFT-Net（GN）66.4 60.436.8 32.7NSM68.5 62.846.3 42.4PullNet68.1-45.9-我们的模型SR+NSM82.774.157.648.3SR+GN80.373.955.147.8SR+NSM，带E2E83.274.558.450.2SR+GN w E2E81.974.155.748.7并同时扩展关系路径，SPARQA（Sun et al. ，2020）提出了一种新的表示问题的KBQA文法，以及CBR-KBQA（Das et al. ，2021）利用BigBird（Zaheeret al. ，2020），一种预训练的seq2seq模型，用于直接将问题解析为SPARQL语句。SR默认通过弱监督预训练进行训练，默认路径数设置为10。6.2总体QA评价我们与最先进的KBQA模型进行了比较，并在表2中列出了Hits@1和F1评分。基于SP的模型基于SP的模型CBR-KBQA在CWQ上取得了最好的性能。这是预期的，因为CBR-KBQA利用预先训练的seq-to-seq模型将输入问题解析为SPARQL语句。然而，该模型依赖于带注释的SPARQL语句，这在实践中是昂贵的注释。基于嵌入的模型。 在这些模型中，KV-Mem和EmbedKGQA从建立在知识库或原始整个知识库上的全局键值存储器中检索答案，具有高召回率，但受到许多噪声实体的影响。与这些全局检索相比，BAMNet在子图上建立键值记忆，但它是一个完全多跳的以主题实体为中心的子图，也是有噪声的。GRAFT-Net和NSM计算PPR评分数据集WebQSPCWQ#火车2,84827,639#验证#测试2503,5191,6393,531SPARQA--31.6-QGG73.073.836.9 37.4公司简介-72.8-70.0+v：mala2277获取更多论文表3：WebQSP和CWQ上SR的回答覆盖率（%）。模型点击率@1WebQSP点击率@5点击率@10点击率@20点击率@1CWQ点击率@5点击率@10点击率@20SR w SuperT68.884.789.991.459.975.484.886.7Sr63.984.290.492.350.475.384.987.1SR（不含QU）60.764.566.468.140.260.162.663.7SR w/o PE61.266.570.173.241.962.965.363.3SR+NSM，带E2E64.384.191.293.751.677.185.387.1SR+GN w E2E64.683.490.793.252.076.885.187.3以控制子图的大小，但ad-hoc检索方法仍然远远不是最优的。PullNet通过学习检索器来加强检索，但检索器和推理器交织在一起，导致部分子图的部分推理，这增加了推理偏差。我们的模特与上述基于嵌入的模型相比，可以观察到两个数据集上的明显性能改进，例如。SR 注 入 的 NSM （ SR+NSM ） 在 WebQSP 和CWQ上分别比原始NSM提高了14.2%和11.3%的Hits@1。我们还表明，SR可以适应不同的面向子图的推理。注射时，超过NSM908580701K 2K 3K 4K子图大小(a) WebQSP7570656070 80 85 90回答率（%）(c)WebQSP807060500K 2.5K 5K 7.5K 10K子图大小(b)CWQ50403050 60 70 80回答率（%）(d)CWQSR 到 GRAFT-NET ， 它 也 显 著 提 高 了 13.9-19.3% 的 命 中 率 @1 。 我 们 没 有 将 SR 注 入BAMNet，因为模型需要子图中的实体类型，这暂时被SR忽略。摘要总体评价表明，SR在面向子图的推理机前注入，能有效地提高问答系统的性能，同时，配备了NSM的SR为基于嵌入的KBQA创造了新的技术水平.6.3取栓装置评价检索到的子图的质量。我们评估了所提出的SR是否可以获得更小但更高质量的子图，这不仅是衡量直接子图的大小和答案覆盖率，但最终的QA性能。为了公平比较，我们将推理器固定为NSM，并将检索器改变为SR，即基于PPR的分类检索（Sun et al. ，2018; He etal. ，2021）和PullNet*-变体PullNet（Sun etal. ，2019）。PullNet* 通过采用相同的SR作为检索器和NSM作为推理器来升级PullNet，但与建议的两阶段策略不同地训练它们由于PullNet通过检索器选择关系，并通过NSM交互扩展实体图四：比较不同子图大小下的答案覆盖率（顶行）和不同答案覆盖率下的QA性能（Hits@1）（底行）。实际上，推理器需要在超出整个子图的每一步处在部分子图上被训练我们在图4中报告了比较结果。顶行呈现具有各种大小的子图的答案覆盖率。结果表明，在相同大小的子图中，SR算法的答案覆盖率高于PullNet* 算法，且显著高于PPR算法。底行表示具有不同答案覆盖率的子图上的QA性能（Hits@1）结果表明，通过对具有相同覆盖率的子图执行相同的NSM，SR检索的子图可以产生比PPR和PullNet* 更高摘要上述结果表明，SR可以获得更小但质量更高的子图。问题更新、路径结束和子图合并的效果。我们研究了策略的影响，包括问题更新策略（QU），它连接了原始的，PPRPullNet*SRPPRPullNet*SRPPR*MPullNetSR+NS+NSMPPRPullNet*SR+NSM+NSM回答率（%）QA的1次命中率（%）回答率（%）QA的1次命中率（%）+v：mala2277获取更多论文100806040200020 50100弱监督数据（%）(a) WebQSP100806040200联合国警察与联合国警察W/O020 50 100弱监督数据（%）(b) CWQCWQ可能会忽略多条路径的情况，因此，弱监督的多条最短路径作为真值的方法可以提供更丰富的监督信号。我们进一步改变{0%，20%，50%，100%}中弱监督数据的比例，图5：检索器的性能通过预训练在命中@10的答案覆盖率（AC）方面。UnP表示无监督的预训练。表4：子图合并策略（GM）在CWQ上的性能。模型子图大小QA的1次命中率（%）SR+NSM44.858.2SR+NSM，不含GM241.556.8在每个时间步的部分扩展路径的最终问题，路径结束策略（PE），学习何时停止扩展路径，和子图合并策略（GM），从top-nK路径诱导一个子图。表3表明，基于SR，当移除QU（SR w/oQU）时，Hits@1下降3.2-10.2%，并且当将PE改变为固定路径长度T（SR w/o PE）时，Hits@1下降2.7-8.5%，其中在WebQSP和CWQ上最佳T表4表明，基于SR+NSM，当去除子图合并策略（SR+NSM w/o GM）而直接取来自不同主题实体的所有子图的并集来归纳子图时，平均子图大小从44.8增加到241.5，QA的Hits@1下降1.4%我们只在CWQ上显示结果，因为WebQSP中的大多数问题只包含一个主题实体，不需要合并操作。摘要上述结果验证了所设计的QU、PE和GM在SR中的有效性。6.4培训策略评估预培训的效果。我们研究了弱监督和无监督预训练对SR的影响。表3示出了监督训练（SR wSuperT）和弱监督预训练（SR）的性能，这表 明 当 检 索 超 过 10 条 路 径 时 ， SR 与 SR wSuperT相当或甚至更好由于WebQSP提供了主题实体和答案之间的单一真实路径，在图5中给出由前10条路径（即Hits@10）诱导的子图的相应答案覆盖率。注意0%意味着SR中使用的RoBERTa没有任何微调。性能显示出与弱生成数据集一致的增长，这证明了其积极的影响。在弱监督预训练之前，我们创建了100，000个伪实例用于无监督预训练（Cf.详情见第5节）。橙色条表示的结果表明，无监督预训练可以显着提高原始SR（0%弱监督数据）超过20% Hits@1。在无监督预训练后仅添加20%的弱监督数据可以实现与100%弱监督数据相当的性能。摘要上述结果表明了弱监督预训练的有效性。同时，在问答对较少的情况下，无监督策略可以作为一种端到端微调的效果 表3示出了SR+NSM w E2 E和 SR+GN w E2 E 两 者 基 于 SR 改 进 了 0.3-1.6%Hits@10的检索。表2示出了SR+NSM wE2 E基于SR改进了0.5- 1.6%Hits@1的QA，并且SR+GRAFT-Net w E2 E基于SR+GRAFT-Net改进了0.5- 1.6%Hits@1的QA。摘要上述结果表明，由推理机估计的回答似然提供了正反馈微调的检索。随着检索器的改进，推理器也可以通过更新子图来增强。7结论我们提出了一个子图检索器（SR）解耦的后续推理KBQA。SR是一种高效的双编码器，它可以在扩展路径时更新问题，也可以确定扩展的停止。在两个基准测试上的实验结果表明，在面向子图的查询之前注入SR联合国警察与联合国警察W/O10个AC时的命中率（%）10个AC时的命中率（%）+v：mala2277获取更多论文soner。如果通过弱监督预训练以及端到端微调来学习SR，则配备NSM的SR为基于嵌入的KBQA方法创建新的+v：mala2277获取更多论文引用AkariAsai ， KazumaHashimoto ， HannanehHajishirzi，Richard Socher，and Caiming Xiong.2020.学习在维基百科图上检索推理路径以回答问题。在国际学习代表上。暴君威，南断，赵炎，周明，赵铁军。2016.基于知识图的约束问题求解。第26届国际计算语言学会议论文集：技术论文，第2503乔纳森·贝兰特和珀西·梁。2014年。通过释义进行语义分析在计算语言学协会第52届年会的会议记录中，第1415Yu Chen，Lingfei Wu，and Mohammed J Zaki. 2019.双向注意记忆网络在知识库问题回答中的应用。在NAACL-HLT程序中，第2913Rajarshi Das，Manzil Zaheer，Dung Thai，AmeyaGodbole， Ethan Perez， Jay Yoon Lee ， LizhenTan ， LazarosPolymenakos ， andAndrewMcCallum.2021.知识库上自然语言查询的案例推理2021年自然语言处理经验方法会议论文集，第9594Kelvin Guu，Champion Lee，Zora Tung，PanupongPa- supat，and Chang Chang. 2020.检索增强语言模型预训练。国际机器学习会议，第3929-3938页。Taher H Haveliwala 。 2003. Topic-sensitive pager-ank：一种上下文敏感的网页搜索排名算法。IEEEtransactionsonknowledgeanddataengineering，15（4）：784何高乐，蓝陨石，姜景，赵伟欣，温继荣。2021.通过学习中间监督信号改进多跳知识库问答。第14届ACM Web搜索和数据挖掘。戈蒂埃·伊萨卡尔和爱德华·格拉夫。2021.利用通道检索与生成模型进行开放式主题问题回答。Vladimir Karpukhin ， Barlas Oguz ， Sewon Min ，Patrick Lewis ， Ledell Wu ， Sergey Edmund ，Danqi Chen，and Wen-tau Yih.2020.开放域问答的密集段落检索。2020年自然语言处理经验方法会议论文集，第6769云石兰、景江。2020.查询图生成用于从知识库回答多跳复杂问题。在计算语言学协会第58届年会的会议记录中，第969放 大 图 片 作 者 ： Chen Liang ， Jonathan Berant ，Quoc Le ， Kenneth D. 福 伯 斯 和 倪 老 。 2017.Neural symbolic machines ： Learning semanticparsers on Freebase with weak supervision.在计算语言学协会第55届年会的会议记录中，第23Yinhan Liu，Myle Ott，Naman Goyal，Jingfei Du，Man-dar Joshi，Danqi Chen，Omer Levy，MikeLewis ， LukeZettlemoyer ， andVeselinStoyanov.2019. Roberta：一个鲁棒优化的BERT预训练方法。CoRR，abs/1907.11692。亚历山大·米勒，亚当·费希，杰西·道奇，阿米尔·侯赛因·卡里米，安托万·博德斯，杰森·韦斯顿.2016. 用于直接读取文档的键值存储网络2016年自然语言处理经验方法会议论文集，第1400邱云启，王远卓，金小龙，张坤。2020年a。弱监督知识图上多关系问题求解的逐步推理。在第13届网络搜索和数据挖掘国际会议的会议记录中，第474Qiu Yunqi Qiu ， Kun Zhang ， Yuanzhuo Wang ，Xiaolong Jin ， Long Bai ， Saiping Guan ， andXueqi Cheng.2020年b.基于知识图的复杂问题求解的层次查询图生成。第29届ACM国际信息会议|&知识管理，第1285-1294页。SebastianRiedel ， LiminYao ， andAndrewMcCallum. 2010.建模关系和它们的提及，而不使用带标签的文本。 在联合欧洲会议机器学习和知识发现数据库，第148斯蒂芬·罗伯逊和雨果·萨拉戈萨。2009. 概率相关性框架：BM25和Beyond。Now Publishers Inc.作 者 ： Devendra Sachan ， Mostofa Patwary ，Mohammad Shoeybi ， Neel Kant ， Wei Ping ，William L.哈密尔顿，和布莱恩·卡坦扎罗。2021年a.用于开放域问题回答的神经检索器的端到端训练在Proceedings of the 59th Annual Meetings ofthe Association for Computational Linguistics andthe 11th International Joint Conference on NaturalLanguage Processing（Volume 1：Long Papers）中，第6648DevendraSinghSachan 、 MostofaPatwary 、Mohammad Shoeybi 、 Neel Kant 、 Wei Ping 、William L Hamilton和Bryan Catanzaro。2021b的最后一页。开放域问题回答的神经检索器的端到端训练。Apoorv Sa
我的内容管理
展开
