NEQA：知识库开放领域问答的持续学习模式

154 浏览量更新于2023-10-16 收藏 13.93MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

New question: unew{u3, q3} 0.7 {u2, q2} 0.6{u6, q6} 0.2Top-k similar wrt unew{unew, q2} 0.6…  …  10530知识库开放领域问答的永不停止的学习0Abdalghani Abujabal Max PlanckInstitute for Informatics SaarlandInformatics Campus, Germanyabujabal@mpi-inf.mpg.de0Rishiraj Saha Roy Max Planck Institutefor Informatics Saarland InformaticsCampus, Germanyrishiraj@mpi-inf.mpg.de0Mohamed YahyaBloomberg L.P. London,United Kingdommyahya@myahya.org0Gerhard Weikum Max Planck Institutefor Informatics Saarland InformaticsCampus, Germanyweikum@mpi-inf.mpg.de0摘要0将自然语言问题转化为语义表示（如SPARQL）是知识库开放领域问答（KB-QA）中的一个核心挑战。现有方法依赖于离线训练阶段，其中学习模型，并在线部署该模型。这种方法的两个主要缺点是，（一）它们需要访问大量的注释训练集，这并不总是容易获得的，（二）它们无法回答以前未见过的领域的问题。为了克服这些限制，本文提出了NEQA，一种用于KB-QA的持续学习范式。离线时，NEQA从少量的训练问题-答案对中自动学习将句法结构映射到语义结构的模板。一旦部署，当模板不足时，将触发持续学习。通过问题之间的语义相似度函数和非专家用户反馈的谨慎调用，NEQA学习捕捉以前未见过的句法结构的新模板。这样，NEQA逐渐扩展其模板库。NEQA定期重新训练其底层模型，使其能够适应部署后使用的语言。我们的实验证明了NEQA的可行性，随着时间的推移，回答质量稳步提高，并且能够回答来自新领域的问题。0关键词0问题回答；永不停止的学习；用户反馈0ACM参考格式：Abdalghani Abujabal，Rishiraj Saha Roy，MohamedYahya和GerhardWeikum。2018。知识库开放领域问答的永不停止的学习。在WWW2018：2018年网络会议上，2018年4月23日至27日，法国里昂。ACM，纽约，美国，10页。https://doi.org/10.1145/3178876.318600401 引言0动机。知识库开放领域问答（KB-QA）是一个活跃的研究领域，其目标是提供0本文发表在知识共享署名4.0国际许可证（CC BY4.0）下。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW2018，2018年4月23日至27日，法国里昂，© 2018IW3C2（国际万维网会议委员会），根据创作共用CC BY 4.0许可证发布。ACM ISBN978-1-4503-5639-8/18/04。https://doi.org/10.1145/3178876.31860040基于模板的0回答0基于相似度的0回答0回答的用户反馈0问题查询库0�0�0令人满意地回答0不能令人满意地回答0训练数据0模板库0泛化0图1：持续学习：如果一个新的问题u_new不能通过模板满意地回答，我们利用语义相似度函数的输出上的用户反馈来学习一个新的模板(u_t_new, q_t)，该模板基于u_new。0对自然语言问题提供明确的答案[1, 6, 9, 24, 42, 56, 57, 62]或电报查询[31,43]。KB-QA中的一个重要方向通过语义解析来执行这种回答：将用户的问题翻译成随后在Freebase [12]，DBPedia[21]或YAGO[45]等知识库上执行的SPARQL查询。现有方法依赖于离线训练阶段和在线阶段之间的明确分离，在离线训练阶段，模型要么是通过学习得到的，要么是手动构建的，在在线阶段，该模型被部署以回答用户的问题。这种方法存在三个主要缺点：(i)它们需要访问具有足够句法和词汇覆盖的合理大型训练集，以代表用户提出的问题的类型，这些训练集的构建成本很高，(ii)它们没有机制可以通过学习部署后接收到的问题的失败案例来改善其性能，(iii)它们仅限于在训练时学习的语言，因此，它们无法回答以前未观察到的领域的问题。在这项工作中，我们提出了一个基于模板的KB-QA的连续学习框架NEQA（Never EndingQA），它(i)通过一个小的训练集进行初始化，(ii)通过合理地调用用户对底层模板回答机制的失败案例的反馈来改善其性能，并且(iii)通过定期重新训练其底层模型来适应部署后使用的语言。图1显示了一个简化的工作流程。训练一个性能良好的开放领域KB-QA系统需要大量的注释工作，涉及成本、时间和专业知识。一些方法使用标记的SPARQL查询[16]，而其他方法则将其系统训练为问题/答案对形式的弱监督[6,9]，这已被证明效果良好。我们采用这种监督形式，但只使用一个小的训练种子来最小化所需的注释工作。我们依赖于非专家用户的反馈来随着时间的推移获得更多的问题/答案对。在我们的实验中，我们展示了NEQA能够成功回答以前未见过的领域的问题。我们利用非专家用户对作为对给定问题的响应生成的答案集的反馈，这与语义解析和自然语言数据库接口（NLIDB）中的许多最新思想相关。Li等人[35]调用用户反馈来解决用户问题中的歧义词/短语，而Iyer等人[28]要求专家用户提供一个完整的SQL查询来回答数据库中的问题。在Wang等人[51]中，最终用户通过直接交互来教授模型新的概念。其他方法利用众包作为一种互动方式[52,53]。NEQA建立在一个已有的工作线上，通过使用模板将话语的句法依赖结构转化为语义谓词-论元结构，这些模板可以是手动构建的[23, 24, 40, 48,57]，也可以是自动学习的[1]。通过利用句法，这种基于模板的方法实现了更好的泛化[7]。例如，这样的系统可以使用从u1 =“BillCarraro被提名了哪些电影奖项？”生成的模板来回答句法同构的问题“林肯被哪位总统接替了？”，尽管它调用了一个不同的语义KB谓词。这种系统的主要缺点是它们无法处理超出静态训练集中观察到的新的句法结构。例如，对于一个新的问题u new =“BillCarraro收到了哪些电影奖项提名？”即使上述系统在训练中见过u1，它们也无法回答这个新的语义相关（但句法上不同）的问题。如果这些系统在少量的训练示例上进行训练，这个问题会更加严重。NEQA通过使用一种最先进的相似性函数[63]从其历史记录中找到一个正确回答且语义相似的问题，并随后根据新问题学习一个新的模板来纠正这个限制。方法。NEQA由两个直觉驱动。首先，问题的句法同构是它们各自的谓词-论元结构（SPARQL查询）同构的强烈线索。这个直觉是上述基于模板的方法的基础。其次，当句法同构失败时，NEQA调用语义相似性函数和用户反馈来在句法结构之间传递语义并触发学习新的模板。NEQA将这些直觉结合到一个连续学习框架中，逐渐克服小训练集的限制，并随着时间的推移不断发展。NEQA首先通过使用Abujabal等人[1]的方法从少量问题中自动学习一些模板。图1显示了当NEQA接收到一个新的问题时会发生什么。0跟踪：Web内容分析，语义和知识WWW 2018年4月23日至27日，法国里昂10540非专家用户对底层基于模板的回答机制的失败案例进行反馈，并且(iii)通过定期重新训练其底层模型来适应部署后使用的语言。图1显示了一个简化的工作流程。训练一个性能良好的开放领域KB-QA系统需要大量的注释工作，涉及成本、时间和专业知识。一些方法使用标记的SPARQL查询[16]，而其他方法则将其系统训练为问题/答案对形式的弱监督[6,9]，这已被证明效果良好。我们采用这种监督形式，但只使用一个小的训练种子来最小化所需的注释工作。我们依赖于非专家用户的反馈来随着时间的推移获得更多的问题/答案对。在我们的实验中，我们展示了NEQA能够成功回答以前未见过的领域的问题。我们利用非专家用户对作为对给定问题的响应生成的答案集的反馈，这与语义解析和自然语言数据库接口（NLIDB）中的许多最新思想相关。Li等人[35]调用用户反馈来解决用户问题中的歧义词/短语，而Iyer等人[28]要求专家用户提供一个完整的SQL查询来回答数据库中的问题。在Wang等人[51]中，最终用户通过直接交互来教授模型新的概念。其他方法利用众包作为一种互动方式[52,53]。NEQA建立在一个已有的工作线上，通过使用模板将话语的句法依赖结构转化为语义谓词-论元结构，这些模板可以是手动构建的[23,24, 40, 48,57]，也可以是自动学习的[1]。通过利用句法，这种基于模板的方法实现了更好的泛化[7]。例如，这样的系统可以使用从u1 =“BillCarraro被提名了哪些电影奖项？”生成的模板来回答句法同构的问题“林肯被哪位总统接替了？”，尽管它调用了一个不同的语义KB谓词。这种系统的主要缺点是它们无法处理超出静态训练集中观察到的新的句法结构。例如，对于一个新的问题u new =“BillCarraro收到了哪些电影奖项提名？”即使上述系统在训练中见过u1，它们也无法回答这个新的语义相关（但句法上不同）的问题。如果这些系统在少量的训练示例上进行训练，这个问题会更加严重。NEQA通过使用一种最先进的相似性函数[63]从其历史记录中找到一个正确回答且语义相似的问题，并随后根据新问题学习一个新的模板来纠正这个限制。方法。NEQA由两个直觉驱动。首先，问题的句法同构是它们各自的谓词-论元结构（SPARQL查询）同构的强烈线索。这个直觉是上述基于模板的方法的基础。其次，当句法同构失败时，NEQA调用语义相似性函数和用户反馈来在句法结构之间传递语义并触发学习新的模板。NEQA将这些直觉结合到一个连续学习框架中，逐渐克服小训练集的限制，并随着时间的推移不断发展。NEQA首先通过使用Abujabal等人[1]的方法从少量问题中自动学习一些模板。图1显示了当NEQA接收到一个新的问题时会发生什么。0比尔∙卡拉罗被提名为BlackReel0Razzie奖0获奖0制片人0类型0电影奖0类型0被提名为PrimetimeEmmy0电视奖0类型0人物0类型0图2：知识库的子图。节点对应实体和类别，边表示谓词。0问题 u 新的在线。它将满意回答的问题添加到一个不断增长的问题-查询(u,q)对的问题库中，最初由一个小的训练集组成。当我们的基于模板的回答机制无法满意地回答新问题时，将调用该库中的问题。在这种情况下，NEQA学习新的句法结构以提高其未来的回答性能。当使用我们的基于模板的回答机制不能满意地回答unew时，NEQA从该问题触发学习一个新的模板。它首先咨询一个语义相似性函数，找到与unew最接近的k个先前回答的问题。然后，NEQA使用unew中的实体实例化相应的查询。利用执行这些查询在KB上生成的答案集的用户反馈，确定其中一个结果查询(q 2在图1中)最适合unew。然后，NEQA使用一个词典和整数线性规划来对齐u new和q2的组成部分。从这对中创建一个新的模板(u t new，q t2)，然后将其添加到模板库中。贡献。我们提出了NEQA，这是第一个用于KB-QA的持续学习框架，并提出了四个新颖的贡献：0•一个KB-QA系统，可以用少量的训练示例进行种子化，并支持持续学习，以提高其回答性能；0•一种基于相似性函数的回答机制，使NEQA能够回答具有先前未见的句法结构的问题，从而扩展其覆盖范围；0•一个用户反馈组件，明智地要求非专家用户选择满意的答案，从而在用户和系统之间关闭循环，并实现持续学习；0•在两个基准测试中进行了大量实验结果，证明了我们的持续学习方法的可行性，以及回答来自先前未见领域的问题的能力。02 设置 2.1 基本概念0知识库。知识库（KB）是一个以图形表示的事实集合，其中节点对应于（i）实体e ∈ E（例如，比尔∙卡拉罗），（ii）类别或类型c ∈C（例如，电影奖），以及（iii）文字h ∈H（例如，日期）。两个节点由标记为谓词p ∈P（例如，被提名为）的边连接在一起，它们共同形成一个三元组（例如，比尔∙卡拉罗被提名为BlackReel）。任何s ∈ S = E ∪ C ∪P都被称为语义项。图2显示了一个示例KB子图。查询。为了查询KB，我们使用基于SPARQL三元组模式的图匹配。三元组模式是一个三元组，其中一个或多个组成部分被变量替换（例如，?x类型为电影奖）。一个查询0会议：Web内容分析、语义和知识WWW 2018，2018年4月23-27日，法国里昂dclass BillCarraroent nominatedForpred ?x . ?x type movieAwardclass (ent) (pred) ?x type (class)utqtuq BillCarraroent nominatedForpred ?x . ?x type movieAwardclass (ent) (pred) ?x . ?x type (class)utqt BillCarraroent nominatedForpred ?x . ?x type filmAwardclass (ent1) (pred1) ?x . ?x type (class1)11111utqtN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill Carraro nominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1 BillCarraroent nominatedForpred ?x . ?x type filmAwardclass (ent1) (pred1) ?x . ?x type (class1)11111utqtN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill Carraro nominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1uqN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm awarnominatedforN(claV(pred)IN(pred)essWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1 BillCarraroent nominatedForpred ?x . ?x type movieAwardclass (ent) (pred) ?x . ?x type (class)utqt BillCarraroent nominatedForpred ?x . ?x type filmAwardclass (ent1) (pred1) ?x . ?x type (class1)11111utqtN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill Carraro nominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1 BillCaaroent nominatedForpred ?x . ?x type filmAwardclass (ent1) (pred1) ?x . ?x type (class1)11111utqtN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill Carraro nominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1uqN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill CarraronominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1)) IN(pred1) N(ent1)dobjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1ad TeacherNSquirrelonBad Teacherent2)IN(pred1,2)N(ent1)preppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1 BillCarraroent nominatedForpred ?x . ?x type movieAwardclass (ent) (pred) ?x . ?x type (class)utqtuq BillCarraroent nominatedForpred ?x . ?x type movieAwardclass (ent) (pred) ?x . ?x type (class)utqt BillCarraroent nominatedForpred ?x . ?x type filmAwardclass (ent1) (pred1) ?x . ?x type (class1)11111utqtN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill Carraro nominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1 BillCarraroent nominatedForpred ?x . ?x type filmAwardclass (ent1) (pred1) ?x . ?x type (class1)11111utqtN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill Carraro nominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1uqN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm awardnominatedforN(class)V(pred)IN(pred)nmodcasejpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1 BillCarraroent nominatedForpred ?x . ?x type movieAwardclass (ent) (pred) ?x . ?x type (class)utqt BillCarraroent nominatedForpred ?x . ?x type filmAwardclass (ent1) (pred1) ?x . ?x type (class1)11111utqtN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill Carraro nominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1 BillCaaroent nominatedForpred ?x . ?x type filmAwardclass (ent1) (pred1) ?x . ?x type (class1)11111utqtN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill Carraro nominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1) V N(pred1) IN(pred1) N(ent1)dobjnsubjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdobjnnpreppobj1uqN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassﬁlm award Bill Carraro nominatedforN(class)N(ent)V(pred)IN(pred)nmodcasensubjpassWhere did John Steinbeck gotocollegeWRBVNVTONnsubjadvmodauxnmodcaseN(type1)1) IN(pred1) N(ent1)dobjpreppobjWhich actress played character Amy Squirrel on Bad TeacherWDTNVNNINNnsubjdetdobjnnpreppobjWhichactressplayedcharacterAmy SquirrelonBad TeacherWDTN(type1) V(pred1,2) N(pred1,3)N(ent2)IN(pred1,2)N(ent1)nsubjdetdobjnnpreppobjWhich actressplayedcharacter Amy SquirrelonBad TeacherWDTNtype1Vpred1,2Npred1,3Nent2INpred1,2Nent1nsubjdetdobjnnpreppobjN(type1) V(pred1,2) N(pred1,3) N(ent2) IN(pred1,2) N(ent1)nsubjdo

下载后可阅读完整内容，剩余1页未读，立即下载