基于对话的个人属性提取和推断任务分析及模型介绍

+v：mala2277获取更多论文从对话中提取和推断个人属性Zhilin Wang*，Xuhui Zhou，Rik Koncel-Kedziorski，Alex Marin，Fei Xia华盛顿大学，*Nvidia{zhilinw，xuhuizh，kedzior，amarin，fxia}@uw.edu摘要个人属性表示关于一个人的结构化信息，例如他们的爱好、宠物、家庭、喜欢和不喜欢。我们介绍了从人与人的对话中提取和推断个人属性的任务，并分析了这些任务的语言需求。为了应对这些挑战，我们引入了一个简单的和可扩展的模型，结合了自回归语言模型，利用约束属性生成的歧视性reranker。我们的模型在提取个人属性以及推断不包含在话语中的个人属性方面最后，我们展示了在社交聊天和任务导向的对话设置中纳入个人属性的好处。1介绍个人属性是关于一个人的结构化信息，例如他们喜欢什么，他们拥有什么，他们最喜欢的东西是什么如图1所示，这些属性通常在社交对话中以明示或暗示的方式显示出来，使人们能够更多地了解彼此。以知识图三元组（例如，I、has_hobby、volunteer）的形式表示的这些个人属性可以以可解释的方式表示大量的个人属性，从而通过弱耦合的下游对话任务促进它们的使用（Li et al. ，2014; Qian et al. ，2018;Zhenget al. ， 2020a ， b; Hogan et al. ， 2021年）。其中一项任务是将开放域聊天对话代理接地，以最大限度地减少其语言使用中的不一致性（例如，我喜欢卷心菜→（下一轮）→卷心菜很恶心），让他们和我交谈（李等人）。，2016; Zhang et al. ，2018; Mazaré et al. ，2018;Qian et al. ，2018; Zhenget al. ，2020 a，b; Li等人，2020; Majumder et al. 、图1：使用我们的模型GenRe从话语中获得个人属性三元组的概述。在EXTRACTION任务中，评价值包含在话语中，但在INFERENCE任务中不包含。2020年）。到目前为止，聊天中的个性化已经使用了密集嵌入和自然语言句子。虽然KG三元组已经被证明能够为自然语言生成打下基础（ Moon et al. ， 2019; Koncel-Kedziorski etal. ，2019年），他们还没有被用来个性化聊天对话代理。个人属性还可以帮助面向任务的对话代理提供个性化的推荐（Mo et al. ，2017; Joshi etal. ，2017; Luoet al. ，2019; Lu et al. ，2019;Pei et al. ，2021年）。这样的个性化推荐仅尝试用于具有一小部分单一热门特征的单域任务（30）。<然而，跨广泛任务的个性化（通过诸如Alexa、Siri和助手的多任务对话代理推荐食物、电影和音乐）可能需要数量级更多的个人属性特征。这使得KG三元组非常适合表示它们，因为这种数据结构对于模型选择和利用相关特征具有优势（Li et al. 、arXiv：2109.12702v2 [cs.CL] 2022年4月+v：mala2277获取更多论文2014; Hogan et al. ，2021年）。基于这些优势，我们研究如何个人属性可以预测从对话。这一步的一个重要瓶颈在于现有标记数据集中相关个人属性的覆盖率很因此，我们在第二节中引入了两个识别个人属性的新任务，二、如图1所示，扩展任务需要确定话语中的哪个短语指示个人属性，而推理任务通过要求模型预测话语中未明确逐字陈述的个人属性来增加进一步的挑战。这在对话环境中很常见，人们使用各种语义相关的词语来表达个人属性，或者使用常识推理来暗示它们。我们分析这些因素如何使个人属性被链接到表达他们的话语。为了解决这些任务，我们在第3节中提出了一个简单但可扩展的模型GenRe。GenRe将约束属性生成模型（灵活地适应在话语中没有找到的属性）与判别性重新排序器（可以在高度相似的候选人之间进行对比）相结合。我们在第4节中的实验表明，这种设计使我们的模型在EXTRACTION和INFERENCE任务上的表现优于随后在第5节中，详细的消融研究证明了我们的模型组件的价值，同时进一步分析确定了未来的改进领域。最后在第6节中，我们展示了KG三元组形式的个人属性如何提高开放域社交聊天代理和面向任务的对话代理的个性化。 在前一种情况下，可以利用个人属性来提高PersonaChat任务上的聊天机器人一致性（Zhang et al. ，2018）。在后一种情况下，我们建议我们的个人属性可以支持个性化的多任务，面向任务的对话设置。2个人属性任务基于对话个性化的个人属性的有用性，我们提出了从自然语言句子中获取个人属性我们首先解释如何从DialogNLI数据中制定最后，我们分析任务数据集，以深入了解我们的任务所涉及的语言现象2.1个人属性DialogNLI （ Welleck et al. ， 2019 ） 包 含PersonaChat话语的样本（Zhang et al. ，2018年），每个与手动注释的个人属性三元组配对。 每个三元组包括头实体、关系和尾实体。这些三元组最初被注释以识别PersonaChat语料库中的限定、矛盾和中性语句。例如，标记为（I，[favorite_color]，blue）的语句将与标记为（I，[favorite_color]，green）的另一个语句相最大的三组关系是：a。has_X（其中X=爱好、车辆、宠物）b. favorite_Y（其中Y =活动、颜色、音乐）c. like_Z（其中Z =阅读、喝酒、看电影）。2.2提取和推理任务通过重新利用DialogNLI数据集，我们的任务试图从他们的配对话语中提取这些个人属性三元组我们首先使用了一个脚本，获得对个人三元组和话语。接下来，我们组合了具有类似含义的关系，例如like_food和favorite_food，并删除了未指定的关系，例如favorite，have和others。最后，我们删除了含有“无”或“<空白>”的三元组的无效样本，并删除了尾部实体的前缀编号（例如11只狗），因为数量对我们的研究并不重要。我们通过将DialogNLI数据集划分为两个不重叠的子集来制定两个任务。在这里，每个样本 指 的 是 与 注 释 三 元 组 配 对 的 句 子Train/dev/test拆分遵循DialogNLI，描述性统计量见表1.一、EXTRACTION任务的数据集包含的样本中，头部和尾部实体都在配对的句子中。一个例子是（I，[has_profession]，receptor），来自句子我们以类似于现有关系提取任务（如ACE05（Wadden et al. ，2019年）和NYT24（Nayak和Ng，2020年）。这使我们能够应用从关系提取中学到的建模经验。互补集合是用于IN-FERENCE任务的数据集，对于该数据集这在现实世界的对话中很重要，因为人们并不总是明确地表达他们的个人属性，+v：mala2277获取更多论文EEXTRACTIONINFERENCE样品火车2291125328dev.26762658测试27462452独特的元素标题实体88109关系3939尾部实体23812522Avg. 话标题实体1.031.08关系1.001.00尾部实体1.201.28句子12.912.2表1：两个任务的数据集统计。使用释义和常识推理这样做。释义三元组的一个 例 子 是 来 自 句 子 “I am in the 99 th heightpercent”的（I，[physical_attribute]，tall）推理任务被视为扩展任务的验证版本，测试模 型 一 个 现 有 的 任 务 试 图 预 测 个 人 的attribute，并不总是明确地发现在句子（吴等。，2019）。然而，它没有区分可以在句子中明确找到的个人属性（即EXTRAC-TION）和不 能 在 句 子 中 明 确 找 到 的 个 人 属 性 （ 即INFERENCE）。我们认为，鉴于识别这两种类型的个人属性的内在困难有很大的不同，将它们作为两个单独的任务是有帮助的。通过这种方式，研究社区可以首先在简单的任务上取得足够的成绩，然后再应用经验教训在更具挑战性的任务上取得进展。这也是第一次，没有明确包含在句子中的个人属性被证明是来自句子中的单词使用com-monsense/词汇推理。2.3正式任务定义给定一 个句子 S，我们 想得到一 个形式为（head实体，图2：句子关系，尾实体）。该关系必须属于一组39个预定义关系。 在EXTRACTION子集中，头图元和尾图元是S内的跨距。相反地，在INFERENCE子集中，头部实体和/或尾部实体不能被发现为S内的跨度。2.4数据集分析我们分析数据集，以了解如何处理任务因为大多数的头实体（93.3%）只是单词“我”，我们的EXTRACTION任务的数据集我们使用句子的依赖性分析来理解尾实体中的单词与句子根之间选择依存句法分析是因为它是一个研究得很好的句法任务（Nivreet al. ，2016年）和以前用于关系提取任务（张等人。，2017年）。使用来自spaCy的预训练的trans-former模型来1解析器是在用ClearNLP依赖模式注释的数据上训练的，该模式类似于通用依赖模式（Nivre etal. ，2016）。2如图2所示，介词宾语（pobj）和直接宾语（dobj）各占尾部实体的17.5%，其次是复合词（compound）、定语（attr）和形容词性补语（compomp），以及138个其他长尾标签。语法角色的范围以及三分之一的尾实体不涉及名词1https://spacy.io/2https://github.com/clir/clearnlp-guidelines/blob/master/md/specifications/dependency_labels.md+v：mala2277获取更多论文1：m1：K转换示例%（句子→尾部实体）ConceptNet_相关母亲→女性71.3ConceptNet_connect妻子→已婚56.8WordNet_同义词户外→户外39.5WordNet_hypernym鼓→仪器5.04WordNet_下义词猫→猫4.17同杆游泳→游泳43.3表2：在应用每个变换之后可以与句子单词相关(see第A.2节中的图）还表明，我们数据集中的尾部实体超出了专有名词，这是许多关系提取数据集（例如，，ACE05和NYT24）主要关注。尾部实体所扮演的语法角色的这种多样性意味着仅基于基于规则的提取、解析或命名实体识别的方法不太可能在EXTRACTION任务中成功。推理任务的数据集对数据集的定性检查表明，推理可以两项任务的需要。一方面，生成模型是必要的，因为头部和/或尾部实体不能直接从用于INFERENCE数据集的句子中提取。另一方面，使用隔离生成器的初步实验表明，大部分正确的三元组都在前k个输出中，而不是前1个输出中。重新排序器可以用来在前k个候选三元组中选择最可能的三元组，从而大大提高性能（见表4）。3.1发生器我们使用自回归语言模型（GPT-2小）作为我们的生成器，因为它广泛的预训练在生成语法和语义一致的实体方面很有用。选择小模型以保持模型大小与基线相似我们微调这个模型来预测在一个给定的输入句子中出现的一个人的attribute三元组。具体地说，我们把扁平化的三元组作为目标，使用原始句子作为上下文进行预测。三元组用控制标记格式化，以区分头实体、关系和尾实体，如下所示：y=[HEAD]，thead，[N]，treln，[TAIL]，ttail基于语义相关的词1：m1：K和常识推理，如第2.2节中讨论的示例所示。为了更好地理解如何从INFERENCE子集中的句子推断尾实体，我们分析了尾实体中的词与句子中的词之间的关系。79.2%的尾实体不能在句子中直接识别。我们执行了一些转换来识别尾 实 体 和 句 子 之 间 的 潜 在 联 系 。 Concept-Net_connect是指ConceptNet上具有最高权重边缘的单词到句子单词，而ConceptNet_related是指具有最接近嵌入距离的单词到句子单词。其制备详情见附录A.3。如表2所示，我们的分析表明，一个模型可以在需要Word-Net语义知识（Fellbaum， 1998）和 ConceptNet常识 知识（Speeret al. ，2017年）。3流派本 节 提 出 了 GenRe ， 这 是 一 个 对EXTRACTION和INFERENCE任务使用统一架构的模型。我们使用一个简单的和可扩展的生成器reranker框架来解决其中{[HEAD]，[RELN]，[TAIL]}是控制对象-kens，thead是头实体（长度为m的序列），treln是关系，ttail是尾实体。在评估过程中，我们给出一个句子作为上下文，并试图以上述扁平化格式生成一个个人属性三元组。为了减少搜索空间，我们采用了约束生成的方法。具体地，在[N] to- ken之后，只能生成39个预定义关系中的一个，因此所有其他标记的输出概率被设置为0。在[TAIL]标记之后，所有未出现在输入句子中的输出标记将 在 EXTRACTION 任 务 中具 有 零 概率 。 对 于INFERENCE任务，[TAIL]标记之后唯一允许的输出标记是那些出现在训练数据中例如，可以用[physical_attribute]关系生成的尾部实体包括我们施加了这个限制，以防止模型产生与预测关 系 无 关 的 属 性 （ 例 如 带 有 [physi-cal_attribute]的尽管限制了模型+v：mala2277获取更多论文75.7%），这种方法有助于提高模型的整体性能。实施细节见附录A.4。3.2雷兰克我们使用BERT-base作为重排序器，因为它的双向性允许尾部标记影响关系标记的选择。此外，BERT已经证明了预训练语言模型中最好的常识理解 （ Petroni et al. ， 2019; Zhou etal. ，2020）。这些好处导致许多关系提取模型使用BERT作为管道的一部分（Wadden etal. ， 2019; Yu et al. ， 2020; Ye 等 人 ， 2021年）。对于每个S，我们使用生成器获得L个最可能的序列，包括上下文句子。基于预测的三元组（头实体、关系、尾实体）是否与地面实况三元组精确匹配，每个序列被标记为正确或不正确。不正确的序列用作重新排序器的挑战性阴性样本，因为它们与正确的序列极其相似，因为它们是一起生成我们用二进制交叉熵损失函数对BERT模型进行微调，以分类序列是否正确。在推理过程中，我们选择正确可能性最高的序列作为我们的预测序列。我们在所有实验中将L设置为10实施细节见附录A.5。4实验我们首先解释实验中使用的指标接下来，我们介绍基线模型。最后，我们研究了GenRe与基线模型的比较，以了解其优势。4.1度量根据Nayak和Ng（2020）计算微平均精度/召回 率 /F1 ， 其 中 仅 当 所 有 三 个 元 素（head_entity、relation和tail entity）均正确解析时，才认为样本正确。我们之所以选择这些指标，是因为我们对所有预测的个人属性中被正确识别的比例（精确度）和所有真实个人属性（召回率）感兴趣。F1被认为是精确度和召回率的聚合度量。4.2基线模型生成模型可用于EX-TRACTION和INFERENCE任务。WDec是一种编码器-解码器模型，在NYT24 和 NYT 29 任 务 中 实 现 了 最 先 进 的 性 能（Nayak 和Ng，2020）。编码器是一个Bi-LSTM，而解码器是一个关注编码器状态的LSTM。可以使用可选的复制机制：当使用时，解码器将仅生成在原始句子中找到的标记。复制机制用于EXTRACTION数据集，但未用于INFER-ENCE数据集（鉴于其更好的经验性能）。GPT2是我们构建GenRe的自回归语言模型。我们使用与GenRe中相同的提取模型只能用于EX-TRACTION任务，因为它们从原始句子中选择头部和尾部实体。DyGIE++是一个基于RoberTa的模型，在多个关系提取任务中实现了最先进的性能，包括ACE 05（Wad-den et al. ，2019）。它首先提取原始句子中的跨度作为头部和尾部实体。然后，它将这些实体与关系配对，并将它们通过图神经网络，头部和尾部实体作为节点，关系作为边。这允许在通过分类器传递三元组之前在相关实体之间的信息流。PNDec是一种编码器-解码器模型，在NYT24和NYT 29中实现了接近SOTA的性能（Nayak和Ng，2020）。它使用与WDec相同的编码器，但使用指针网络从原始句子中识别头部和尾部实体，并将其与可能的- kens关系配对以形成随后分类的三元组所有基线模型都是使用他们建议的超参数在我们的数据集上训练的4.3模型结果EX-TRACTION数据集上表现最好的基线模型是提取模型，它选择句子中的跨度并分类整个三元组是否可能是正确的。由于句子中跨度的数量很少，这种方法可以有效地限制搜索空间。另一方面，提取模型不能解决推理任务，因为必须在句子中找到头部和尾部实体的不合理假设因此，生成模型在提取任务上的表现更差，但在INFER上是有能力的。+v：mala2277获取更多论文≥EEXTRACTIONINFERENCE表3：测试集上的性能。基于双尾t检验，GenRe的平 均 F1 显 著 高 于 所 有 基 线 模 型 ， 运 行 5 次（p0.05）。<任务。这是因为生成是以从左到右的方式发生的，这意味着三元组的一些 我们将生成模型与基于BERT的重新排序器（类似于提取方法所使用的模型）联系起来的方法结合了两个世界的优点。它不仅在提取任务上表现良好，3.7 F1点超过基线），它也擅长推理任务（超过基线≥5.1 F1点）。5分析我们首先进行消融研究，以更好地理解约束生成和重新排序的贡献，通过测量我们的模型的性能时，每个组件被删除。然后，我们试图了解如何预测的个人属性关系的错误，以确定未来的改进领域。5.1消融研究表 4表明 ，重 新排 序和 约束生 成都 有助 于GenRe的 性能 。特 别 地， 受约 束 的生 成 在EXTRACTION数据集上起更大的作用，而重新排序器在IN-FERENCE数据集上起更大的作用。约 束 生 成 对 EXTRACTION 数 据 集（+13.0%F1）有很大影响，可能是因为它将生成搜索空间限制在上下文语句的范围内。在INFERENCE数据集上，原始搜索空间不能有效地限于上下文句子中的标记。因此，应用仅与特定关系相关联的尾部实体（在训练集中）可以被解码的启发式是有用的，即使它将最大召回上限限制为EEXTRACTIONINFERENCE表4：Reranker和限制生成的消融研究。75.7%，远高于实现的35.4%。与EXTRACTION数据集相比，INFERENCE数据集的改进较小（+7.8%F1），因为在施加约束后可以解码的尾部实体的范围更大。需要重新排序器是因为，很多时候，生成器可以生成正确的三元组，但可能不是预测具有最高可能性的三元组。当只考虑前10个候选词而不是前1个候选词时，E-XTRACTION和I-NFERENCE任务的最大可能召回率分别从41.0%增加到59.9%和22.3%增加到41.0%虽然达到的召回率（分别为52.4%和35.4%）与最大可能召回率仍有距离，但达到的召回率远远高于使用单独的发电机5.2关系的错误分类EXTRACTION数据集上的主要错误来源来自具有密切语义的关系标记。它们彼此之间有联系（例如，，[has_profession] vs [want_job]）或者可以彼此相关（例如，、[like_animal] vs[have_pet]或[like_music]vs[favorite_music_artist]），如表5所示。这种错误可能是由于DialogNLI数据集（Welleck etal. ，2019）进行了注释。具体来说，注释者被要求标记一个可能的三元组，而不是所有适用的三元组。正因为如此，我们的评估指标可能会在模型生成与地面事实不匹配的合理三元组未来的工作可以通过标记所有可能的三元组并将任务框定为多标记学习来避免这个问题6个人属性个人属性可以使社会聊天代理更一致和参与，以及使面向任务的代理，使个性化的建议。在本节中，我们使用个人-PRF1PRF1流派68.052.459.246.535.439.2生成WDec57.049.052.733.634.734.1GPT250.931.138.631.317.322.3采掘DyGIE++60.850.955.3PNDec63.149.555.5PRF1PRF1流派68.052.459.246.535.439.2- 施工Gen53.540.746.237.227.131.4- Reranker67.641.051.031.022.325.9+v：mala2277获取更多论文前3名最常见（n）数据集真实关系（n）PRF1预测关系True Tail实体预测尾部实体EEXTRACTION[has_职业]（274）83.862.071.3[has_职业]（189）[就业]（30）[want_job]（17）教师（29）护士（28）房地产经纪人（25）护士（27）房地产（25）教师（19）[have_pet]（149）97.355.070.3[have_宠物]（88）[have_家庭]（18）[like_动物]（12）狗（55）猫（45）宠物（22）猫（32）宠物（23）狗（18）INFERENCE[like_食品]（77）46.741.644.0[like_食品]（62）[like_活动]（5）[like_动物]（4）比萨饼（18）洋葱（9）意大利语（7）比萨饼（19）意大利料理（10）洋葱（8）[like_音乐]（71）40.823.930.2[like_音乐]（40）[favorite_music_artist]（9）[like_活动]（7）爵士乐（10）中国（9）中文（简体）故事至今（12）中国（8）爵士乐（7）表5：EXTRACTION和INFERENCE数据集中的一些关系贡献，以提高聊天代理的一致性，并提供个性化的面向任务的对话代理的信息。6.1Chit-chat代理PersonaChat（Zhang et al. ，2018）被创建以改进开放域聊天对话代理的个性一致性。PersonaChat的构建是通过给成对的人群工作者一组英语个人属性相关的句子，并要求他们以与这些句子一致的方式聊天然后，使用提供的个人信息作为背景，训练模型以生成与众包工作者表达的对话响应一致的对话响应从语料库中选择的话语困惑反映了训练语言模型的质量F1表示生成的序列和地面实况序列之间的重叠程度点击率@1↑困惑↓F1↑搅拌机32.311.320.4+ Per. Attr.35.2*10.4*20.6*表6：使用个人属性来增强Personachat上的Blender的效果对于Hits@1和F1，越高越好;对于困惑，越低越好* 基于双尾t检验，与运行5次的Blender显著不同（p 0.05）。方法我们微调生成版本的在PersonaChat上使用Blender 90M（一种基于transformer的模型，在多个相关任务上进行训练），这是目前最先进的生成模型（Roller etal. ，2020年），并使用个人属性语句地面对话响应生成。在Blender的基础上，我们在每个话语之前预先添加一个相应的DialogNLI个人属性（即+Per. Attr. ），以便更好地指导模型生成与所设置的人物角色一致的合适的响应。该修改相对最小，以证明个人属性KG三元组的信息性，同时保持模型架构和超参数微调与原始工作相同（详见附录A.1）。我们遵循Roller et al.（2020）和Di-nan et al.（2019）。+ Per. Attr. 设置考虑个人属性和话语。Hits@1使用生成的输出的隐藏状态来从20个候选者（正确的话语和19个随机的）中事实1我爱猫，有两只猫第2我Blender我的猫的名字是我所有的帽子+ Per. Attr. 我 的猫叫kitties第1我是医生事实2我女儿是个神童。Blender我的女儿是个神童，所以她出了很多事故。+ Per. Attr. 我见过很多事故。表7：Blender通过混淆两个事实而生成的不正确话语的示例Attr. 模型结果如表6所示，包括个人属性可以提高Per-sonaChat任务的性能。对生成的语句的检查表明，将个人属性包含到Blender中可以更有效地通知模型在生成过程中关注哪个人物角色陈述。这可以防止Blender在不相关的人物角色语句中包含信息（例如，通过混淆来自两个不相关的人物角色语句的事实），如表7所示。+v：mala2277获取更多论文≥≥数据集域#独特的功能我们餐厅，电影，5583音乐，体育，娱乐，购物我们餐馆只206Joshi等人 （2017年）餐厅30Mo等人 （2017年）餐厅10Lu等人 （2019年）购物7表8：用于个性化任务导向对话的各种数据集所涵盖的领域。#唯一特征是指唯一属性值的数量（例如，人们喜欢的特定食物），可以用于个性化。6.2任务型对话中的个性化虽然个性化已被纳入单一任务设置（Joshi etal. ，2017; Mo等人，2017; Luo et al. ，2019;Lu et al. ，2019; Pei et al. ，2021），但是还没有尝试在多任务设置中进行个性化。 这是在多任务对话迅速成为面向任务的对话评估标准的背景下（Byrne et al. ，2019; Rastogi et al. ，2019; Zang et al. ，2020; Shalyminov等人。，2020）。为了克服这一差距，我们展示了我们的数据集如何为多任务对话中的个性化奠定基础。方法我们使用了几个流行的数据集多任务任务 为 导 向 的 对 话 （ Zang et al. ， 2020;Shalyminov等人。，2020; Byrne et al. ，2019;Ras-togiet al. ，2019）。从每个数据集中，我们手动观察其任务并将其分类为几个总体领域，如表8所示。然后，我们在各种领域和数据集之间创建了一个映射，用于个性化面向任务的对话（包括我们的对话）。任何数据集都不支持的域将被忽略。结果与表8中的现有数据集相比，我们的数据集能够在更大数量的领域中进行个性化推荐。这些领域包括餐馆和购物，这些领域已经被现有的数据集所探索，以及电影，音乐，体育和娱乐，这些领域迄今为止一直被忽视。对于以前已经探索过的领域，例如餐馆，我们的数据集包含一组更多样化的可能的个人属性值（例如，人们喜欢的食物），这可以支持它以更现实的方式个性化推荐。7相关工作个人属性提取：大多数工作都是从自然语言中提 取 个 人 属 性 （ Pappu 和 Rudnicky ， 2014;Mazaré et al. ， 2018; Wu et al. ， 2019;Tigunova et al. ，2019年，2020年）采用了远程监督方法，使用了记忆和手工制作的模板，其召回率很差。相比之下，我们使用一个强大的监督ap-proach中的三元组手动注释。Li等人（2014）和Yu等人（2020）试图使用强监督范式从对话中提取个人信息。然而，他们关注的是人口统计学属性和人际关系，这与我们关注人们拥有和喜欢的东西 Li等人 （2014）使用SVM对关系进行分类，使用CRF对实体进行槽填充，而Yu等人（2020）使用BERT来识别给定实体之间的关系。使用语言模型生成KG三元组：自回归语言模型已经应用于涉及生成具有与个人属性KG三元组类似结构的数据的广泛任务，包括对话状态跟踪（Hosseini-Aslet al. ， 2020 ） 和 常 识 KG完 成 （ Bosselut etal. ， 2019 ） 。 最 相 似 的 应 用 是 Alt et al.（2019），它使用原始的GPT模型（Radford和Narasimhan，2018）进行关系分类。他们的任务公式化包括为两个给定的实体确定一个特定的关系（从大约30个可能的选项中）。另一方面，我们的任务不仅要识别关系，还要识别头和尾实体，这些实体具有潜在的开放词汇要求，这使得它们更加困难。8结论总之，我们提出了从对话中提取和推断个人属性的新任务，并仔细分析了这些任务的语言要求为了满足我们的任务的挑战，我们提出了GenRe，一个模型，它结合了约束属性生成和重新排名的预训练的语言模型。GenRe在提取任务中实现了与已建立的关系提取基线相比的最佳性能（3. 7F1点）以及更具挑战性的INFE-ENCE任务，涉及词汇和常识推理（5。1个F1积分）。总之，我们的工作有助于实现个人属性的社会聊天和面向任务的对话代理的个性化的潜力的重要一步+v：mala2277获取更多论文致谢我 们 感 谢 Noah Smith 、 Waleed Ammar 、Massimil- liano Ciaramita、Dongqi Su、WeizheLin和UW-NLP及其他许多人的深入讨论。道德和更广泛的影响我们检查了Dialog NLI数据集的选择，以确保它不包含真实姓名，个人身份信息或攻击性内容。因为我们的任务涉及提取和推断个人属性，现实世界的用户应该被给予选项，以不允许特定类型的关系被收集和/或用于下游应用程序。用户还应该有删除其收集的个人属性的自由。进一步的步骤可能是使用不同的隐私和联合学习技术将个人属性的提取和存储限制为仅本地设备。引用Christoph Alt，Marc Hübner，and Leonhard Hennig.2019. 通过预先训练的语言表示改进关系提取。自动知识库构建（AKBC）Antoine Bosselut，Hannah Rashkin，Maarten Sap，Chai- tanya Malaviya，Asli Eschelikyilmaz，andYejin Choi.2019. Comet：用于自动知识图构建的常识转换器。计算语言学协会（ACL）。Bill Byrne、Karthik Krishnamoorthi、ChinnadhuraiSankar、ArvindNeelakantan、DanielDuckworth、Semih Yavuz、Ben Goodrich、AmitDubey、Kyu- Young Kim和Andy Cedilnik。2019.Taskmaster- 1：走向现实和多样化的对话数据集。Emily Dinan ， Varvara Logacheva ， Valentin Ma-lykh，Alexander Miller，Kurt Shuster，Jack Ur-banek ， Douwe Kiela ， Arthur Szlam ， IulianSerban，Ryan Lowe，Shrimai Prabhumoye，AlanWBlack，AlexanderRudnicky，JasonWilliams，Joelle Pineau，Mikhail Burtsev，andJason Weston.2019. 第 二 届 对 话 智 力 挑 战 赛（convai2）。克里斯蒂安·费尔鲍姆1998. WordNet：一个电子词汇数据库。布拉德福德图书。Aidan Hogan ， Eva Blomqvist， Michael Cochez ，Clau-diaRashid，AnisaRula，LukasSchmelzeisen，Juan Sequeda，SteffenStaab和Antoine Zimmermann。2021年知识图谱。Ehsan Hosseini-Asl，Bryan McCann，Chien-ShengWu，Semih Yavuz，and Richard Socher.2020. 一个简单的面向任务的对话。柴坦尼亚湾乔希，费米，和博伊法尔明斯。2017年。目标导向对话。Rik Koncel-Kedziorski，Dhanush Bekal，Yi Luan，Mirella Lapata，and Hannaneh Hajishirzi. 2019. 使用图变换器在计算语言学协会北美分会2019年会议论文集：人类语言技术，第1卷（长论文和短论文），第2284计算语言学协会。亚 伦 ·W 放 大 图 片 作 者 ： Li ， Jiang. Feng ， JuliaSprague ， Wei Zhou ， and Jesse Hoey. 2020.Aloha：人工学习对话代理。AAAI人工智能会议论文集，34（05）：8155Jiwei Li，Michel Galley，Chris Brockett，GeorgiosSp-ithourakis ， Jianfeng Gao ， and Bill Dolan.2016. 基于人物角色的神经会话模型。在计算语言学协会第54届年度会议的临时会议上（第1卷：长文），第994-1003页，德国柏林。计算语言学协会。X. Li，G. Tur，D. Hakkani-Tür和Q.李2014. 会话理解中来自用户话语的个人知识图填充。 2014年IEEE Spoken Language Technology Workshop（ 英 语 ： IEEE Spoken Language TechnologyWorkshop），第224吕义超，斯里瓦斯塔瓦，克雷默，法迪，卡恩，王松，巴加斯.2019. 面向目标的端到端会话模型，具有真实环境中的配置文件功能。在计算语言学协会北美分会2019年会议记录：人类语言技术，第2卷（行业论文），第48-计算语言学协会。罗良辰，黄文豪，曾琦，聂再青2019. 学习个性化的端到端目标导向对话。Proceedings of the AAAIConference on Artificial Intelligence，33（01）：6794- 6801.Bodhisattwa Prasad Majumder ， Harsh Jhamtani ，Tay- lor Berg-Kirkpatrick ， and Julian McAuley.2020. 徒步旅行？你可能会喜欢自然：带有常识扩展的人格面具基础对话。在2020年自然语言处理经验方法会议（EMNLP）中，第9194计算语言学协会+v：mala2277获取更多论文Pierre-Emmanuel Mazaré，Samuel Humeau，MartinRaison，and Antoine Bordes. 2018. 训练数以百万计的个性化对话代理。2018年自然语言处理经验方法会议论文集，第2775-2779页，比利时布鲁塞尔。计算语言学协会。A. H. Miller ， W.Feng ， 中 国 山 梅 花 A.Fisch ，J.Lu ， L.Batra ， A.Bor- des ， D. Parikh 和 J.Weston。2017. Parlai：一个对话研究软件平台。arXiv预印本arXiv：1705.06476。莫凯翔，李双银，张宇，李嘉俊，杨强。2017. 使用迁移强化学习个性化对话系统。文承焕，帕拉斯沙，阿努吉库马尔，和罗仁苏巴。2019. OpenDialKG：可解释的会话推理，基于注意力的知识图谱。计算语言学协会第57届年会论文集，第845-854页，意大利佛罗伦萨。计算语言学协会。塔帕斯·纳亚克和Hwee Ng。2020. 编码器-解码器架构的有效建模，用于联合实体和关系提取。Proceedings of the AAAI Conference on ArtificialIntelligence，34（05）：8528- 8535.作者：JoakimNivre，Marie-Catherine de Mar