多语言远程监督关系抽取数据集DiS-ReX研究分析及mBERT基准结果

+v：mala2277获取更多论文DiS-ReX：一个用于远程监督关系抽取的多语言数据集Abhyuday BhartiyaKartikeya Badola毛萨姆印度理工学院Indian Institute of Technology Indian Institute of Technology印度新德里bhartiyabhyuday@gmail.com印度新德里kartikeya. gmail.com印度新德里mausam@cse.iitd.ac.in摘要远程监督（DS）是一种成熟的技术，用于在不使用人工注释的情况下创建用于关系提取（RE）的大规模数据集。然而，DS-RE的研究主要局限于英语语言。将RE限制为单一语言会抑制对大量数据的利用其他语言，可以允许提取更多的不同事实。最近，多语言DS-RE数据集已经发布。然而，我们的分析表明，所提出的数据集表现出不切实际的特征，如1）缺乏不表达任何关系的句子，以及2）给定实体对的所有句子都只表达一种关系。我们发现，这些特点导致一个严重高估的模型性能。作为回应，我们提出了一个新的数据集DiS-ReX，它解决了这些问题。我们的数据集有超过150万个句子，跨越4种语言，36个关系类+ 1个无关系（NA）类。我们还通过使用mBERT对句子进行编码来修改广泛使用的包注意模型，并提供了多语言DS-RE上的第一个基准结果。与竞争数据集不同，我们表明我们的数据集具有挑战性，并为该领域的未来研究留下了足够的空间。1介绍关系抽取是信息抽取的一个重要子任务目标是在给定上下文C的情况下识别一对实体（e1，e2）之间的关系R，其中C是提及这两个实体的某个文本。使用人类符号创建RE数据集Mintz等人（2009年）提出通过使用远程监督（DS-RE）创建关系提取数据集。DS-RE是袋级分类任务，* 平等贡献实体对（E1，E2）的包被定义为数据集中所有提到E1和E2的句子的集合。如果e1和e2具有根据知识库（KB）的关系r，则（e1，e2）的整个袋与标签r相关联。DS-RE的研究主要限于英语，因为没有大型多语言数据集。由于关于世界的相同事实可以用不同的语言表示，RE模型的多语言训练可以有几个好处。针对多语言任务的单一模型与针对每种语言的一个模型相比，1）允许跨语言知识转移，这提高了所有语言的性能（Zophetal. ，2016; Feng et al. ，2020），和2）是一个更有效的方法捕捉一致的语义跨语言（林等。（2017年）EX-Distant（Köksal和Özgür，2020）是第一个用于远程监督关系提取的多语言数据集，包含5种语言的句子。我们的分析揭示了这个数据集的一些关键缺陷，这使得它不适合作为可靠的DS- RE基准：1. 它没有负样本，即给定实体对之间没有任何可能关系的句子2. 关系类在语义上相距甚远。在关系集中不存在具有多于一个可能标签的实体对，即使在远距离监督方案下也是如此。3. 数据集非常不平衡。50%以上的箱包属于国家关系型。这些不切实际的特征严重低估了RE模型我们使用基于简单mBERT的模型进行的初步分析在仅5个训练时期后在测试集上实现了0.98的AUC和0.95的Micro F1这些问题使得该基准不适合推动多语言DS-RE领域的进一步研究arXiv：2104.08655v1 [cs.CL] 2021年4月+v：mala2277获取更多论文作为回应，我们为称为DiS-ReX的任务贡献了一个更现实的基准数据集我们的贡献如下：1. DiS-ReX是一个多语言远程监督关系提取数据集，支持4种语言：英语、德语、西班牙语和法语。我们的数据集有超过150万个实例。每个实例可以是37个关系类之一（36个正关系类和1个非关系类）2. 我们还提供了第一个基准数字多语言远程监 督 RE 使 用 mBERT （ Devlin et al. ，2019）编码与袋内注意（林等。（2016年）我们的数据集具有与NYT数据集相似的无关系（NA）示例百分比，NYT数据集是英语DS-RE的标准数据集。我们的积极类之间的不平衡是少得多相比，10X远（几乎一个数量级的改进）。使用我们的基线模型，我们在测试集上实现了0.8的AUC和73%的Micro F1。这表明，与XNUMX数据集不同，我们的数据集并不是微不足道的优化，并且有可能作为任务的有用和具有挑战性我们公开发布我们的数据集和基线模型1。2以前的作品对于多语言监督关系提取，ACE05数据集（ Walker et al. ， 2006 ） 和 KLUE 数 据 集（Han，2010）已被用作标准基准。这两个数据集的样本数量都较少（约10k）。Mintz等人（2009）提出了远程监督作为大规模人工注释的替代方案。为了处理错误标记问题，Riedel等人（2010）应用“至少一个”假设，Hoffmann等人（2011）和Surdeanu等人（2012）将远程监督RE重新建模为多实例多标记（MI-ML）分类任务。在MI-ML框架下，提取器的目标是从给定包的关系类集合中预测所有可能的关系，该包包含同一实体对的多个句子 Riedel等人 （2010）还介绍了使用远程监督构建的纽约时报（NYT）数据集，该数据集用作1数据集和提取它的代码可以在https://github.com/dair-iitd/DiS-ReX英语DS-RE的重要基准。EX-Distant（Köksal和Özgür，2020）是多语言DS-RE的第一个数据集，但它存在前面部分讨论的几个缺点。此外，作者没有发布任何关于EXT-Distant数据集的基准数据，而是使用远程监督来预训练下游监督RE系统。用于DS-RE的首批深度神经网络之一是基于分 段CNN （ PCNN） 的 方法 （ Zenget al. ，2015）。 Lin等人 （2016）将PCNN与包内注意力相结合，其中可训练的关系嵌入关注包中的所有句子，并生成用于预测的包级表示。Lin et al.（2017）和Wang et al.（2018）提出了对双语数据集的袋注意力模型的扩展。然而，由于缺乏多语言DS-RE数据集，这些模型对多种语言的采用受到限制。我们不是为每种语言使用单独的句子编码器，而是通过使用公共mBERT模型对句子进行编码来修改包注意力模型。这是我们数据集的基线基准。3方法3.1数据集创建管道我们首先使用维基百科收集大量英语、法语、西班牙语和德语的句子。然后，我们通过将句子与DB- pedia KB对齐来使用远程监督来假设关系（Lehmann et al. ，2015），其是从维基百科提取的大规模多语言KB。对于数据集创建，我们构建了一个通用管道，可以扩展到从维基百科以外的其他文本语料库中获取数据集。具体步骤如下：1. 每种语言的维基媒体转储被下载并分成句子。句子中存在的实体是使用特定语言 的 NER 标 记 器 检 测 的 （ Honnibal 和Montani，2017）。2. 我 们 对 不 同 语 言 的 句 子 使 用 不 同 的DBpedia语言版本。这使我们能够更好地覆盖世界上不同语言地区的实体。3. 我们通过查找每个条目的维基数据ID来融合不同语言版本的知识库，+v：mala2277获取更多论文--|\\我我我我 我 我i、j我我--奶子 维基数据ID在局域网上是一致的，语言#句子#非NA袋4. 通过字符串匹配将句子中检测到的实体与融合知识库对齐我们只选择在知识库中获得精确匹配的实体。5. 对于句子中的每个实体对，我们在知识库中搜索它们之间的关系如果找到了一个关系，那么这个实例就被标记上它，否则label就是“NA”。然后，我们根据所有语言组合的袋子数量在4种语言中，每种语言中不超过50个包的关系类型我们最终得到了36个正相关类。然后，我们添加它们之间没有关系的实体对的包我们过滤带有“NA”标签的包，以实现与NYT数据集中相似的实例百分比（约70%）为了使数据集更加平衡，我们将每种语言中每种关系类型的包的数量限制为最多10，000个。这有助于抑制由于国家和出生地等关系类型造成的偏斜。在过滤过程中，我们确保跨1种以上语言的实体对的包不会被删除，这样我们就有了大量的跨语言包。模型可以利用这些包来建立跨语言的表示一致性（Wanget al. ，2018）。我们数据集的主要统计数据如表1. 我们数据集中的正关系类是：艺术家，相关乐队，作者，乐队成员，出生地，首都，城市，国家，死亡地点，出生地，导演，前任乐队成员，总部，家乡，影响，影响者，是的一部分，最大的城市，领导者姓名，位于地区，位置，位置国家，国籍，前任，前任-作品，制作人，省份，记录标签，地区，相关，河口，主演，州，继任者作品，继任者，团队为了评估这个数据集，我们结合了所有语言的句子，并创建了两种类型的分裂。我们称之为看不见的分裂和其他翻译分裂。对于不可见的分割，测试集和训练集中的袋子是互斥的。对于翻译拆分，互斥仅在相同语言的训练包和测试包之间保持，表1：DiS-ReX在一种语言的训练袋和另一种语言的测试袋之间可以有公共袋。我们的训练集、验证集和测试集的比例为70：10：20，翻译和Unseen分割可以衡量提取器的看不见的分裂测量提取器能够推广到新实体对的程度，而翻译分裂测量提取器能够记忆和回忆通过一种语言学习的事实的程度。不同的语言3.2BERT + Bag-Attention基线我们现在描述我们的基线多语言DS-RE模型。设B=β1，β2.β l表示l种不同语言中具有相同实体对（e1，e2）和标签r的句子包。 这里βi=x1，x2... x ni是语言i中具有实体对的句子的集合（e1，e2）和标号r，并且包含ni个句子。使用我们的模型，我们获得概率p（r B，θ），其测量r是袋B的标签的可能性。3.2.1BERT编码器为了获得句子x的分布式表示，我们使用mBERT。为了将位置信息编码到模型中，我们使用由（Soares et al. ，2019）。我们添加特殊标记[E1]，[E1]来标记头实体的开始和结束，并添加[E2]，[E2]来标记尾实体的开始和结束这个修改后的句子被输入到一个预先训练好的BERT模型中，输出的头部和尾部标记被连接起来，以获得我们包中每个句子xj的最终句子表示x3.2.2袋内注意事项为了获得袋B的表示，我们应用选择性的双水平注意（Lin et al. ，2016）。我们获得袋子的实值向量B_i作为句子表示的加权和：B=αjxj语言，并允许我们建立等价英语53249966932像美国和美国这样的实体之间法国40908783951在美洲。西班牙45641880706德国43831545908+v：mala2277获取更多论文我我|i=1Σi=1其中αj测量的注意力得分为10xj与'http：//dbpedia.org/ontology/country'，具体关系r：-jexp（x<$j·r）’http://dbpedia.org/ontology/deathPlace’,αi=αikk，lexp（x<$l·r）这减少了噪声标签对最终袋子表示的影响。最后得到条件概率p（r B，θ）=softmax（o）. 在这里，我们获得了表示所有关系类型的得分的oo= RB+ dR是关系表示的矩阵。我们的目标函数是交叉熵损失，定义如下：L（θ）= bp（r i|B i，θ）其中b表示训练数据中的行李数量4实验和分析4.1数据集比较DS-RE被建模为MI-ML任务。Distant与多标签假设相矛盾，因为不存在具有多个关系标签作为 基 础 事 实 的 实 体 对 。 这 是 因 为 在 EXT-Distant中的关系类型不是• 此外，DiS-ReX还具有逆关系（与DiSX-Distant不同），这确保模型学习到实体对应该被排序。其中一些例子是：（successor，precedent），（ influenced by ， influenced ） ，（previouswork，successfulwork ） ， （ associated band ， bandmember）• 在现实世界的数据集中，模型还必须学会预测两个实体是否相互关联因此，我们的数据集包含“NA”类的实例，其百分比与NYT数据集相似。为了比较DiS-ReX和DiSX-Distant中非NA关系类之间的不平衡，我们计算了关系类分布上的归一化熵（Shannon，1948对于k个类，其中第i个类具有ni个实例，所有k个类的实例总数为n：nini他们中的许多人，都是有着共同点的。效率=−knlognlogK很排外例如，在“远距离”中，人与人之间的关系是：母亲、配偶、父亲、兄弟姐妹、伴侣。我们看到，对于一个给定的人-人实体对，在知识库中几乎总是恰好有一个可能的关系。事实 上 ， 这 是 所 有 关 系 类 的 情 况 下 ， 在XNUMX- Distant数据集。在这样的数据集上评估分类器并不能表明它在现实世界中的表现，在现实世界中，关系类型更加细粒度。理想情况下，DS-RE的数据集应具有足够数量的多标签袋。此外，这种数据集中的实例应该均匀地分布在不同的关系类之间，使得模型不能为了提高其准确性而选择忽略具有很少实例的类我们的DiS-ReX数据集具有以下属性：• DiS-ReX有21642个（~10%）袋具有一个以上的相关标签。一个实体对最多可以有5个可能的关系。一个有4个关系的袋子的例子：(’Isaac Newton’, ’England’):效率介于0和1之间更高效率科学性意味着类分布更接近于均匀分布。在表2中，我们报告了在非NA关系类中最大关系类中的实例的效率和百分比，我们发现，有很高的不平衡性，在EXT-Distant数据集。这有助于基线模型获得接近0.95 micro-F1分数的容易程度。4.2BERT编码器+关注基线我 们 在 DiS-ReX 和 DiSX-Distant 上 运 行mBERT+袋注意力的基线模型。我们在表3中报告AUC和Micro F1对 于 训 练 ， 我 们 使 用 AdamW 优 化 器（Kingma 和 Ba ，2017;Loshchilov和 Hutter，2019），lr=0.001，betas=（0.9，0.999），eps= 1 e-08。除偏差和层范数参数外，所有参数的权重衰减均为0.01。我们遵循Lin等人的培训管道。（2016）并将袋尺寸设置为2. 这意味着在一次向前传递中，我们的网络将处理属于同一个包的两个句子。我们在两个数据集的两个分裂上训练我们的模型5个时期，联合在所有+v：mala2277获取更多论文语言DiS-ReX远距离最大值%效率最大值%效率英语14.980.874850.280.5342法国11.460.871355.490.4763西班牙12.150.878652.050.5551德国17.270.799546.550.5237表2：比较DIS-Distant和DiS-ReX语言远距离DiS-ReX翻译看不见翻译看不见AUCMicro F1AUCMicro F1AUCMicro F1AUCMicro F1英语0.9860.9480.9850.9470.7840.7190.7810.713法国0.9890.9580.9880.9550.8190.7500.8140.746西班牙0.9840.9450.9800.9410.8030.7390.7990.729德国0.9860.9490.9860.9490.7710.7280.7570.716所有语言0.9860.9490.9860.9480.7990.7340.8060.726表3：在DX-Distant和DiS-ReX中比较测试集上的AUC和Micro F1语言在Micro F1和AUC的计算中不计入NA类别的正确预测从表3中可以看出，我们的基线模型在CX-Distant的测试集上获得了非常高的micro-F1分数。与DIX-Distant不同，DiS-ReX的数字较低（与单语DS-RE的最新技术水平相似），这表明DiS-REX是我们任务的更现实和更具挑战性的数据集。5结论在本文中，我们提出了DiS-ReX，这是一个用于DS-RE的4种语言的新我们表明，它是一个更可靠的基准相比，现有的多语种DS-RE数据集。我们还发布了封闭域多语言DS-RE的第一个基线数字。我们的数据集具有相当均匀的类分布，包括实体对之间没有关系的实例，并且所选择的关系类型是细粒度的。我们表明，这些属性使我们的数据集更具挑战性，并激励未来的研究多语种DS-RE。引用Jacob Devlin，Ming-Wei Chang，Wendon Lee，andKristina Toutanova. 2019. BERT：语言理解的深度双向转换器的预训练。 在2019年计算语言学协会北美分会会议论文集：人类语言技术，第1卷（长论文和短论文）中，第4171-4186页，明尼苏达州明尼阿波利斯。计算语言学协会。Fangxiaoyu Feng ， Yinfei Yang ， Daniel Cer ，Naveen Arivazhagan，and Wei Wang. 2020.语言不可知的bert语句嵌入。arXiv预印本arXiv：2007.01852。韩定荣。 2010. Klue注释指南-版本2.0。ibm研究报告，rc25042。Raphael Hoffmann ， Congle Zhang ， Xiao Ling ，Luke Zettlemoyer，and Daniel S Weld. 2011.基于知识的弱监督重叠关系信息抽取。计算语言学协会第49届年会论文集：人类语言技术，第541-550页。马修·霍尼博和伊内斯·蒙塔尼2017.空间2：使用Bloom嵌入、卷积神经网络和增量解析的自然语言理解。出现，7（1）：411Diederik P. Kingma和Jimmy Ba。2017. Adam：一种随机优化。Abdullatif Köksal和Arzucan Özgür。2020. relx数据集和多语言空白匹配用于跨语言关系分类。arXiv预印本arXiv：2010.09381。Jens Lehmann ， Robert Isele ， Max Jakob ， AnjaJentzsch ， DimitrisKontokostas ， PabloNMendes ， SebastianHellmann ， MohamedMorsey，Patrick Van Kleef，Sören Auer，et al.2015.Dbpedia–a large-scale, Semantic Web ， 6（2）：167+v：mala2277获取更多论文Yankai Lin，Zhiyuan Liu，and Maosong Sun. 2017.多语言注意的神经关系提取。在计算语言学协会 第 55 届 年 会 的 会 议 记 录 （ 2001 年 ： 长 论文），第34Yankai Lin ， Shiqi Shen ， Zhiyuan Liu ， HuanboLuan，and Maosong Sun. 2016.基于实例选择性注意的神经关系抽取。在计算语言学协会第54届年会的论文集（第1卷：长文），第2124伊利亚·洛希洛夫和弗兰克·哈特。2019. 解耦权重衰减正则化。迈克·明茨，史蒂文·比尔斯，瑞恩·斯诺，丹·朱拉夫斯基. 2009.无标记数据关系抽取的远程监控。在ACL第47届年会和AFNLP自然语言处理第4届国际联合会议的会议记录中，第1003-1011页。SebastianRiedel ， LiminYao ， andAndrewMcCallum. 2010.建模关系和它们的提及，而不使用带标签的文本。 在联合欧洲会议机器学习和知识发现数据库，第148-163页。斯普林格。克劳德·香农。1948.沟通的数学理论。贝尔系统技术杂志，27（3）：379-423。Livio Baldini Soares，Nicholas FitzGerald，JeffreyLing，and Tom Kwiatkowski. 2019.匹配空白：关系学习的分布相似性。 在第57届年会的会议记录中 计算语言学协会，第2895-2905页。MihaiSurdeanu ， JulieTibshirani ， RameshNallapati，and Christopher D Manning. 2012.关系抽取的多实例多标记学习。在2012年自然语言处理和计算自然语言学习中上，第455克里斯托弗·沃克，斯蒂芬妮·斯特拉塞尔，朱莉·梅德罗，和前田和明。2006. Ace 2005多语种训练语料库。Xiaozhi Wang ， Xu Han ， Yankai Lin ， ZhiyuanLiu，and Maosong Sun. 2018.对抗性多语言神经关系抽取。第27届国际计算语言学会议集，第1156Daojian Zeng，Kang Liu，Yubo Chen，Jun Zhao.2015.通过分段卷积神经网络进行关系提取的远程监督。在2015年自然语言处理经验方法会议的会议论文集，第1753- 1762页。Barret Zoph ， Deniz Yuret ， Jonathan May ， andKevin Knight. 2016. 低资源神经机器翻译的迁移学习。在2016年自然语言处理集，第1568计算语言学协会。+v：mala2277获取更多论文A附录A.1Dis-ReX中的跨舌袋我们设计的DiS-ReX有大量的跨语言袋。我们在表5中显示了2、3和所有语言中常见的袋数A.2定性分析在本节中，我们给出了数据集中随机选择的非NA实例的一些示例英文版：• 另一种在刁曼岛讲的方言是一种独特的马来语变体，与在南中国海的纳土纳和阿南巴斯群岛讲的廖内群岛马来语次方言最密切相关，共同形成了一个在刁曼岛马来语与大陆马来语之间的方言连续体。实体：（刁曼岛，南中国海）关系： http://dbpedia.org/ontology/location•2017年，珍妮·杜尔坎（Jenny Durkan）当选为西雅图首位公开同性恋身份的市长。实体：（珍妮杜尔坎，西雅图）关系： http://dbpedia.org/ontology/birthPlace德语：• Sentence：danach kamen abgeleitete klassen hinzu ein strengeres typsystem und währendstroustrup“c with classes”compiler der aus c with classes使用c代码编译器实体：（c，c++）关系： http://dbpedia.org/ontology/influenced• 句子：früher auch ur ist ein 96.1 km langer nebenfluss der sauer entlang der trouble zevon deutschland zu den westlichen nachbarstaaten Belgien und Luxemburg实体：（sauer，deutschland）关系： http://dbpedia.org/ontology/locatedInArea法语：• 判决：玻利维亚人的死亡对教皇本人在马佐维发动平民战争，康拉德·德·报复了克拉科维人的死亡。Entities：（boleslas v le pudique，cracovie）关系： http://dbpedia.org/ontology/deathPlace·判决：Les entreprises masson masson est le dirivaluation effectif des trois entreprises dugroupe cette situation se desormais dans l actionnought et les raisons sociales des sociétésqui deviennent joseph masson sons and company（montréal）masson langevin sons andcompany（québec）masson sons and company（glasshire）cette dernière société basée enecosse a surtout青年职业实体：（约瑟夫·梅森，魁北克）关系： http://dbpedia.org/ontology/birthPlace西班牙语：• Sentence：en 2003 apareció en anything else película de woody allen junto a christina ricci yjason biggs además actuó en la película para telecommunicón l实体：（任何其他，杰森比格斯）+v：mala2277获取更多论文关系： http://dbpedia.org/ontology/starring+v：mala2277获取更多论文语言#句子#袋#非NA袋平均袋大小英国532499216806669324.50法国409087226418839512.88西班牙语456418229512807062.88德国438315194942459083.48表4：DiS-ReX语言数行李数2597093949441488表5：2、3和所有语言• es una comuna y población de francia en la región de borgoña departamento de yonne en eldistrito de sens y cantón de sens-ouest实体：（sens，yonne）关系： http://dbpedia.org/ontology/department+v：mala2277获取更多论文关系标签英语法国德国西班牙所有语言NA149874142467149034148806590181isPartOf25486454654904148状态1882176235374297610最大城市2653421993931199发源地786195323341948430218deathPlace43775629277470914992国籍2205441314322659026国家1002496183065980832515资本5446513978912483市141542577930184415446作者14831224944603261上一个工作34869630511272476位置56551300118016859820里弗茅斯46488033031544801locatedInArea132478557156088432家乡168943516344746761继任者157429597416186225影响820453611881522总部112292246018954399省2251121127224055023相关波段366938410725556715企业文化39076034412482742位置国家92579922373614322乐队成员1327190930030926628主任12583003159220897942团队13295644616342988艺术家11883891124126708990相关143937511762628193制片人13812848140130448674前任4752814812733643leaderName3532362702231082formerBandMember960115317413453632recordLabel79188119921073978区域15293673190722499358影响者954533862911864主演304070183087417917324部99548632331579065一切关系216806226418194942229512876743表6：数据集+v：mala2277获取更多论文关系标签英语法国德国西班牙所有语言NA231271167509278360224156901296isPartOf1608527942566188023325状态119791313513705140540224最大城市1881141638949313635059发源地157381662443761435951097deathPlace1149812208539888833133国籍58489560219433019957国家88787439111314864660210506资本19887471317227531847145市44901115623631374043017作者3387412133514179260上一个工作65071276450231810551位置1553847574656601430965里弗茅斯117224421246742016501locatedInArea4320415218890190429266家乡76487961067897118482继任者47006963128311814909影响241611476353944592总部541923992030573615584省1082247227101167217936相关波段7390713136843716676企业文化65411318517252610902位置国家320428368226122915495乐队成员35925910475876318740主任200578112970396116747团队183081469413964734艺术家289395913156647222112相关45269281711743223057制片人245963982647638417888前任2592700316260010357leaderName154910744524483523formerBandMember29753452279409110797recordLabel1320121421941496902区域5836118605901448528082影响者252414829135365455主演4484145784616667630354部19615807693499721693一切关系5324994090874383154564181858012表7：数据集