FinSim-2上的FinMatcher：金融服务领域知识图上位词检测

293FinSim-2上的FinMatcher：使用知识图的金融服务领域的上位词检测扬·波蒂施曼海姆大学，数据和网络科学小组曼海姆，德国jan@informatik.uni-mannheim.de迈克尔·赫拉迪克SAP SE产品工程金融服务Walldorf，Germanymichael. sap.com海科·保尔海姆曼海姆大学，数据和网络科学小组曼海姆，德国heiko@informatik.uni-mannheim.de摘要本文介绍了FinMatcher系统及其FinSim 2021共享任务的结果，该任务与Web会议上的Web金融技术研讨会（FinWeb）位于同一地点FinSim-2共享任务由一组来自金融服务领域的概念标签组成目标是从给定的一组概念中找到最相关的顶层概念 。 FinMatcher 系 统 利 用 了三 个公 开 可 用 的 知 识 图 ， 即WordNet，Wikidata和WebIsALOD。这些图被用来生成显式特征和潜在特征，这些特征被输入神经分类器以预测最接近的上位词。CCS概念• 计算理论→语义和推理;·信息系统→Web挖掘;语言模型。关键词金融服务，知识图，维基数据，知识图嵌入，RDF2vec，上位性检测ACM参考格式：Jan Portisch，Michael Hladik，and Heiko Paulheim. 2021. FinSim-2上的FinMatcher：使用知识图的金融服务领域的上位词检测。在2021年网络会议（WWW '21 Companion）的配套程序中，2021年4月19日至23日 ， 斯 洛 文尼 亚 卢 布 尔 雅那 。 ACM ， 美国纽约州纽约市，5页。https://doi.org/10.1145/3442442.34513821引言上位词是一个概念，它是一个概念的上位在计算机科学中，它通常表示为IS-A关系。例如，动物是猫的上位词，股票指数是标准普尔500指数的上位词。另一方面，下位词是一个从属于另一个概念的概念例如，猫是动物的下义词，标准&普尔500指数是股票指数的下义词。[15]上位性检测可以广泛应用于现实世界的应用中。 金融服务领域中上位词的检测由于领域特定的词汇表和缺乏公开可用的领域特定的资源和概念表示而特别有趣。本文在知识共享署名4.0国际（CC-BY 4.0）许可下发布。作者保留在其个人和公司网站上以适当的署名传播作品的权利WWW©2021 IW 3C 2（国际万维网大会委员会），在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-8313-4/21/04。https://doi.org/10.1145/3442442.3451382FinSim任务将上位词检测任务建模为多类分类问题：给定概念标签（即，hypernym），正确的hypernym将从一组10个互斥类中找到（即，上位词）。 参与此任务的系统可以返回类的排序列表。该任务的评估与两个性能指标：平均排名和准确性。FinMatcher 系统 使用两 个非常 广泛 的公开 可用的 知识图（ Wikidata 和 WebIsALOD ） 以 及 一 个 小 的 语 言 图 资 源（WordNet）。知识图包含来自各个领域的真实世界实体以及它们之间以图形格式保持的关系[16]。本文提出的系统计算多个显式特征，并使用从WebIsALOD获得的RDF2vec嵌入。这些特征被合并到一个特征向量中，该特征向量被呈现给一个神经分类器，该神经分类器是用所提供的FinSim训练数据训练的。在接下来的部分中，介绍了相关的工作。然后，快速描述所提供的数据集。 第四节介绍了鳍匹配器系统. FinSim任务的结果以及消融研究见第5第6节总结了本文的结论，并提出了未来的研究方向2相关工作2.1Hypernym检测的共享任务Hypernym发现之前已作为挑战解决，例如在SemEval-2018 [1]。FinSim任务的独特之处在于专注于金融服务业。该评估活动于2020年首次推出[4]，并已扩展到2021年的活动，也称为FinSim-2 [11]：引入了两个额外的标签，并扩展了培训和评估数据集。2.2知识图FinMatcher使用三个外部知识图作为上位词检测任务的背景知识WordNet[5]是一个众所周知的词汇资源。它是一个英语单词的数据库，这些单词被分组为表示特定含义的集合，称为同义词集;数据库中还存在该资源是公开可用的。1Wikidata是由维基媒体基金会托管的知识图谱，它是公开可用的2，并由开放社区维护。 该图包含类实体，如“股票市场指数”，也包含实例实体，如“MSCIWorld”。1见https://wordnet.princeton.edu/download2见https://www.wikidata.org/wiki/Wikidata:Main_Page294WWW维基数据声明的一个例子是可以使用SPARQL4查询该图。在金融服务领域使用外部背景知识时经常出现的一个问题是，不太常见的实体-所谓的长尾实体-没有包含在知识库中。 WebIsA[22]数据库试图通过提供一个数据集来解决这个问题，该数据集不是基于单一的知识来源-如DBpedia[10]-而是基于整个Web：该数据集由从CommonCrawl5中提取的上位关系组成，CommonCrawl5是一个免费下载的网络大部分的爬行。对于自动提取，使用了与Hearst [6]提出的相似的词汇句法模式。与Wikidata一样，该图包含类和实例概念。来自数据集的一个样本三元组是“零息债券”skos：更广泛的“债券”6。该数据集也可以通过名为WebIsALOD的链接开放数据（LOD）端点7获得[7]–2.3知识图谱嵌入近年来，潜在表示不仅在自然语言处理中，而且在其他数据科学社区中也获得了关注。RDF2vec [21]是一种知识图嵌入方法，它允许获得知识图元素的潜在表示，即一个向量，代表图中的每个节点和每条边它将word2vec[12，13]模型应用于RDF数据：对每个节点执行随机遍历，并将其解释为句子。 在遍历生成之后，句子被用作word2vec算法的输入。结果，获得每个单词的向量，即，RDF图中的一个概念RDF2vec在过去已经开发了多种风格，例如偏置的Walks [3]或RDF2vec Light[20]。8在大型图上计算知识图嵌入可能需要大量资源。因此，KGvec2go9 [19]通过Web API以及通过下载提供预训练的RDF2vec知识图嵌入。对于本文中提出的系统已经从KGvec2go下载了WebIsALODRDF2vec和WebIsALOD都用于集成金融服务领域的任务[14，17]。3FINSIM数据集描述FinSim数据集由614个hyper-hypernym对组成 有10个类标签（见图1），即上位词类标签不是根据它们的特征而是根据它们的原型种类来分类概念。类别标签的分布不平衡。如图1所示，标签的分布遵循幂律，“股票指数”有286个条目，而“远期”只有9个这是一个具有挑战性的设置，原因有多个：（i）训练数据集相对较小，（ii）上位词是3见https://www.wikidata.org/wiki/Q18818434见https://query.wikidata.org/5见http://commoncrawl.org/图1：FinSim训练数据集中类标签的分布语义上非常相关，（iii）使用行业缩写，以及（四）文字上有重叠之处。FinSim-2测试数据集由212个条目组成，类别标签的分布未知。与参与者必须提交其实现的其他评估活动（例如本体对齐评估倡议（OAEI））相比，FinSim任务的参与者在他们自己的前提下运行他们的系统并提交由他们的系统做出的预测。4系统描述FinMatcher系统结合了显性和隐性特征。总共有五组特征，将在下文中介绍。总体架构如图2所示。4.1特征字重叠。下义词和类别标签之间的重叠是匹配的强烈信号。一个例子是“超自然债券”，它是一种“债券”。 由于这样的星座在所提供的数据集中相对频繁，所以第一特征向量对标签是否包含类别标签进行编码。对于此功能，应用了最小的文本预处理，包括小写和去除复数后缀“s”。 当对每个类别标签执行该步骤时，获得长度为10的向量。 重叠特征向量在图2中显示为绿色。Wikidata Hypernym Wikidata是一个大型的通用知识图谱，并不是为金融领域量身定制的。尽管如此，数据源包含许多金融概念以及它们之间的例如，概念“UCITS”可以通过也称为标签的“可转让证券集体投资承诺”链接;由于注释的关系子类，[10]这一概念在这组特性中得到了利用：来自MELT框架[8，9]的综合链接机制[11]用于将类（上位词）以及标签（下位词）链接到维基数据概念，然后关系P 31（的实例）和P 279（的子类）被跟踪两跳以评估类标签是否出现。远距离匹配接收通过反向跳距计算的较低信号强度：6见 http://webisa.webdatacommons.org/concept/zero-coupon_bond_7见http://webisa.webdatacommons.org/8有关RDF2vec方法及其应用的详细概述，请参阅http://www.rdf2vec.org/9见http://www.kgvec2go.org10见https://www.wikidata.org/wiki/Q25323628匹配评估工具包（MELT）是一个本体和实例匹配（开发，评估，可视化）的框架。但 是 ， 组 件 也 可 以 用 于 其 他 任 务 。 有 关 更 好 的 概 述 ， 请 参 阅https://github.com/dwslab/melt/295∈3 ∗FinMatcher at FinSim-2：Hypernym Detection in the Financial Services Domain using Knowledge Graphs WWW直接上位词注释（如UCITS示例中所述表1：消融研究先前）接收值1=1，而两跳匹配将1接收值10左出向量组平均准确度 平 均 等级（HITS@10）2=. 5. 由于此步骤是为每个类执行的，标签，得到长度为10的向量Wikidata查找特征向量在图2中以蓝色显示。WordNet Hypernym为Wikidata选择的相同的开发方法应用于WordNet图：将上位词和下位词链接到WordNet中，然后将反向跳距用作特征值。 这是为每个可以链接的类标签完成的。WordNet查找特征向量在图2中显示为黄色。WebIsalod Hypernym 以类似于Wiki数据上位词查找的方式，使用来自MELT框架的链接器将类标签以及下位词标签链接到WebIsALOD图。在这个图表中，只有一个重要的关系：skos：broader。对于每个下位词，获得更广泛的概念，并检查上位词是否出现。由于高噪声水平，向上跳的数量被限制为1。 当对每个类别标签执行该步骤时，获得长度为10的向量。WebIsALOD查找特征向量在图2中显示为紫色。WebIsALOD RDF2vec相似性。对于嵌入功能，每个类标签以及每个下位词标签再次链接到WebIsALOD知识图中。WebIsALOD中的每个概念具有相关联的嵌入向量 vIR200。为了进行比较，计算下位词和类标签之间的余弦相似度如果整个概念不能被链接，则检测并链接多个子概念。在这个连接过程中，较长的子概念更受青睐.例如，字符串“CDXEmergingMarkets”不能直接链接-但是，此处可以链接的最长子字符串是“EmergingMarkets”;此外，还可以链接“CDX”。这种情况下的比较如下：如下所示：提交无Smote85.551.371词重叠60.512.007Wikidata Hypernyms85.501.490WordNet上位词86.661.440ALOD Hypernyms85.881.361ALOD RDF2vec85.561.481网络分类器在评估的分类器中表现最好：朴素贝叶斯，J48决策树，随机森林和回归。由于类标签的分布是倾斜的（见图1），我们应用了合成少数过采样技术（SMOTE）[2]来对代表性不足的类标签进行上采样。 我们实验性地选择了多数类总数的33%作为上采样障碍;这意味着如果训练中的多数类总共分裂为229条记录，则将对少于1 229 = 76条记录的类标签进行上采样，以便有76条记录用于代表性不足的类标签。5结果5.1训练数据和消融研究的结果我们通过对训练数据进行分层的五重交叉验证来评估我们的我们对每个ANN配置进行了10次训练，并报告了准确度和平均等级的平均结果。 我们进一步进行了消融研究，通过训练和评估性能时，离开了五个功能组。 结果见表1。可以看出，就准确性是词重叠。这并不奇怪，因为有大量的标签在其名称中包含上位词（对于.我是xJ（sim（vi，vj）例如i=0j=0|我|（一）将显性和隐性特征结合在术语中包含靶标记的观察结果是一个信号，其中，I表示下位词的链接集合，J表示上位词的链接集合，vi和vj对应于链接的向量，sim是指相似性函数。在这种情况下，余弦被用作相似性函数。当对每个类别标签执行该步骤时，获得长度为10的向量WebIsALOD查找特征向量显示在图2中的salmon中。特征组成。 每个特征i返回一个信号向量si∈IR10。所有矢量被连接以形成最终的信号矢量上一次FinSim活动也发出了重要信号[4]。WordNet在准确性方面可忽略的作用也是可接受的，因为该特定的外部背景知识数据集仅包含通用类知识（例如“看涨期权”），而不包含关于实例的知识（例如“MSCI EMU指数”）。对于FinSim数据集，包含类和实例知识的非常大的知识图由于其更高的概念覆盖率而更有益。然而，所使用的知识图还包含一些冗余，5i=1si，其用作分类器的输入。在表1中观察到：省略单个知识图确实4.2分类器由于训练样本的总数很少，因此选择了一个非常简单的人工神经网络架构 它配置有一个大小为10的全连接层，均方误差作为损失。该网络在消费者PC上使用100个epoch和25个批量进行训练要预测的向量大小为10，表示独热编码的类标签。神经不会显著改变结果。为了进一步分析不同信号的贡献，我们绘制了输入特征的权重由于每个输入神经元si的权重与标签i相关，因此我们可以直接观察训练模型认为哪些特征与识别哪个标签相关表2显示了每个特征组的总绝对权重这允许分析个人的总体贡献S=296WWW图2：FinMatcher表2：每个特征组的绝对权重向量组权重单词重叠13.64WikidataHypernyms 13.01WordNetHypernyms 13.35ALODHypernyms 9.12ALODRDF2vec 14.01图3：每个要素组和类标签功能组。这里，可以看到潜在RDF 2 vec特征组接收最高权重虽然单词重叠特征对多数标签（股票指数，信用指数）很重要，但它对所有标签并不同等重要，并且没有整体最高权重：图3显示了每个特征组和类别标签的总和绝对权重。类别标签按频率降序排序在这里，可以看到，单词重叠对股票指数的贡献最高，对信用指数的贡献也很高，但对其余少数类别的权重很低。5.2参考数据的结果FinMatcher只参与了一种配置，并在参考数据上实现了81.1%的准确率和1.415的平均排名，低于表1所示的训练数据的预期得分。6结论在本文中，我们提出了FinMatcher，金融服务领域的上位词检测系统，它利用多个知识边缘图相结合的显式和潜在的功能。 我们可以证明，这项任务可以通过以知识图的形式包括外部知识来解决，并且多个图的组合总体上是有益的。在未来，我们将努力通过引入更先进的嵌入技术以及探索其他外部数据集来改善结果致谢我们要感谢FinSim-2 的组织者（Youness Mansar 、Ismaïl ElMaarouf和Juyeon Kang）收集数据、开展评估活动并及时回答所有问题。引用[1] José Camacho-Collados ， Claudio Delli Bovi ， Luis Espinosa Anke ， SergioOramas ， Tommaso Pasini ， Enrico Santus ， Vered Shwartz ， RobertoNavigli，and HoracioSaggion. 2018年SemEval-2018任务9：Hypernym发现。 在SemEval@NAACL-HLT 2018第12届语义评估国际研讨会的会议记录中，美国路易斯安那州新奥尔良，2018年6月5日至6日，Marianna Apidianaki，Saif M. Mohammad，Jonathan May，Ekaterina Shutova，Steven Bethard，and Marine Carpuat. 计算语言学协会，712http：//doi.org/10.18653/v1/s18-1115[2] 尼特什五世作者：Kevin W.作者：Lawrence O.Hall和W.菲利普·凯格尔迈耶2002.SMOTE：合成少数过采样技术。 J. 第内特尔 Res. 16（2002），321-357。https://doi.org/10.1613/jair.953[3] Michael Cochez ， Petar Ristoski ， Simone Paolo Ponzetto ， and HeikoPaulheim.2017. 用于RDF图嵌入的有偏图遍历在第七届Web智能，挖掘和语义国际会议的会议记录中，WIMS 2017，Amantea，意大利，2017年6月19日至22日，Rajendra Akerkar，Alfredo Cuzzocrea，Jannon Cao和Mohand-SaidHacid（编辑）。ACM，21：1https://doi.org/10.1145/www.example.com297FinMatcher at FinSim-2：Hypernym Detection in the Financial Services Domain using Knowledge Graphs WWW[4] IsmailEl Maarouf ， Youness Mansar ， Kristinie Mouilleron ， and DialektiValsamou-Stanislawski. 2021年finsim 2020共享任务：学习金融领域的语义表示 第二届金融技术与自然语言处理研讨会论文集。81比86[5] Christiane Fellbaum（Ed.）. 1998. WordNet：一个电子词汇数据库。麻省理工学院出版社，马萨诸塞州剑桥。[6] Marti A.赫斯特1992.大文本语料库中下义词的自动获取。 第14届国际计算语言 学 会 议 ， COLING1992 ，法国南特 ，1992年8月23 日至 28日。 539-545https://www.aclweb.org/anthology/C92-2082/[7] Sven Hertling和Heiko Paulheim。2017年。WebIsALOD：提供从网络中提取的上位关系作为链接开放数据。 在语义网-ISWC 2017-第16届国际语义网会议，维也纳，奥地利，2017年10月21日至25日，会议记录，第二部分（计算机科学讲义，卷。10588），Claudia d'Amato，Miriam Fernández，Valentina A.M. 放 大 图 片 作 者 ： Tamma ， Freddy Lécué ， Philippe Cudré-Mauroux ，Juan F.Sequeda，Christoph Lange，and Jeff Heflin（Eds.）.斯普林格，111-119。https://doi.org/10.1007/978-3-319-68204-4_11[8] Sven Hertling，Jan Portisch，and Heiko Paulheim. 2019. MELT -匹配评估工具包 。 在 语 义 系 统 中 。 人工智 能 和 知 识 图 的力量- 第 15 届 国 际 会 议 ，SEMANTiCS 2019年，卡尔斯鲁厄，德国，2019年9月9日至12日，会议记录（ 计 算 机 科 学 讲 义 ， 卷 。 11702） ， Maribel Acosta ， Philippe Cudré-Mauroux ， Maria Maleshkova ， Tassilo Pellegrini ， Harald Sack ， andYorkSure-Vetter（Eds.）.斯普林格，231-245。https://doi.org/10.1007/978-3-030-33220-4_17[9] Sven Hertling，Jan Portisch，and Heiko Paulheim. 2020.使用MELT进行有监督的本体和实例匹配。在与第19届国际语义网会议同期举行的第15届本体匹配国际研讨会的会议记录中ence（ISWC 2020），虚拟会议（原计划在希腊雅典举行），2020年11月2日（ CEUR 研 讨 会论 文 集 ， 卷 。 2788） ， Pavel Shvaiko ， Jérôme Euzenat ，Ernesto Jiménez-Ruiz，Oktie Hassanzadeh，and Cássia Trojahn（Eds.）.CEUR-WS.org，60-71. http://ceur-ws.org/Vol-2788/om2020_LTpaper6.pdf[10] 放大图片作者：Jens Lehmann，Robert Isele，Max Jakob，Anja Jentzsch，Dimitris Kontokostas，Pablo N. Mendes，Sebastian Hellmann，MohamedMorsey，Patrick van Kleef，Sören Auer，and Christian Bizer. 2015年。DBpedia-从维基百科中提取的大规模多语言 知 识 库 。 Semantic Web6 ， 2（2015），167-195. https://doi.org/10.3233/SW-140134[11] Youness Mansar、Juyeon Kang和Ismaïl El Maarouf。2021年FinSim-2 2021共享任务：学习金融领域的语义相似性。 在2021年网络会议的会议记录中，虚拟版。[12] 托马斯·米科洛夫，陈凯，格雷格·科拉多，杰弗里·迪恩。2013年。向量空间中词表示的有效估计。在2013年5月2日至4日在美国亚利桑那州斯科茨代尔举行的第一届学习表征国际会议上，研讨会跟踪会议记录，Yoonne Bengio和Yann LeCun（编辑）。http://arxiv.org/abs/1301.3781[13] Tomas Mikolov，Ilya Sutskever，Kai Chen，Gregory S.科拉多和杰弗里·迪恩。2013.词和短语的分布式表示及其组合性。 在神经信息处理系统的进展26：27神经信息处理系统2013年年会。2013年12月5日至8日在美国内华达州太浩湖举行的会议记录，Christopher J. C. Burges，Léon Bottou，ZoubinGhahramani，andKilianQ.Weinberger（编）.3111-3119http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality[14] Michael Monych ， Jan Portisch ， Michael Hladik ， and HeikoPaulheim.2020年。DESKMatcher。第15届国际本体论研讨会论文集匹配与第19届国际语义网会议（ISWC 2020），虚拟会议（原计划在希腊雅典），2020年11月2日（CEUR研讨会论文集，卷。2788），Pavel Shvaiko，Jérôme Euzenat， Ernesto Jiménez-Ruiz ， Oktie Hassanzadeh ，and CássiaTrojahn（Eds.）. CEUR-WS.org，181-186. http://ceur-ws.org/Vol-2788/oaei20_paper7.pdf[15] 琳恩·墨菲2003年。 语义关系与词汇：反义关系、同义关系及其他范例。剑桥大学出版社，剑桥，英国纽约。2016 -236页。[16] 海 科·保 罗海 姆2017 年 。知 识图 谱细 化 ：方 法和 评估 方 法的 调查 SemanticWeb8，3（2017），489 https://doi.org/10。3233/SW-160218[17] 简·波蒂施。2018年 利用从网路撷取的上位关系进行自动模式匹配。[18] Jan Portisch，Sven Hertling，and Heiko Paulheim.2020年。使用MELT仪表板对本体匹配结果进行可视化分析 在语义网：ESWC 2020卫星事件-ESWC 2020卫星事件，伊拉克利翁，克里特岛，希腊，2020年5月31日至6月4日，修订的论文选集（计算机科学讲义，卷。12124），Andreas Harth，Valentina Presutti ， Raphaël Troncy ， Maribel Acosta ， Axel Polleres ，Javier D. Fernández，Josiane Xavier Parreira，Olaf Hartig，KatjaHose，andMichael Cochez（Eds.）. Springer，186-190. https://doi.org/10.1007/978-3-030-62327-2_32[19] Jan Portisch，Michael Hladik，and Heiko Paulheim. 2020. KGvec 2go-知识图嵌入服务。在5月11日至16日在法国马赛举行的第12届语言2020 ， Nicoletta Calzolari ， Frédéric Béchet ， Philippe Blache ， KhalidChoukri ， Christopher Cieri ， Thierry Declerck ， Sara Goggi ， HitoshiIsahara， Bente Mae-gaard，Joseph Mariani，Hélène Mazo，AsunciónMoreno，Jan Odijk，and Ste-lios Boukri（Eds.）.欧洲语言资 源协会，5641-5647。https://www.aclweb.org/anthology/2020.lrec-1.692/[20] Jan Portisch，Michael Hladik，and Heiko Paulheim.2020年。RDF 2 VecLight-一种轻量级的知识图嵌入方法。 在ISWC 2020演示和行业跟踪会议记录中：从新颖的想法到工业实践，与第19届国际语义网会议（ISWC 2020）共同举办，全球在线，2020年11月1日至6日（UTC）（CEUR研讨会会议记录，第二卷）。2721），Kerry L.拉斐尔·泰勒Gonçalves，Freddy Lécué，and JunYan. CEUR-WS.org，79-84. http://ceur-ws.org/Vol-2721/paper520.pdf[21] Petar Ristoski，Jessica Rosati，Tommaso Di Noia，Renato De Leone，andHeiko Paulheim.2019年。RDF2Vec：RDF图嵌入及其应用。 Se-manticWeb10，4（2019），721-752. https://doi.org/10.3233/SW-180317[22] Julian Seitner ， Christian Bizer ， Kai Eckert ， Stefano Faralli ， RobertMeusel，Heiko Paulheim，and Simone Paolo Ponzetto.2016年。从网上提取的上位关系大型数据库 In Proceedings of the Tenth International Conference onLanguage Resources and Evaluation LREC 2016，Portoroclave，Slovenia，May23-28 ， 2016 ， Nicoletta Calzolari ， Khalid Choukri ， Thierry Declerck ， SaraGoggi ， Marko Grobelnik ， Bente Maegaard ， Joseph Mariani ， HélèneMazo，Asunción Moreno，Jan Odijk，and Stelios Mesquiti. 欧洲语言资源协会（ELRA）。http://www.lrec-conf.org/proceedings/lrec2016/summaries/204.html