2044体育查询P P...1 2PK足球篮球wNBANBAxXMNBANCAANBAs（q，NBA）隐边语义PELE KAKAIS-TYPE-OF科比-沙克是联盟中的球员eQ（）下一页使用隐式边缘语义卡内基梅隆大学（CarnegieMellonUniversityemaad@cmu.edu）摘要Rui Li，DhananjayShroutyPinterest{rli,dshrouty}@pinterest.comJure LeskovecPinterest，StanfordUniversityjure@{pinterest.com，cs.stanford.edu}精选分类法通过高质量的结构化知识增强了机器学习系统的性能然而，手动管理大型且快速发展的分类法是不可行的。在这项工作中，我们提出了一个RBORIST，一种方法来自动扩展文本分类预测新的税收节点的父母与以前的工作不同，一个RBORIST处理更具有挑战性的情况下，分类与异构边缘语义是未观察到的。RBORIST学习边语义的潜在表示以及分类节点的嵌入，以测量节点对之间的分类相关性然后，通过使用动态边际函数优化大边际排名损失来训练rborist。我们提出了一个原则性的制定的利润函数，从理论上保证了A RBORIST最小化的最短路径之间的距离上界预测的父母和实际的父母在分类。通过对Pinterest和几个公共数据集的精选分类法的广泛评估，我们证明了ARBORIST的表现优于最先进的技术，在15岁时，平均倒数排名达到59%，召回率我们还探讨了ARBORIST推断节点的分类角色的能力ACM参考格式：EmaadManzoor ， RuiLi ， DhananjayShrouty ， andJureLeskovec.2020年。用隐式边缘语义扩展分类法 在网络会议2020（WWW '20）的会议记录，2020年4月20日至24日，台北，台湾。ACM，美国纽约州纽约市，11页。https://doi.org/10.1145/3366423.33802711引言精心策划的分类法通过高质量的结构化知识提高了机器学习系统在各种任务上的性能使用类别标签分类法的分类已被证明是更准确的，无论是经验[14，36，64，71]和理论[5，6]。产品、电影和音乐分类在静态和顺序设置中实现了更相关的建议[25，27，28，79，81]。分类法也推动了网络搜索[1]，用户行为建模[38]和模型可解释性[34]的进步。提 交人在Pinte r est实习时所做的工作。1Google购物：http://google.com/basepages/producttype/taxonomy.en-US.txt2Mozilla网站目录：http://dmoztools.net3Pinterest分类：[23]本文在知识共享署名4.0国际（CC-BY 4.0）许可下发布作者保留在其个人和公司网站上以适当的署名传播作品的权利WWW©2020 IW 3C 2（国际万维网大会委员会），在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-7023-3/20/04。https://doi.org/10.1145/3366423.3380271Q图1：Arboris扩展一个具有隐式、异构边缘语义的分类法的概述ArborisT学习用特征向量eq和ev来度量查询节点对的分类相关性s q，v。相关性通过线性映射P1，. . . ，P，K和节点嵌入w，v，联合训练以最小化大余量排名损失。一些平台1 - 3已经开始依赖于策划分类来支持他们的用户分析，内容分类和推荐系统。随着平台上新内容的涌入，更新这些分类以保持相关性至关重要。然而，面对快速发展的内容，人工策展是不可行的。因此，我们专注于自动分类扩展的问题我们特别受到扩展Pinterest分类的任务的激励：一个由超过10，000个兴趣组成的精心策划的层次结构，构成了Pinterest用户和内容理解的支柱。兴趣是描述概念的文本短语，可以是一般的（如建筑和健康）或具体的（如中世纪建筑和心理健康）。兴趣用于对Pinterest用户及其创建的内容进行分类，随后用于推荐[17，33]和基于兴趣的广告定位。在最近的分类法扩展工作中，8位管理员在一个月内总共添加了6，000个新的分类法节点[23]：总共超过500个分类学家小时（保守估计），每个新的分类法节点的速度为5分钟这与Pinterest用户每天添加的数百万个新视觉书签形成鲜明对比，每个书签都可能为平台带来新的兴趣。因此，自动分类扩展是维护推荐内容相关性的唯一可行和广告作为平台经历快速增长。分类学扩展问题是具有挑战性的几个原因。对于具有数千个节点的大规模分类法，任何查询节点（要附加到分类法）都有过多的潜在父节点。学习二元分类器来预测查询节点对是否在分类学上相关是受这个问题困扰的WWWEmaad Manzoor、Rui Li、Dhananjay Shrouty和JureLeskovec2045词汇记忆[30]。简单的分类器不是学习表示分类关系，而是学习某些节点是原型父节点。对于任何查询节点对，其中节点是原型父节点，分类器（通常不正确）预测分类关系的存在。因此，明确地对分类关系建模是至关重要的当分类法具有异质边缘语义时，这是困难的。例如，Pinterest分类包含连接地点的IS-in边和连接狗品种的IS-type-OF边。此外，边缘语义在分类策展过程中没有显式记录：它们是隐式的和不可观察的。此外，策划分类法的业务关键性要求自动分类法扩展由内部专家监督，否则可能导致业务范围的失败。 这引入了易于人工验证的额外负担。最近文本分类扩展的成功是基于词嵌入的学习转换[18，20，62，75]，并包括当前的最新技术[9，12]。然而，这些方法假设同质边缘语义。知识库嵌入[11，46，61]和分层嵌入[21，44，63]能够在具有异构、显式边类型的知识图中实现准确的链接预测。然而，这两种嵌入方法都不能处理未观察到的边类型，也不能为未观察到的节点构造嵌入最后，在自动分类扩展中，人工验证的容易性问题仍然没有得到探讨。因此，我们提出了一个 RBORIST ，一种方法来扩展文本taxonomies与隐式边缘语义。RBORIST学习节点嵌入，以及在分类学中共享的线性映射，以表示潜在的边语义。 局部和全局分类信息的组合使A RBORIST具有捕获异构边缘语义的灵活性，同时对丢失或错位的节点保持鲁棒性。训练节点嵌入和线性映射以优化分类相关性得分，使得子节点-父节点对的得分比其他对高出很大幅度。与以前的方法不同，RBORIST保证预测分类中接近实际父母的父母：这通过将校正限制在小的分类邻域来促进人类验证图图1展示了一个RBORIST在Pinterest Taxonomy上的操作。总之，我们做出了以下贡献：I. 我们介绍了一个RBORIST，分类扩展方法，结合全球和当地的分类信息，明确建模异构和未观察到的边缘语义。II. 我们证明了一个RBORIST最小化的预测和实际的税收经济学的父母之间的最短路径距离的上限。 这个属性对于人类验证来说是非常宝贵的，因为不正确的附加节点可以通过探测一个小的本地分类邻域来轻松纠正。III. 我们评估了ARBORIST的几个数据集，指标和比较几个基线，以证明性能超过目前的最先进的。我们进行了深入的消融研究，以分析每个超参数的影响IV. 我们探讨了ARBORIST推断节点的分类角色的能力复 制 ： 代 码 和 数 据 （ 用 于 公 共 分 类 法 ） 可 在www.example.com上获得http://cmuarborist.github.io。边缘语义预测方法异质隐式归纳上位词预测✗✗✓通过词汇模式[26，42，57]通过词嵌入[8，51，56，67，70]通过投影学习[9，20，62，75]知识图嵌入[11，46，61]✓✗✗分层嵌入✓ ✓✗在欧几里得空间[15，31，43，63，65]在双曲空间[3，13，21，44]高斯空间[66][55]第五届中国国际 纺织品展览会ARBORIST（thiswork）一个rborist表1：相关工作。归纳方法可以添加新节点和新边。HiExpan和词汇模式hyp-pernym预测器需要文本语料库。2 相关工作分类扩展与上位词预测有关上位词预测器学习使用具有同质IS-A语义（如WordNet [40]）和（可选）文本语料库的训练分类来表示is - a关系。 虽然早期的方法依赖于词汇模式[26，42，57]，但最近的方法学习在预训练的词嵌入上操作的分类器[8，51，56，67，70]。一些方法学习为上位词预测量身定制的词嵌入[4，77]，但不能推断要添加到分类中的未见过节点的嵌入（它们不是归纳的）。通过上位词预测进行的分类学学习在[68]中进行了调查。上位词预测的最新技术是通过词嵌入的分段投影学习[20]。在这种方法中，针对词嵌入空间的每个聚类学习投影矩阵，以最小化投影的子词嵌入和父词嵌入之间的L2范数 这种方法后来被扩展到在训练过程中使用随机采样的非父母（阴性样本）[62]，并联合学习集群及其投影矩阵[75]。一种叫做CRIM的[9]结合了负采样，单词嵌入微调和多个投影矩阵，以在SemEvAl 2018上位词发现任务中实现最佳性能[12]。我们比较了ARBORIST和CRIM在我们的评估。HI ExpA n [55]在给定训练分类法和文本语料库的情况下，扩展了具有未观察到但同质边缘语义的分类法该方法通过集合扩展迭代扩展分类宽度，通过弱监督关系抽取迭代扩展分类深度。这两个子过程都需要一个大型的文本语料库，这在我们的场景中是不可用的。扩展是任务引导的，因为边缘语义是从训练分类法推断的，而不是显式提供的。知识库完备化是一个与之密切相关的任务，即在具有显式观察到的异构边语义的知识图中推断缺失的链接。最近的方法学习节点和边类型的嵌入，并通过代数运算预测链接[11，46，58，61]，这让人想起早期学习关系嵌入的工作[47，53，54]。由于嵌入是从给定的知识图中推导出来的，因此无法针对看不见的节点或未观察到的边类型来推断它们。使用隐式边缘语义扩展分类法WWW2046∈∈∈（）∈∈T（）×→（ ）下一页||（）下一页（||）（|）|)∈D→（||）∈最近已经提出了层次嵌入，其学习欧几里德[15，31，43，63，65]中的分类节点的嵌入双曲[3，13，21，44，45]或其他表达空间[66]。 这些嵌入可以由训练分类法监督，或者未监督并在文本语料库上操作。层次嵌入并不假设特定的词汇关系类型或分类中的同质性然而，目前的层次嵌入方法不能推断隐藏的分类节点的嵌入，并且仅在预测丢失的分类链接时有效。分类归纳是从文本语料库构建分类的相关无监督任务[7，35，76]。虽然目标分类法语义通常固定于已知的词汇关系（例如IS-A或IS-IN），但最近的工作已经扩展了税收分类法归纳以适应任意的边缘语义[78]。分类学扩展是分类学归纳的补充，是分类学学习过程中合乎逻辑的下一步[68]。我们提出的方法借鉴了相似性和远程度量学习的几个理论概念[41，52，74];具体来说，cally他们的大利润[71，72]，分层[14，64]和学习排名[32，37]公式。我们也受到了图嵌入工作的启发[24，49，60];特别是结构角色嵌入[2，16，50]。随着我们对分类学家的发展，我们在这些学习任务和分类学扩展问题之间建立了原则性的联系3问题概述我们现在将分类法扩展问题形式化。表示为=V，E要扩展的分类，表示为有向非循环图。每个节点u V是一个文本短语，每个有向边u，vE表示子节点u V和其父节点vV之间的分类关系。我们假设每个节点u都配备了一个使用外部过程（例如通过无监督词嵌入）导出的特征向量e u R d[39，48，59]。我们对分类法的性质施加了弱假设具体来说，我们期望分类法中的子-父关系满足分布包含假设[22]：父关系是(i)（2）与孩子有关;（3）比孩子更重要 我们还期望分类法遵循层次结构：每个子节点仅链接到其最不一般的相关节点。请注意，一个taxonomy节点可能有多个父节点。边的特定语义是不可观察的，并且可能是异构的，这取决于分类学家为4拟定方法：树木专家在其核心，A RBORIST学习测量节点对的分类相关性作为其各自特征向量的函数（§4.1）。分类相关性是根据两个可学习的参数定义的：（i）分类节点的嵌入，捕获它们的分类角色，以及（ii）在分类中共享的线性映射的集合 这些参数经过训练，以最小化大边际排名损失（§4.2），并具有理论基础的动态边际函数（§4.3）。 为了确保快速收敛，A R-BORIST采用距离加权负采样（§4.4）。我们现在详细描述一个RBORIST。4.1测量分类相关性我们试图定义一个函数s：V V R，可以训练来测量节点对的分类相关性。对于子节点u和父节点v，使用线性映射M∈Rd×d如下：s（u，v）=（eu M）·ev.（一）其中M是从地面实况分类法中的子-父节点对学习的直观地，M将每个分类关系表示为节点的特征空间中的线性变换然而，异构的边缘语义可能不能很好地表示由一个单一的转换。因此，我们在每个父节点v处使用不同的线性映射Mv来捕获边语义中的异质性：s（u，v）=（euMv）·ev.（二更）类似的公式用于学习分层相似性度量[64]。一个关键的问题，这个配方是爆炸的参数的数量为O d2V，其中通常d=O100和V=O1000。此外，训练数据被分割成节点级子集以训练每个线性映射。总的来说，这限制了该方法的可扩展性，降低了其对缺少或错位分类节点的训练数据的鲁棒性，并增加了其过拟合的趋势。我们利用这个事实，即在一个分类法中的不同的边缘语义的数量往往比O V小得多，以减轻这个问题。具体地说，我们假设k个潜在边语义，并将每个线性映射定义为k个线性映射的加权组合P1，. . . ，Pk ∈ Rd ×d，它们在所有分类节点之间共享：.KMv=i=1Pinterest Taxonomy表现出异构的边缘语义（例如IS-SUBCLASS-OF和IS-pART-OF）。给定一个不可见的查询节点和一个真实分类法，我们的目标是将查询节点作为一个新的叶节点附加到分类法中。在实践中，内部分类学家期望在更新分类之前能够验证查询节点的预测父节点的有序列表因此，我们将此目标形式化为以下排序问题：第一章（我的实验室）.给定分类T=（V，E），每个节点u∈ V的特征向量eu∈Rd和具有特征向量eqR的查询q g V对分类节点进行排名，使得q的真实父节点的排名高于其非父节点。这里，wvRk是要学习的节点v的嵌入该公式将参数的数量减少到O d2k+k V，而不会对训练数据进行分段。我们进一步通过根据节点特征向量定义节点嵌入来约束节点嵌入，如下所示：wv=f（ev）（4）其中f：RdRk是要学习的任意函数。以这种方式约束节点嵌入提高了具有大量缺失子节点的节点的鲁棒性，这些节点更容易受到噪声的影响。我们将f实例化为一个简单的线性映射;我们没有看到更复杂函数的显著增益。例如，地理分类法具有同质边缘语义（如IS-IN），而更一般的分类法，如w v [i] × Pi.（三）WWWEmaad Manzoor、Rui Li、Dhananjay Shrouty和JureLeskovec2047（（））（（））′（）下一页（）E（）≥..L（T）L（T）（··）（）（）（）（）L（T）–（）下一页（）∈（）∈−（）下一页.4.2学习和预测我们现在试图对给定查询节点的分类节点进行排名，使其真正的父节点排名高于其他节点。为了提高鲁棒性和泛化能力，我们训练模型，使得子节点-父节点对比其他节点对具有更高的分类相关性。形式上，我们的目标是满足P屋顶。节点的最高等级的预测父节点是其最相关的分类节点。因此，下列不等式如下：s（u，v<$（u））− s（u，v <$）≥ 0v（八）由于γu，v，v<$u =dv，v<$u，我们可以使用（6）和（8）来降低预测父节点的大边界违规对于每个子-父对（u，v）∈E，有以下约束：最大值0′ ′′E（u，v，v（u））= [，s（u，v（u））−s（u，v）+γ（u，v，v（u））]s（u，v）≥s（u，v）+γ（u，v，v）<$v∈V −H（u），（5）≥s（u，v<$（u））−s（u，v）+γ（u，v，v<$（u））其中H u V是u的父节点的集合，v′是非父节点，γu，v，v是定义为子节点、父节点和非父节点的函数的期望裕度。我们现在推导出要最小化的损失函数，以便≥γ（u，v，v<$（u））=d（v，v<$（u））（9）利用u，v，v′0和在子-父的事实，pairs和它们对应的非父节点总结了我们的证明：满足大边际约束（5）。 用E（u，v，v ′）表示L（T）=. .E（u，v，v ′）（10）非父节点v′违反子-父节点对（u，v）的大边距约束的程度：E（u，v，v ′）= max [0，s（u，v ′）− s（u，v）+ γ（u，v，v ′）]。（六）当满足大边界约束时，E（u，v，v′）=0，非父节点不会产生违规。否则，E（u，v，v′）>0。（u，v）∈E v′∈V−H（u）≥E（u，v，v<$（u））（u，v）∈E≥d（v，v <$（u））.□（11）（u，v）∈E总损失函数是对大-对应于每一个child-parent pair（u，v）：因此，最小化（7）中的损失也最小化最高排名的预测与真实父节点之间的最短路径距离之和的上限。这就保证了预-L（T）= . .E（u，v，v ′）（7）“亲”字是指亲的字，是指亲的字。（）（）（u，v）∈E v′ ∈V−H（u）节点嵌入wv和线性映射P1，. . . ，Pk被联合训练以 经由梯度下降来最小化。给定训练的参数和具有特征向量eq的查询节点q gV，通过按照分类节点v的分类相关性s（q，v）的降序排列分类节点v来进行分类。4.3动态保证金函数最近提出了（7）中大边缘损失的L2范数变体作为计算机视觉中相似性学习的三重损失[ 52 ]。三重损失对所有训练对采用恒定的裕度γ，其通过交叉验证进行调整为了适应更复杂的决策边界，有几种方法使用动态或自适应裕度来扩展三重损失，这些裕度使用统计学[69]设置或从数据中学习[19]。我们提出了一个原则性的动态裕度函数，不需要调整，学习或算法。我们将保证金与预测和真实父节点之间的分类中的最短路径距离相关联。用d表示分类法中两个节点之间的无向最短路径距离通过以下定理，我们将最高排名的预测父节点vu=arg maxvsu，v和对于每个子节点u，任何真正的父节点v：第一步。 当γu，v，v′ =dv，v ′时，γ u，v，v′ 是 排 名 最高的预测亲本与真实亲本之间的无向最短路径距离之和的上界：真理分类学直观地，设置γ u，v，v ′ = d v，v ′ encour-年龄在分类学中较远的非父节点在分类学相关性上得分相对较低。从分类专家的角度来看，这种保证是重要的;如果分类专家错误地预测了查询节点的父节点，则分类专家仅需要探测分类中预测的父节点周围的小邻域，以便找到正确的父节点。这比在整个分类法中搜索正确的父项所需的工作要少得多。4.4可缩放负采样对所有非父节点v′求和 V对于每个对u，v，E，需要在最小化过程的每次迭代中计算O，V，E分类相关性得分，这对于大规模分类是不可能的。为了提高可伸缩性，我们改为从V H u中采样m个非父样本（或负样本）。负采样分布在基于梯度的大裕度损失最小化算法的收敛性中起着重要的作用。在实践中，对负数进行均匀采样会导致收敛速度非常慢这是因为导致（6）中的大余量约束的零违反的负样本对梯度没有贡献因此，诸如“半硬负采矿”之类的采矿术[52]已提出选择更有效的阴性样本。我们采用基于距离加权负采样的负采样分布[73]，我们发现这在负采样的计算工作量和最小化的收敛速度之间提供了有利的权衡。我们对每个非-节点对（u，v）的父节点v′，概率为：（u，v）∈Ed（v，v∈（u））≤ L（T）.WWWEmaad Manzoor、Rui Li、Dhananjay Shrouty和JureLeskovec2048Pr（v′|（u，v））eu·ev′.（十二）使用隐式边缘语义扩展分类法WWW2049数据集PI nteR eSTSemEvA lMA mmA lPinterest半评价哺乳动物边数10,76818,8275,765方法Acc.（%）F1（%）应计（%）F1（%）应计（%）F1（%）深度7 ∞ 18Vec-P棒87.121 85.953 68.374 65.670 80.152 78.017非均匀边缘表2：分类数据集。测试集有15%的叶节点及其传出边。分类深度是最长的最短路径长度，如果存在有向环，则为∞。5评价5.1数据集和数据库我们在三个不同的场景中评估了A rborist，每个场景对应于不同的分类数据集（总结在表2中）。半合成异源分类学（M AmmAl）。我们...通过提取根在mammal.n.01的子图，从WordNet [40]中构建分类，仅限于三种类型的名词节点和边：（i）上位词捕获是-A语义（例如，rhinoIS-Aodd-toed ungulate），（ii）部分完整词捕 获 是 -pART-OF- wHO le 语 义 （ 例 如 ， hoofIS-pART-OF-wHOleungulate ） ， 以 及 （ iii） 实 体 完 整 词 ， 捕 获 是 -p art-of-SUBSTANCE语义（例如，collagenIS-pART-OF-substancecartilage）。WordNet中的其他边缘类型要么是所选边缘类型的反向形式，要么不能存在于有效的层次结构中（如synO nym边缘类型）。我们计算每个节点的300维FastText嵌入[10]基准同源性分类法（SemE vAl）。 我们结合了SemEval 2018hypernym发现共享任务中使用的SemEval1A分类的训练和测试子集[12]。 虽然这种分类法表现出同质的IS-A语义，但它是一种手动验证的分类法扩展基准，可以与最先进的进行比较。与M Amm A l一样，我们为每个节点计算300维FastText嵌入[10]。金的非均质分类学（PI nteR eST）。PI nteR eST是一个专家策划的分类法，构成了Pinterest用户和内容理解 分类节点可以是具体的实体（如纽约）或抽象的概念（如心理健康），来自广泛的领域，如时尚，健康和旅行。 每个节点表示与Pinterest上的用户或视觉书签相关联的兴趣。该分类法表现出隐式和异构的边缘语义。我们为每个节点计算300维PinText嵌入[80]。为了计算任何数据集中多词节点的嵌入，我们将其组成词的嵌入进行 对于每个数据集，我们保留15%的叶节点样本作为测试子集，并使用剩余的样本进行训练和验证。指标. 我们衡量预测标准的排名质量-使用平均倒数秩（MRR）。 对于测试查询-父对，真实测试父的倒数秩是其在预测父列表中的秩的乘法逆。如果一个测试查询有多个父查询，我们使用最高排名的倒数表3：准确度（Acc.）和F1-分数（F1）的百分比上位词检测器上的二元分类的孩子-父母对。阈值设置为0.5。对于这两个指标，100.0是最好的。我们还测量了预测父项的15（Recall@15）处的召回率，这是任何真实测试父项位于前15个预测父项中的测试查询的分数 此度量忽略父项在预测父项列表中的实际位置。最后，我们测量无向最短路径距离（SPDist）在分类法中，在排名最高的预测父类和真正的测试父类之间，对所有测试查询取平均值如果排名最高的预测父节点和真正的测试父节点位于分类法的断开连接的组件中，则它们的距离被设置为分类法中任何两个节点之间的最大距离。该度量量化了分类专家通过探测其预测的父节点周围的小邻域来验证和修复不正确连接的节点的容易程度5.2用于分类扩展的上位词检测器的评估扩展分类法的一种直接方法是通过最先进的上位词检测器[8，51，56，70]。上位词检测器是预测节点对是否在分类学上相关的二进制分类器 它们通过简单的代数运算对来自节点对的特征向量的特征进行操作。我们评估基于向量连接（VEC-CONCAT），加法（VEC-SUM），减法（VEC-DIFF）和元素乘积（VEC-PROD）的hyp-pernym检测器。对于每个上位词检测器，我们在平衡训练集训练具有100棵树1的二元随机森林分类器，该平衡训练集通过对训练数据中的每个连接节点对随机采样未连接的节点对来构建。我们验证了经过训练的上位词检测器在分类分类相关的节点对方面表现良好，F1得分在54-88%之间（表3）。请注意，所有上位词检测器在P I nte R e ST上的表现都比在SemEv A l和M A mmA l上相对更好;我们将在整个评估过程中观察到这一趋势。这可以归因于Pinterest内容上微调的Pinterest的特征向量，与在不相关的web语料库上训练的SemEv al 1和MmmAL还要注意，没有一个上位词检测器在数据集上优于所有这表明分类学关系很难用简单的代数运算来普遍表示。此外，每个数据集的最佳上位词检测器实现了预测和真实父母之间的最低平均最短路径距离（SPDist）。这从经验上激发了我们的理论保证（第4.3节）对分类学扩展的效用，赛恩性能真正的父母MRR是所有倒数等级的平均值测试查询，范围从0%（最差）到100%（最佳）。1所有其他选项都设置为scikit-learn-0.21.3默认值。Vec-CO ncAT 86.216 86.46262.618 59.25572.089维克苏姆88.148 87.74160.60078.294 77.236Vec-DIFF87.783 87.00566.469 63.37977.787 75.716数量的节点10,7928,1545,080培训节点7,9197,3744543测试节点2,873780537WWWEmaad Manzoor、Rui Li、Dhananjay Shrouty和JureLeskovec2050（）（）·PI nteR eSTSemEvA lMA mmAlMRR（%）15岁时的召回率（%）SPDistMRR（%）15岁时的召回率（%）SPDistMRR（%）15岁时的召回率（%）SPDistVec-CO ncAT41.83164.6713.81620.99217.80318.51417.48341.69143.37333.15527.60730.94931.08362.06467.6943.4744.0474.1634.1782.7432.86414.99519.61131.38632.17721.34529.35430.72638.17546.18248.97652.70061.6394.2744.1863.6743.6654.0803.225维克-苏姆33.89162.5484.124Vec-DIFF41.18567.6993.494Vec-P棒42.23368.7433.144Crim53.22379.3252.393一个RBORIST59.04483.6062.220表4：15岁时的平均倒数等级（MRR）和回忆百分比，以及真实父母和最高等级预测父母之间的平均最短路径距离（SPDist）对于15岁时的MRR和回忆，100.0是最好的。对于SPDist，0.0最好。每个数据集和指标组合的最佳性能方法以粗体强调。查询预测的父代准确预测（前4名预测父母中的真实父母卢克索非洲旅游，欧洲旅游，亚洲旅游，希腊2个月宝宝阶段，宝宝，宝宝名字，准备宝宝抑郁症精神疾病，压力，心理健康，疾病斋月主办场合，假日，住棚节，中东和非洲美食小黄人幽默，人物幽默，人物幽默，搞笑不准确的预测（真正的父母不在前4名预测的父母中）人造花种植，干花，DIY花，食用种子雷神冒险电影，动作电影，科学电影，冒险游戏智能手表可穿戴设备，手机配件，电子产品，计算机万圣节化妆，化妆，服装化妆，角色化妆大屠杀历史，德国历史，美国历史，世界大战Pinterest非分类搜索的预测什么原因引起黑头皮肤关注，精神疾病，感情，疾病烘肉卷纸杯蛋糕纸杯蛋糕，甜点，没有烘烤餐，牛排生胡萝卜的好处食品和饮料，蔬菜，饮食，健康食谱儿童闹钟幼儿和学龄前儿童，儿童护理，婴儿睡眠问题，婴儿幽默文本诗歌，报价，作者，宗教研究表5：针对测试查询的样本（顶部，中间）和分类中不存在的搜索查询（底部），由ArborisT在PinT eresT上预测的前4个父查询。每个查询的真正父查询以粗体强调。现在，我们在分类扩展任务中评估上位词检测器 我们使用一个节点对分类相关的预测概率来对每个测试查询节点的分类节点进行排名。结果见表4。结果表明，上位词检测器可以作为强大的基线分类扩展。对于像PinText这样的高质量特征向量来说尤其如此，它可以通过在相关语料库上进行微调来捕获分类节点之间的层次关系。有趣的是，上位词检测器在MA mmA l上优于所有其他M A mm A l分类法中的节点由科学术语主导，这在用于训练输入FastText嵌入的抓取Web语料库中是罕见的。因此，嵌入可能不包含足够的信息来推断层次关系。对于这种信息贫乏的嵌入（相对于给定的分类），更简单的模型，如上位词检测器可能是优选的。Hypernym探测器在其他指标上有所下降，但幅度不大5.3将ArborisT与k-投影学习（CRIM）我们现在将A RBORIST与CRIM [9]进行比较，CRIM是投影学习的一种变体[20]，在SemEval 2018 hypernym发现共享任务[12]上显著优于竞争方法。CRIM学习k个线性映射的全局加权组合M来表示所有分类关系。分类相关性对于节点对u，v，测量为 =euM ev，其中eu和Ev是节点对特征向量。 M被训练来最小化类似于word2vec的二进制交叉熵损失[39]。我们使用[12]中描述的初始化，微调和负采样算法重新实现了CRIM的监督（无语料库）变体。我们放弃了被发现是有害的正子采样和多任务学习算法。我们使用Adam [29]优化 ARBORIST和CRIM，并在训练数据的验证子集上调整它们的超参数由于ARBORIST和CRIM以不同的速率收敛，我们训练两者使用隐式边缘语义扩展分类法WWW2051方法，用于 150epoch （对于PInteREST 和SemEvAl）或500epoch（对于MAmmAl），并在epoch处选择具有最高验证MRR的训练模型（详见附录）。表4中报告了分类学扩展结果。总的来说，A RBORIST和CRIM在所有数据集和评估指标上都比上位词检测器提高了200%以上。这证明了显式优化分类法扩展排名任务，并使用更复杂的6560555045Crim单一角色公元前损失常数保证金树木专家节点对特征向量的函数RBORIST在所有数据集和评估指标上都优于CRIM。值得注意的是，在具有同质边缘语义的SemEvA l分类法上，ARBORIST表5报告了ARBORIST预测的最佳亲本对于准确预测和不准确预测的测试查询，都是P I nte R e ST（真正的父查询以粗体强调）。结果展示了对Pinte r e st分类中存在的各种节点类型的预测，从具体实体（如位置（卢克索）和虚构人物（托尔））到抽象概念（如抑郁症）。我们观察到，即使是预测不准确的父母，(a) 消融研究总结60504030200.01 0.1 1.0 5.0 10.0Constantmargin（u，v，v0）=一些相关性和直接层次的概念，表明分类中潜在的缺失边缘。(b) 每个恒定裕度值的MRR动态边际我们还展示了ARBORIST距离加权均匀Pinterest上分类法中不存在的内容（表5，底部）。在质量方面，检索器能够准确地将看不见的自然语言查询与P I nte R e ST分类中的潜在相关节点相关联。值得注意的是搜索查询是什么原因导致黑头，这不仅与其明显的父母皮肤有关，而且与非常相关的父母感受有关。5.4消融研究0.80.60.40.20.0100080060040020000 50 100 150训练时期活性样品数量0 50 100 150训练时期ARBORIST的性能可以归因于两个关键的建模选择：（i）学习特定于节点的嵌入wv以捕获异构边缘语义，以及（ii）利用动态余量优化大余量排名损失现在，我们通过一系列在P I nte R eST上进行的消融实验，评估这些建模选择中的每一个对分类扩展性能的影响。我们使用CRIM作为基准。结果总结于图1B中二、我们首先将Arborist限制为所有节点的单个嵌入（称为单角色）。有了这个限制，ARBORIST就不能再捕捉异构的边语义了。相对于CRIM的性能增益只能归因于大利润损失。图2（a）显示，ARBORIST仍然比CRIM提高了2个百分点，证明了大利润损失的效用。接下来，我们允许ARBORIST捕获异构边缘语义，但对其进行修改以最小化CRIM使用的BCE损失在这种配置中，CRIM的性能增益可以归因于捕获异构边缘语义。从图2（a），我们发现这种配置比CRIM提高了4个百分点。因此，捕获异构边缘语义对性能的影响比损失函数的选择 考虑到优化大利润损失的技术难度（收敛缓慢，需要很长的训练时间），BCE损失的RBORIST是一个实用的短期选择。最后，我们修改了A RBORIST使用恒定的利润率和评估其性能与不同的利润率值。最佳裕度值下的性能报告见图。2（a）. 我们发现(c) 制服与距离加权负采样图2：ArborisT对PinT的消融研究：（a）结果总结，（b）动态裕度与恒定裕度的影响，（c）均匀负采样与恒定裕度的影响距离加权负抽样除了引入另一个超参数来调整之外，对恒定裕度的限制严重影响性能对于没有恒定的边际值，性能超过了动态边际的ARBORIST2（b））。负采样分布在损失函数的收敛中起着关键作用为了了解其对税收扩张绩效的影响，图。图2（c）（左）示出了在每个训练时期使用均匀负采样和距离加权负采样时A rborist的训练损失。使用均匀负采样，训练损失很快下降到接近零，导致收敛速度非常慢。这是由于缺乏对训练损失贡献非零值的有效负样本这一点从图中可以看出图2（c）（右）显示了在每个训练时期，对于均匀和距离加权负采样，活动负样本的数量。使用距离加权负采样时，活动采样的数量下降速度较慢. 这可以防止训练损失过快地下降到接近零，并促进更快的收敛。修改树艺师具有动态边界的树艺师MRR（%）训练损失MRR（%）WWWEmaad Manzoor、Rui Li、Dhananjay Shrouty和JureLeskovec205260504030816 32 48 64K1 2 5 10 15M60504030201020 40 60 804.754.253.753.250 50 100 150培养分数（%）培养时期图3：线性映射的数量k（左上）、负样本的数量m（右上）和训练数据分数（左下）对ArborisT在PinT eresT上的MRR的影响。还示出了（右下）具有训练时期的预测和真实测试亲本（SPDist）之间的平均未校正的最短路径距离。5.5超参数的影响图3示出了针对线性映射的数量k（左上）和负样本的数量m（右上）的不同值，A rborist在P i nte r st上的MRR。我们发现，增加k单调地提高分类扩展性能，由于增加模型的灵活性。增加m会将性能提高到一定限度，之后就没有明显的提高。更大的m促进更大数量的活跃负样本，其有助于损失的梯度，从而导致更快的收敛。图3中针对不同k和m所获得的MRR还表明，ARBORIST的性能对k和m的小变化不敏感。因此，通过在粗略的值网格上交叉验证来调整k和m在实践中就足够了。我们的建议是在可用的约束条件内，将k设置为尽可能大。计算时间和内存。我们还评估了Arborist的鲁棒性，因为可用的训练数据的比例在图中减少。3（左下）。我们发现，A RBORIST保持性能，直到超过一半的训练数据被丢弃，在这一点上，它的表现与hypernym检测器训练的85%的分类。这种鲁棒性可以归因于经由全局线性映射在不同节点之间共享信息;缺乏足够的传入边来
我的内容管理
展开
