语法特征概况对语言模型的语义检测的重要性

0不要解雇语言学家：语法特征概况帮助语言模型检测语义变化0Mario Giulianelli �0阿姆斯特丹大学ILLCm.giulianelli@uva.nl0Andrey Kutuzov �0奥斯陆大学andreku@ifi.uio.no0赫尔辛基大学Lidia Pivovarovafirst.last@helsinki.fi0摘要0词汇使用中的形态和句法变化——如语法特征概况所捕捉到的——已被证明是词义变化的良好预测因子。在这项工作中，我们探讨了大型预训练上下文化语言模型（XLM-R）是否对这种形态句法变化敏感。为此，我们首先比较了语法特征概况与多语言神经语言模型（XLM-R）在涵盖7种语言的10个数据集上的性能，然后将这两种方法结合到集成模型中，以评估它们的互补性。我们的结果表明，将语法特征概况与XLM-R集成可以提高大多数数据集和语言的语义变化检测性能。这表明语言模型并没有完全涵盖在语法特征概况中明确表示的细粒度形态和句法信号。0有趣的例外是时间跨度分析的测试集，其中分析的时间跨度远大于它们之间的时间间隔（例如，世纪长的跨度，间隔一年）。形态句法变化很慢，因此语法特征概况在这种情况下无法检测到。相反，语言模型由于可以访问词汇信息，能够检测到快速的主题变化。01 引言0人类语言在不断演变。新的词义出现，现有的词义可以随着社会和文化动态或技术进步而改变或消失。自然语言处理从业者对这种语义的历时性视角越来越感兴趣。一些工作集中于构建、测试和改进心理语言学和社会语言学的意义变化理论（Xu andKemp ,  2015 ;  Hamilton0� 平等贡献，作者按字母顺序排列。0et al. ,  2016 ;  Goel et al. ,  2016 ;  Noble et al.,  2021 );其他人关注的是调查词汇的含义如何在历史上演变（Garg et al. , 2018 ;  Kozlowski et al. ,  2019）或者如何在公共话语中当前转变（Azarbonyadet al. , 2017 ;  Del Tredici et al. ,  2019）。最近，我们还看到对更应用导向的工作越来越感兴趣，努力开发能够与人类不断演变的语言使用保持最新的自适应学习系统（时间泛化；Lazaridou et al. ,  2021）。一种越来越流行的确定词汇含义是否以及在多大程度上随时间变化的方法是使用从大型预训练语言模型中提取的“上下文化”（或“基于标记的”）词嵌入，因为它们编码了丰富的、上下文敏感的语义信息（Giulianelli et al. ,  2020 ;  Montariolet al. ,  2021）。然而，最近还表明，通过词的形态和句法特征的频率分布的变化，如语法特征概况所捕捉到的，也可以用于词汇语义变化检测（Giulianelli et al. ,2021），并具有竞争性的性能。这在某种程度上是两种相反的方法：虽然语言模型（LMs）在很大程度上基于词共现统计，但语法特征概况是去词汇化的，并依赖于明确的语言信息。尽管它们在形态和句法上表面上不知道，但已经显示出LMs在其深层表示中捕捉到了语法信息的近似（Warstadt et al. ,2020）。然而，这些是否足以检测伴随着词汇使用中形态句法变化的含义转变？我们假设这不是这种情况，并为了测试这个假设，我们将基于LM的方法和语法特征概况结合到词汇语义变化检测的集成模型中。如果将语法特征概况添加到LM中，则0在整篇论文中，我们将这些系统称为0arXiv:2204.05717v1[cs.CL]12Apr20220+v:mala2277获取更多论文0图1：基于XLM-R的方法（PRT）和集成方法（PRT-MORPHSYNT）在排名任务上的性能；有关方法描述，请参见第3节。三个俄语数据集的分数取平均值，因为它们呈现类似的趋势。0如果结果表明集成方法提高了性能，那么这意味着语言模型不能像显式的形态标注和句法分析那样准确地捕捉形态句法变化（或者至少很难从模型中提取这种类型的信息）。如果我们没有观察到任何提升，这表明语言模型已经表示了所有必要的语法信息，不需要显式的语言注释。我们使用10个数据集进行实验，涵盖7种语言。为了比较性能，我们对所有语言使用相同的模型。我们选择了XLM-R（Conneau等人，2020年），这是一个基于Transformer的多语言掩码语言模型，已经成功应用于语义变化检测任务（Arefyev和Zhikov，2020年；Arefyev等人，2021年）。尽管它涵盖了我们数据的完整语言多样性，但我们还额外在单语历时语料库上对XLM-R进行了微调。我们对生成的集成模型在分级和二元语义变化检测任务上进行了定量和定性评估，结果在很大程度上证实了我们的假设。将XLM-R和语法配置文件集成可以改善6种语言中的4种分级变化检测结果（以及2个挪威数据集中的1个）以及6种语言中的5种二元变化检测结果。图1展示了这些改进。原因是0将语法配置文件与语言模型结合为“集成”。这些不是集成学习的统计方法，而是将不同模型的预测结果结合起来的系统。0集成方法在某些数据集上无法超越XLM-R基线的原因与历时语料库中历史时期之间的差距大小有关；我们在第4.3节中分析和讨论了这些原因。总体而言，我们表明为大型语言模型提供显式的形态句法信息有助于量化语义变化。02个任务和数据0词汇语义变化检测的目标是确定一个词的意义在一定时期内是否发生了变化以及变化的程度。解决这个问题的自动系统的性能通常通过两个任务进行评估（Schlechtweg等人，2020年）。任务1是一个二元分类任务：给定一个历时语料库和一组目标词，系统必须确定这些词在两个时期之间是否失去或获得了任何意义。我们将其称为分类任务，并使用准确率作为评估指标。任务2是一个排名任务：系统必须根据词义变化的程度对目标词进行排序。我们将其称为排名任务，并使用与黄金排名的Spearman等级相关性作为评估指标。我们依赖于一系列历时语料库和注释的目标词列表，涵盖了来自三个印欧语系的七种语言。目标词用语义变化的二元和分级分数进行注释，分别对应任务1和2（Schlechtweg等人，2018年）。英语（EN）、德语（DE）、拉丁语（LA）和瑞典语（SW）的数据来自SemEval2020无监督词汇语义变化检测共享任务（Schlechtweg等人，2020年）。对于意大利语（IT），我们使用了EvaLita竞赛发布的数据（Basile等人，2020年）。对于挪威语（NO），我们使用了Kutuzov等人（2022年）最近发布的NorDiaChange数据集，其中包含两个具有不同目标词列表和时间跨度的子集。最后，对于俄语（RU），我们从RuShiftEval共享任务（Kutuzov和Pivovarova，2021年）中获取数据，其中包含三个具有不同时间跨度和共享目标词列表的子集。表1总结了数据集的最重要属性，并指示每种语言可用的注释类型。请注意，挪威语和俄语中的子集划分不是由我们引入的，而是由相应的数据集创建者提供的。0+v:mala2277获取更多论文0EN DE IT LA NO-1 NO-2 RU-1 RU-2 RU-3 SW0时期1 1810-1860 1800-1899 1945-1970 -200-0 1929-1965 1980-1990 1700-1916 1918-1990 1700-1916 1790-1830 时期2 1960-20101946-1990 1990-2014 0-2000 1970-2013 2012-2019 1918-1990 1992-2016 1992-2016 1895-1903 令牌（百万）7+7 70+72 52+197 2+957+175 43+649 93+122 122+107 93+107 71+110 目标37 48 18 40 80 80 99 99 99 32 排名 � � � � � � � � � � 分类 � � � � � � � � � �0表1：我们的历时语料库和相应的语义变化注释的统计数据。03方法03.1语法概述0语法概述是一种语料库语言学技术，通过测量语法参数的分布之间的距离，可以区分微妙的语义差异（Gries和Divjak，2009；Janda和Lyashevskaya，2011）。最近的研究表明，语法概述中的历时变化可以作为语义变化的强有力指标（Giulianelli等，2021）。对于我们的实验，我们采用了这种方法的最佳性能配置。首先，使用UDPipe（Straka和Straková，2017）对感兴趣的历时语料库进行标记和解析。然后，我们在语料库中找到目标词的所有出现，并为每个检测到的形态特征创建一个计数向量。例如，英语动词的形态概述可能如下所示：0时态：{过去式42，现在式51}0动词形式：{分词68，完成时25，不定式9}0语气：{陈述式25}0语态：{被动：17}0通过这种方式，为语料库中每个时期的每个目标词构建计数向量；这些是一个词的语法概述。分别计算每个形态类别之间的余弦距离，并且在计算出的余弦距离中，语义变化的程度被定义为最大值。我们将这种类型的语法概述称为MORPH。除了形态特征之外，还创建了一个单独的句法特征向量，其中包含从目标词到其句法头的依赖弧标签的计数。我们将这些语法概述称为SYNT。语义变化被定义为两个句法向量之间的余弦距离。形态和句法概述也可以合并。我们通过将句法特征连接到形态特征数组中，然后使用最大余弦距离来实现这一点。0作为我们的第三个基于概要的语义变化度量，我们选择了MORPHSYNT。03.2静态嵌入0已知静态嵌入（例如，Mikolov等，2013）在检测词汇语义变化方面表现非常好（Schlechtweg等，2020）。因此，尽管它们与我们的研究问题没有直接相关，但我们将它们作为比较的一个参考点，按照Hamilton等人（2016）提出的常见方法，将它们包括在我们的实验中。有关详细信息，请参见附录B。03.3上下文化嵌入0许多人认为静态表示不适合作为词义模型，因为它们将一个词的所有用法混合到一个独立于上下文的嵌入中，并且应该使用上下文化表示代替（例如，Schütze，1998；Erk和Padó，2008；Pilehvar和Collier，2016）。这促使了依赖于上下文相关表示的语义变化检测算法的发展，其中一个词的每个用法对应于一个唯一的标记嵌入（Giulianelli等，2020；Martinc等，2020a）。语言模型在各种语言中都能产生非常有竞争力的结果（Kutuzov和Giulianelli，2020），并且它们可以导致更可解释的系统（Montariol等，2021）。我们选择XLM-R（Conneau等，2020）作为我们的预训练语言模型，因为它在语义变化共享任务中表现良好（Schlechtweg等，2020；Kutuzov和Pivovarova，2021），并且由于是多语言的，可以应用于所有分析的语言，使评估更加一致。首先，我们在感兴趣的单语历时语料库上微调XLM-R。然后，我们部署它来为历时语料库中的目标词生成标记嵌入（在T1和T2两个时期）。有关这两个步骤的详细信息，请参见附录A。我们根据提取的XLM-R嵌入计算分级语义变化分数，并使用这些分数编制一个有序的目标词列表。0+v:mala2277获取更多论文EnsemblesWhenever grammatical profiles pro-duce better rankings than XLM-R, i.e., for German,Latin, Swedish, and Norwegian-2, combining thepredictions of the two methods yields higher corre-lation scores than either method in isolation. Themost effective contextualised method in combina-tion with grammatical profiles is PRT, regardless ofthe profile type. The PRT-MORPHSYNT combina-tion produces the overall best ranking for Germanand Latin, two languages with rich syntax and mor-phology. Which type of grammatical profile isthe most complementary to XLM-R varies across+v:mala2277获取更多论文0用于排名任务。变化得分有四种计算方式：1）测量T1和T2中嵌入之间的平均余弦距离（APD）（Giulianelli等人，2020）；2）测量原型嵌入之间的余弦距离（PRT）-即T1和T2的平均上下文化词嵌入（Kutuzov和Giulianelli，2020）；3）对嵌入进行聚类，然后计算T1和T2的假定意义分布之间的Jensen-Shannon散度（JSD）（Martinc等人，2020b；Giu-lianelli等人，2020）；4）通过对PRT和APD的预测进行简单平均（APD-PRT）。度量的数学定义见附录A.4。03.4 变化点检测0为了解决分类任务，我们将我们的三个度量产生的连续得分转化为二进制语义变化预测。根据连续得分对目标词进行排名，并将排名前n个词分类为“变化”（1），其余的词分类为“稳定”（0）。为了确定变化点n，我们使用离线变化点检测算法（Truong等人，2020）进行处理，使用默认设置。203.5 集成0为了确定语法特征是否可以改善基于嵌入的检测方法的性能，我们测试了所有可能的语法特征类型和基于嵌入的度量的组合。语法特征有三种变体：MORPH、SYNT和MORPHSYNT。我们的基于嵌入的度量包括APD、PRT、APD-PRT和JSD。我们计算语法特征得分和基于嵌入度量得分之间的几何平均值√cgce，并将结果作为集成语义变化得分（例如PRT-MORPHSYNT）。04 结果0我们评估第3节中介绍的所有方法在语义变化检测任务上的性能，使用我们的多语言语义变化数据集（参见第2节）。02 https://pypi.org/project/ruptures/04.1 排名任务0对于所有方法，预测得分与人工注释之间的Spearman等级相关性在不同语言和测试集之间变化；对于排名任务，没有一种方法是万能的（见表2）。XLM-R在英语、瑞典语、挪威语-1和俄语上获得更高的相关性得分（1、2和3）；而语法特征在德语、拉丁语、瑞典语和挪威语-2上表现更好。为了更好地理解所有方法的优势，我们首先单独呈现每种方法的结果；然后报告集成的性能，其中每种方法与其他方法组合以生成语义变化预测。0语法特征无论是形态特征、句法特征还是两者的组合，哪种方法最有效取决于数据集；对于同一语言的不同测试集，情况也有所不同，如表2的前三行所示。不同特征的性能差异主要体现在英语和挪威语-1上，其中SYNT是最佳方法，挪威语-2和俄语上MORPH效果最好。将形态特征和句法特征结合起来有助于为德语、拉丁语和瑞典语创建更好的排名。0上下文化嵌入平均对距离（APD）和原型距离（PRT）的相关性得分在所有数据集上有很大差异，挪威语-1除外（见表2的第4-7行）。APD在英语、瑞典语、挪威语和俄语上优于PRT；PRT在德语和拉丁语上更好。将这两个度量组合在一起（APD-PRT）在挪威语-1和俄语-1的相关性得分上略有改善。对上下文化嵌入进行聚类（JSD）在不同数据集上产生不稳定的结果；它只在德语中是最佳的上下文化方法。datasets and it mostly corresponds to the profiletype that obtains the best performance in isolation.Ensembles with JSD are outperformed by othermethods, so we do not report them in Tables 2 and3.Static embeddings, despite their good perfor-mance in isolation, do not combine well with gram-matical profiles: this type of ensemble improvescorrelation scores only for Latin (Table 4). Asa final note, ensembles of grammatical profilesand XLM-R achieve the new best performanceon the Latin ranking task of SemEval 2020 (PRT-MORPHSYNT), and establish a new SOTA forthe recently released Norwegian-2 dataset (APD-MORPH).4.2Classification TaskAlthough our binary predictions for the classifica-tion task are dependent on the rankings discussedin the previous section, the overall trends of classi-fication accuracy partly differ from the correlationtrends of the ranking task. The classification resultsare shown in Table 3. Compared to the rankingtask, ensemble methods more often produce a per-formance improvement with respect to grammati-cal profiles and contextualised embeddings used inisolation. They do so for English, German, Latin,and both Norwegian datasets. It is also more oftenthe case that the best standalone profile and con-textualised approach yield the best ensemble whencombined. Another notable difference is that, whenused in isolation, profiles outperform XLM-R; theopposite is true in the ranking task.Following the structure of Section 4.1, we firstpresent the results of each approach individuallyand then we report the performance of ensembles.Grammatical ProfilesAt least one of the threeprofile types is substantially above chance perfor-mance for each language; as in the ranking task,different profile types fit different datasets. Never-theless, SYNT is the best profile type for 4 out of7 datasets: German, Swedish, Norwegian-1, andItalian. For the first two, it achieves the best over-all scores (see Table 3). Combining morphologyand syntax helps only in the case of Latin, whereprofiles obtain the best overall accuracy.Contextualised EmbeddingsThe accuracy ofAPD and PRT is relatively similar across test sets,with the exception of Italian, where APD has thebest overall accuracy and PRT is slightly belowchance. Combining APD and PRT improves re-sults for English, German, and Norwegian. Theaccuracy of clustering-based JSD is either close toor below chance level for all languages.EnsemblesEnsembles of grammatical profilesand contextualised embeddings are the best per-forming method for Norwegian. For German andLatin they are on par with pure profiles, and forEnglish on par with pure XLM-R. The comple-mentarity of different profile types and contextu-alised metrics varies across datasets yet it is over-all stronger than that between profiles and staticembeddings (combining the latter two improvesperformance only for Latin and for Norwegian-2,see Appendix B). A more fine-grained analysis ofthe classification results of the ensembles revealsthat 1) ensemble predictions are virtually alwayscorrect when the two standalone predictions alsoare, 2) ensembling tends to have positive effectson precision with respect to both standalone meth-ods, and 3) it tends to improve the precision ofcontextualised methods.4.3Why ensembles failTables 2 and 3 show that grammatical profiles areconsistently worse than XLM-R on all Russiandatasets, Norwegian-1 and English. This naturallyextends to their ensembles, so for all these datasets,contextualised embeddings in isolation are the bestapproach. The explanation may seem simple forEnglish: its poor morphology does not provideenough signal for semantic change detection. Yetthis does not hold for Russian (a synthetic languagewith rich morphology) and, arguably, for Nor-wegian. Moreover, ensembles with morphology-based grammatical profiles outperform pure XLM-R on Norwegian-2, but not on Norwegian-1. Thus,the explanation is likely not language-specific.We believe that the different nature of the di-achronic corpora can be a better explaining factor.SemEval-2020 datasets feature time periods sepa-rated by at least several decades, and the same istrue for Norwegian-2 (more than 20 years gap). Incontrast, the gaps are much shorter for Norwegian-1 (5 years gap), Russian-1 and Russian-2 (2 yearsgap). We observe that when two time periods witha very short gap between them are compared, thedistributions of morphosyntactic features largelyoverlap, negatively affecting the performance ofgrammatical profiles. In these cases, LM-basedmethods can still detect semantic change as they+v:mala2277获取更多论文MethodENDELASWNO-1NO-2RU-1RU-2RU-3AVGPROFILESMORPH0.2180.1200.5190.3030.1060.4090.0280.2410.2930.248SYNT0.3310.1460.2650.1840.1790.0060.0560.1110.2790.173MORPHSYNT0.3200.2980.5250.3340.0640.2650.0000.1490.2420.244CONTEXTUALISED (XLM-R)APD0.5140.0730.1620.3100.3890.3870.3720.4800.4570.349PRT0.3200.2100.3940.2120.3780.2700.2940.3130.3130.300APD-PRT0.4570.2020.3700.2200.3940.3250.3760.3740.3840.345Clustering/JSD0.1270.2870.318-0.1080.160-0.1370.2470.2670.3620.169ENSEMBLESAPD-MORPH0.2620.1400.5060.3500.1510.5030.0620.2880.3400.289APD-SYNT0.3840.1590.2640.2550.2620.1190.0930.1810.3540.230APD-MORPHSYNT0.3900.2900.5130.3970.1800.3640.0360.2160.2990.298PRT-MORPH0.2780.2040.5280.3050.2360.4780.1120.3090.3360.309PRT-SYNT0.4480.2130.4010.2800.3510.1460.1860.2460.3510.291PRT-MORPHSYNT0.4510.3540.5720.3560.2730.3600.1170.2690.3260.342APD-PRT-MORPH0.2770.1880.5180.3380.1890.4970.0920.3100.3400.305APD-PRT-SYNT0.4050.1890.3760.2950.3300.1210.1470.2350.3670.274APD-PRT-MORPHSYNT0.4180.3370.5540.3770.2360.3590.0920.2550.3280.328Table 2: Spearman rank-correlation scores in the ranking task (‘Task 2’). Bold indicates the best method overall(for each language); italic indicates the best results for a group of methods.MethodENDELASWNO-1NO-2ITAVGPROFILESMORPH0.6220.4790.6250.5810.4860.7030.5000.571SYNT0.5140.6250.5140.6770.6220.5140.6110.582MORPHSYNT0.5410.5210.6750.5810.4860.4320.4440.526CONTEXTUALISED (XLM-R)APD0.5680.5000.5000.6130.4860.5950.6670.561PRT0.5950.5000.5500.5480.5410.5410.4440.531APD-PRT0.6760.5420.5500.6130.5680.4590.5000.558Clustering/JSD0.4590.5210.5000.5160.5410.4860.3890.487ENSEMBLESAPD-MORPH0.6220.5000.5750.6130.5410.7300.5000.583APD-SYNT0.5680.4790.5500.5810.6220.6220.6110.576APD-MORPHSYNT0.6220.6250.6000.6130.5140.7030.6110.613PRT-MORPH0.6760.4580.5250.5810.5410.4860.5000.538PRT-SYNT0.5410.5210.5750.6130.7030.5680.5000.574PRT-MORPHSYNT0.5410.4790.5250.5810.6760.4860.4440.533APD-PRT-MORPH0.6490.4580.6500.5810.5410.6760.6110.595APD-PRT-SYNT0.5140.5420.5500.5480.6760.5950.5000.561PRT-MORPHSYNT0.5410.4790.5250.5810.6760.4860.4440.5330表3：分类任务（“任务1”）中的二元准确率得分。粗体表示整体最佳方法（每种语言）；斜体表示一组方法的最佳结果。0+v:mala2277获取更多论文Russian, SYNT significantly correlates with staticembeddings: the correlation with SGNS-raw is0.48 for Russian-1, 0.52 for Russian-2 and 0.49for Russian-3. Significant correlations betweenMORPH and static embeddings are observed forLatin (0.46) and Russian-3 (0.38).Contextualised methods correlate weakly withgrammatical profiles.Although we once againobserve exceptional behaviour for the Russiandatasets, the correlation between profiles and con-textualized embeddings is on average weaker thanbetween profiles and static embeddings, whichmight explain why combining contextualized em-beddings with profiles yields notable performanceimprovements.+v:mala2277获取更多论文0可以获得词汇信息：在指称和话题层面上的变化可能发生得更快（例如，英语中的“计算机”或“鼠标”）。另一方面，当时间段之间的差距更大时，单词的形态和句法行为也会发生变化。在这些情况下，语法概况有助于检测语义转变，而语言模型则忽略了这一点。在我们的集成系统中，将时间间隔的长度作为一个特征加入可能使其对数据集的性质不那么敏感。这种模式的例外是拉丁语（时间段之间没有间隔，但语法概况的性能很好）和俄语-3（80年的间隔，但概况仍然落后于XLM-R）。对于拉丁语来说，其极其丰富的形态可以弥补时间段之间的小间隔。此外，第二个时间段跨越了两千年，使得短暂的间隔不成问题。丰富的形态对于俄语-3并不能超越XLM-R，但对于俄语-1和俄语-2，概况的效果要比俄语-3好得多，因为这两个数据集的间隔只有两年。05 分析0在本节中，我们分析了所有方法在任务性能之外的预测。我们定量评估它们的互补性（第5.1节），并研究语法概况对基于嵌入度量的性能的改进程度（第5.2节）。05.1 方法之间的相关性0为了研究各种方法是否使用不同类型的语言信息，我们计算了独立方法之间的斯皮尔曼等级相关系数。在所有数据集上平均的相关系数如图2所示（我们显示平均相关系数，因为它们在语料库中非常一致）。我们还包括静态嵌入的相关系数（SGNS-raw和SGNS-lemma）。有关它们的实现和性能的更多细节可以在附录B中找到。具有最高相关性的两种方法是SGNS-raw和SGNS-lemma。这是可以预期的，因为这两种方法之间只有目标词的词形还有所不同。基于概况的方法（MORPH和SYNT）彼此之间没有相关性。仅在俄语-2（0.32）和俄语-3（0.45）中观察到轻微的显著相关性。有趣的是，在俄语中，SYNT与静态嵌入显著相关：俄语-1的相关性为0.48，俄语-2的相关性为0.52，俄语-3的相关性为0.49。对于拉丁语（0.46）和俄语-3（0.38），概况与静态嵌入之间存在显著相关性。基于上下文的方法与语法概况之间的相关性较弱。尽管我们再次观察到俄语数据集的异常行为，但概况与上下文嵌入之间的相关性平均较弱，这可能解释了为什么将上下文嵌入与概况相结合会显著提高性能。0图2：模型预测之间的平均斯皮尔曼相关性。05.2 定性分析0在本节中，我们检查了我们的方法的错误模式，以了解语法概况何时有助于纠正基于嵌入度量的预测。我们将这种分析框架化为“假阳性”和“假阴性”。在分类任务中，假阳性和假阴性的定义很