自适应记忆自组织策略下的词汇组织与形态识别研究

沙特国王大学学报通过自适应记忆自组织策略的Claudia MarziZhao，Marcello Ferro，Ouafae Nahli计算语言学研究所，国家研究委员会（ILC-CNR），意大利阿提奇莱因福奥文章历史记录：2016年1月29日收到2016年6月30日修订2016年11月13日接受2016年11月19日在线发布保留字：非连接形态结构词汇存储和访问拓扑对齐同步自组织映射A B S T R A C T本研究的目的是模拟人类的心理词汇，通过集中在存储和处理动态，词汇组织依赖于输入重编码和适应策略的长期记忆组织的过程。在文字处理的一个基本问题是由出现的词法组织水平，基于充分存储的单词形式之间的聚合关系。形态归纳可以定义为在形态复杂的词形中感知和识别形态构成词的任务，作为词汇表征和分布之间的动态相互作用以及词汇数据中的规则性程度在我们提出的计算框架（TSOM）中，基于在时间层上定义的具有Hebbian连接的自组织映射，表面形态关系的识别/感知涉及形态相关输入单词的重新编码表示的对齐。面对一个非连接形态，如阿拉伯语的曲折系统提示形态诱导通过自适应组织策略，这影响词汇表征和长期存储的重新评估。我们将展示在训练过程中，一个强适应性的自组织是如何有助于单词形式之间的涌现关系的，这些单词形式同时、冗余和竞争性地存储在人类的心理词典中，并将存储的单词的知识概括为未知的形式。©2016作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍在定义单词存储和处理的基本问题之一是建模的形态组织水平在人类词汇的出现，完全存储的单词形式之间的聚合关系的基础上。从词汇数据中归纳形态知识的任务可以定义为从表层词形中挑出形态构词成分的任务在操作上，该任务包括以下步骤：（i）在单词形式中找到结构，（ii）在共享结构的基础上对单词形式进行最初由Harris（1955）定义为一组*通讯作者：via G. Moruzzi 1，56124 Pisa，Italy.电子邮件地址：claudia. ilc.cnr.it（C. Marzi），marcello. ilc.cnr.it（M.Ferro），ouafae. ilc.cnr.it（O. Nahli）。沙特国王大学负责同行审查基于纯粹形式化算法的训练数据，形态学归纳反映了结构化表示和重新编码过程之间的相互作用。尽管它们的算法不同，但监督和非监督机器学习模型都监督算法往往依赖于对词表示的特定假设。事实上，对于大多数欧洲语言，我们可以使用一个固定长度的向量表示，将输入的单词向右对齐，因为这些语言中的屈折变化通常涉及后缀和对词素边界的敏感性。然而，这种类型的表示以目标语言的形态学的相当多的先验知识为前提，并且一般不可能与前缀、环切和非连接形态学过程一起工作。另一方面，大多数当前的无监督算法将形态学习建模为分割任务（Hammaström和Borin，2011），假设子词汇字符串和形态结构之间存在硬连线线性对应再次，非连接形态很难分割成线性连接的语素。http://dx.doi.org/10.1016/j.jksuci.2016.11.0061319-1578/©2016作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com180C. Marzi等人/Journal of King Saud University根据 最近关于 自动形态 分割的 外围水平 的心理 语言学证 据（ Crepaldi 等 人 ， 2010 年 ; Rastle 和 Davis ， 2008 年 ; Velan 和Frost，2011年），模拟人类词汇处理和存储应该依赖于算法，这些算法更重视其适应目标语言形态结构的一般能力，而不是其归纳形态偏见的强度。我们表明，相同的形态诱导算法，具有相同的初始参数设置和一组相当的假设有关的输入表示，是能够成功地完全处理不同的屈折系统，例如，意大利语，德语和阿拉伯语，并与不同的形态现象在同一种语言（如后缀，前缀，中缀和组合在阿拉伯语动词的屈折变化）。我们认为，对这些问题的原则性方法应该能够复制人类语言处理器核心的一些基本能力：（i）重新编码和维护符号单位的时间序列（例如字母，语音符号，词素，（ii）在长期记忆中转移和组织这些表征，（iii）将输入表征映射到词汇表征上，以便在语言使用中访问和回忆它们，（iv）将存储的单词知识概括为未知形式。首先，我们概述了本工作的理论背景（第2节），我们的实验所采用的计算架构（第3节），以及实施检查形态结构的出现的分析技术。材料，方法和结果，然后说明和分析（第4节），重点是如何一个强大的范式合作组织和共同激活促进形态学习，扩展和概括。第5节是一般性讨论，总结了我们在记忆、加工和访问策略的综合模型框架内的结果。2. 理论背景2.1. 记忆与记忆人类语言能力的一个基本特征是能够在长期记忆中保留符号单位序列，在识别和生产中访问它们，并找到它们之间的相似性和差异性。传统上，词汇习得和处理是根据人类记忆的基本机制来建模的，如在大量关于即时序列回忆和视觉单词识别的文献中所提出的（例如Henson（1999），Davis（2010）;详细评论）。一些最早的心理学对序列顺序的解释假设项目序列被表示为由刺激-反应链接组成的然而，在时间上对齐不同长度的单词形式可能是困难的，因此妨碍了对形态相关形式之间的共享序列的识别（Davis和Bowers，2004），特别是在抽象绑定语素的情况下，如阿拉伯语中辅音根的不连续符号（Boudelaa和Marslen-Wilson，2004）。传统上，在形态复杂的单词形式中识别形态构词成分的任务已经被用于对形态归纳进行建模。因此，存在任何此类模型必须解决的一般问题，在Davis字母的身份被描述为一个高斯活动函数，其最大值集中在字母的实际位置，并随着我们向右或向左远离该位置而不断减小。该函数定义有关字母字符串匹配是连续加权的位置的信心水平，从而强制执行一种形式的模糊匹配。然而，与大多数其他心理认知启发的模 型 ， 如 “ 开 放 二 元 组 编 码 ” 模 型 （ Grainger 和 van Heuven ，2003）、“起始-结束”模型（Henson，1998）和“首位模型”（Page和Norris，1998）等一样，该方法2.2. 聚合关系在建模单词获取和处理中最突出的问题之一是由人类词汇中的形态组织水平的出现所代表的在基于完全存储的单词形式之间的涌现形态关系的词汇习得和处理的自适应策略的观点中（在Blevins，2006之后被定义为抽象方法），聚合1关系可以被解释为反复激活的神经回路（时间戳记忆节点链）不连续的形态构成词根在阿拉伯曲折系统-或不连续的–德语过去分词中的环切，阿拉伯语的不完整形式-例如，词根k-t-b在kataba和yaktubu中严重错位，这可能会使响应两个或更多单词的词根的节点在地图上相距甚远。同样，machen在以前的作品中（Marzi等人，2012c，2014），我们分析了德语和意大利语屈折形态的聚合组织，通过关注不同类型的相关聚合内和聚合间家族如何诱导强烈的聚合相关的协同组织和协同激活，以促进聚合扩展和概括。 在时间自组织映射（TSOMs）的框架中 ，经典SOM（Kohonen，2001）的一种变体增加了在时间层上定义的重入赫布连接，它可以对传入刺激的概率预期进行编码（Koutnik，2007; Ferro等人，2010，2011; Pirrelli等人，2011; Marzi等人，2012a，b），我们展示了根深蒂固的节点链如何被形态相关的单词形式同时激活。 特别是，我们强调了如何，从词汇的角度来看，TSOMs表现出直接的相关性之间的形态分割和拓扑组织的记忆节点。3. 计算框架TSOM是人工记忆节点的二维网格，它没有被最大限度地响应特定的符号这似乎是至关重要的形态归纳：这个词对齐问题。每当熟悉的模式出现在新的安排中时，问题就会出现，比如说英语的人能够在手册中识别单词book，或者说阿拉伯语的人可以在kataba（“他写”）和yak-tubu（“他写”）中找到动词词根k-t-b没有特定于位置的字母编码方案可以解释这种能力。1动词范例代表同一词汇指数的一系列屈折变体（例如，play、plays、paying、played），而屈折类表示具有类似屈折形式的族（例如played、walked、arrived）。在理论和心理认知文献中，聚合关系的作用被认为是说话者心理词汇中单词形式组织的中心，促进词汇的访问和存储（Bybee和Slobin，1982;Bybee和Moder，1983;Baayen等人， 1997年;除其他外）。C. Marzi等人/Journal of King Saud University181X--;-;(as在更传统的“合取编码”中vut1XD多层感知器，Rumelhart和McClelland，1986年），但可以被训练为表现出对时间限制对称性的专用灵敏度该方法提供了一个一般框架，其中单词亲-处理和词汇习得都是通过重新编码yS;i不超过1-NDj1xjt-wi;jtI¼1.. . N1时间序列的符号和存储策略，依赖于语言特有的因素和语言外的认知功能，如词汇组织，词汇访问和回忆，表示，和自适应记忆自组织(for一yT;itl/2yht-1·mi;ht]2h¼1yita·ySit1-a·yT it模型的详细描述参见Ferro等人（2011），Marzi等人（2012 b，2016））。在其最简单的实例化中，TSOM包括在多个连接性级别上的连接权重的拓扑（模式匹配）和时间（模式同步）共同组织（图2）。①的人。输入连接从输入层获得同步信息，其中每个符号刺激，编码为D分量的向量，在一次滴答采样时间连接模拟具有一个滴答延迟传播的神经元突触，其中权重确定在时间t激活一个节点对在时间t+ 1激活节点的影响量。通过这种方式，时间连接传达了激活特定节点的概率期望，给定了地图的当前激活状态。3.1. 字再编码每个输入的单词形式都由一个独特的时间序列的符号（无论是语音表示还是转录字母）表示，这些符号一次一个地被管理到TSOM在输入层上呈现一个符号时，地图的所有节点通过其输入/空间和时间连接同时激活图1.概述TSOM的体系结构。映射节点显示输入字符串“#pop$"的集成激活模式（IAP）为了简单起见，地图节点被描绘为一维数组，其中BMU（最佳匹配单元）节点被标记并通过边/弧连接灰色阴影描绘节点激活的水平BMU之间的前向时间连接突出显示为黑色弧。其中N是地图的节点数量，w和m分别为输入层和时间层的权重建模，其贡献由参数a加权。因此，整体激活模式y表示最适合于（i）单词形式的给定输入符号和（ii）当前时间上下文的节点的激活水平。时间t处的最佳匹配单元（BMU）被定义为最高度激活的节点：BM Utargma xi1. Nfyitg43.2. 学习算法在学习过程中，Hebbian规则应用于两个层（模式匹配和模式同步），因此对给定刺激高度响应的节点将在整个训练过程中对该刺激越来越敏感。相反，对刺激反应弱的节点将变得更不敏感。具体地，将到BMU（t）的所有输入连接上的权重调整为更接近当前输入信号;同样地，将到BMU（t）的所有临时连接调整为与时间t1处的映射的总体激活模式更相关;即，增强从BMU（t1）到BMU（t）的连接，而抑制从除BMU（t1）之外的所有节点到BMU（t）的连接。权重调整以当前BMU为中心的高斯函数径向扩散到相邻节点。径向传播促进拓扑上相邻的节点之间的信息共享和训练依赖性，从而训练这些节点以类似地响应类似的输入刺激（Pirrelli等人， 2015年）。在训练之后，每个BMU可以用输入符号标记节点响应最强烈。3.3. 单词回忆当包含输入符号的时间序列（即单词形式）时，所得的集成激活模式（或IAP）表示映射对整个输入序列的处理响应y^i<$ma xt<$1;. ;kfyitg5其中k表示构成输入字的符号的数目。IAP（y^）是一个没有明确时间信息的静态模式，它代表了TSOM中对一个单词形式的记忆痕迹。图1示出了用于输入序列“#pop $”的IAP和给定一个单词这是通过将激活从单词开始节点（“#”）扩展到构成输入单词的时间链的节点来实现的在每个时间步，映射输出与当前最高度激活的节点相关联的单个符号重复该步骤，直到输出与字结束符号（“$”）相关联yita·y^i1-a·yT;it6182C. Marzi等人/Journal of King Saud University3.4. 任务评估重新编码的准确性进行评估，以量化的TSOM的能力，正确地重新编码一个词的形式。当传播构成输入字的符号的时间序列时（参见等式10）， （3）），如果所有BMU都与正确的输入符号相关联，则正确地重新编码单词形式。同样，在召回一个词的形式的准确性验证，其IAP的传播（见方程。（6））正确地激活与该字的符号相关联的BMU由于某些IAP可能比其他IAP更易混淆，因此从其IAP中回忆单词的容易程度取决于其BMU在目标IAP中高度激活的其他非目标IAP的共激活程度。在训练期间，每个节点通过递增地调整其突触权重以重现形态结构的模式来开发对可能的位置特定符号和上下文特定符号两者的专用灵敏度。这意味着整个节点池在训练期间倾向于专门化以响应任何特定输入符号，当符号出现在特定上下文中时，池中的每个节点显示出比所有其他节点更高的活动水平这种行为让人想起Davis空间编码（2010）中的分级不同输入单词对相同BMU的共激活反映了地图感知完全存储单词之间的表面形态关系的 我们认为，节点共激活代表了与字符串之间相似性感知的直接相关性，正如大量关于形态启动的文献所证明的那样（Seidenberg et al.，1984; Forster，1998;等等）：两个（或更多个）组块被映射感知为相似的程度由处理它们所涉及的共享BMU的数量给出，与高度共激活和混合的IAP相关联。给定与一个词形式相关联的BMU，其混合模式被计算为其他可能相关的词形式的共同激活。对于目标词的每个BMU，我们评估BMU在任何其他词的IAP中的激活通过平均每个BMU的激活水平，我们估计一个单词中的符号在多大程度上被其他单词共享。从这个角度来看，激活由相同范例的成员共享的子模式由于这种动态性，IAP表示映射对输入单词的短期处理响应和由经简化的BMU的连接给出的长期共享子词汇成分的单词形式往往会触发相同或相邻节点的链。换句话说，我们发现，-连接形态拓扑距离（接近）的地图与形态相似性 。 在 传 统 的 基 于 词 素 的 分 词 方 法 中 （ 参 见 Halle 和 Marantz（1993），Embick和Halle（2005），最近的理论修订），这相当于通过词素结构拓扑对齐形态相关的单词形式给定两个输入单词，我们因此可以通过考虑在重新编码期间与这两个单词相关联的BMU之间的映射上的拓扑（即，欧几里德）距离来测量TSOM感知这些单词形式的相似程度（在图2，上图）。而两个单词形式之间的共激活距离被计算为与第二个单词的IAP中的一个单词相关联的BMU的激活水平（图2，下图）。作为一个例子，我们报告了输入形式macht和gemacht的拓扑和共激活距离（图2，顶部和底部面板），以强调德语动词系统所示的几乎线性的形态学（尽管词干由于前缀ge-而在时间上错位）如何有助于图2.德语输入形式macht（'she/he makes'）和gemacht（'made'，过去分词）的拓扑距离（上图）和共激活距离（下图）#和$分别代表“单词开头”和“单词结尾”符号。值越低，BMU越接近且越共激活。距离等于0意味着完全相同的节点被激活。拓扑封闭和强共激活的记忆链的发展。通过面对一个非连接形态，如阿拉伯语的屈折系统，我们将表明，共同激活代表了感知相似性概念的最基本的相关性，从这个角度来看，拓扑接近性只是训练连接形态结构的映射的副产品。4. 材料、方法和结果为了更好地理解完全屈折词形之间的形态关系和语法习得，我们对部分阿拉伯语屈折词进行了两个实验。首先，我们从最常见的动词范式中选择了46个（根据正式分类，参见Buckwalter和Parkinson（2011），以及基于语料库的分布，PennArabic Treebank，Maamouri等人，2003年）。该集合包含来自各种屈折类的动词，包括声音规则的、成对的（即第二和第三辅音根辅音相似）或C. Marzi等人/Journal of King Saud University183×辅音）。少数动词是弱同化的（即第一个动词辅音是w A <$w），弱空心的（即第二个动词辅音是wa <$w）。 第二个动词辅音是w a<$w或ya<$0）或弱-反辅音（即第三个 动词辅音是w a<$w或ya<$0）。对于每一个范式，无论何时被证实，我们都选择了多达14种不同的屈折形式，即第一、第二和第三阳性单数和复数，第三阴性单数，用于完成体和不完成体。所有样本形式（n = 601）均完全发声，并根据Buckwalter音译系统的标准化版本（见http：//www. qamus.org/transliteration。 htm）。它们被编码为小写和大写字母和非字母ASCII字符的字符串（例如，对哈姆扎来说，“$$一些特殊的阿拉伯字符-变音符号组合（例如，加长的元音）被编码为小写和大写字母的有向图（例如，“#，k，aA，n，a，$”中的“aA”），由映射作为一个符号处理。所有的符号在地图的输入层上被编码4.1. 实验1：聚合关系的出现我们在601个单词类型上训练了两个40 40节点映射，一次用均匀分布（UD）管理，即每个单词类型5个标记，一次用偏斜分布（SD）管理，作为参考语料库中真实单词分布的函数（在频率范围1-1001中）（Maamouri等人，2003年）。每个训练阶段重复5次，并对重复的准确性评分取平均值，以控制单个训练阶段的随机变异性。为了模拟序列顺序的低级记忆过程及其对连贯形态组织的影响，在训练期间仅提供有关原始形式的信息每个输入的单词被管理到TSOM一次一个符号，与过去的符号的记忆被重置后，提出的在每个训练时期，输入表单以随机顺序呈现给地图，在两个训练方案中，每个时期的呈现总数分别为3005（UD）或8956（SD）每个地图训练结束后，我们测试了地图的记忆内容，并在单词记录和单词回忆两项任务中探索了地图的内部组织。当输入符号激活与不同符号相关联的BMU时，对重新编码中的错误进行计数。当映射错误地调用输入字符串中的一个或多个符号时，可能会发生调用错误，这是通过用不同的符号替换它或以错误的顺序输出正确的符号来实现的。部分召回，即仅正确召回目标单词的子串（例如，培训结束时，两项任务的结果见表1。作为一般趋势，TSOM通过标记频率来记忆单词形式，在较早的时期获得并成功回忆较高频率的单词，如与均匀分布（图3中的蓝线）相比，在偏斜分布（图3中的红色实线）中正确回忆标记的优势所示更高的标记频率会导致词汇防御：事实上，在训练TSOM时，连接权重由输入调制图3.均匀分布的动词形式（蓝色实线）与实际（倾斜）分布的标记（红色实线）和类型（红色阴影线）的词汇习得（回忆准确度）的时间过程，在学习时期范围1根据Hebbian原则。高频率输入倾向于重复激活相同模式的节点，加强顺序激活节点（BMU）之间的连接，并使高频词与高响应激活模式相关联。频率占不同的趋势收购在两个培训制度的早期学习时代。高频有利于孤立地获得单词，在地图上形成高度专业化的激活模式，然后与其他形式相关的单词标记和共享的形态冗余量相互作用。随着训练的进行，词汇记忆和处理越来越依赖于形态复杂的词形之间聚合关系的出现。具体地说，对每个输入词的形态结构的感知取决于找出在任何一组聚合相关的动词形式中什么是共同的，什么是不同的，即它们的屈折冗余程度，作为跨聚合内和聚合之间的形式的共激活水平的动态结果。我们建议，事实上，共享形态结构的感知更好地与共激活水平的概念相关联，而不是与BMU节点的拓扑接近度相关联，对于那些结构更系统地错位的（非连接）形态。具体而言，阿拉伯语动词形式的底层结构需要对根骨架的时不变符号编码（聚合内关系）和对相同元音符号的时间约束实例的位置敏感性两者敏感，如图4所示（下图）。图4提供了在阿拉伯语屈折词形式上训练的TSOM中，分别响应于输入yaktubu和kataba的katabaBMU和yaktubuBMU的节点间拓扑距离（上图）和节点间共激活距离（下图）当kataba中的k为表1实验1：记录和回忆任务的准确性，平均超过5个实例，均匀和倾斜的训练制度。分数是按单词类型（平均超过601个不同的单词）和每个单词标记（平均我们训练集中的所有出现）给出的均匀（UD）和偏斜（SD）的实验结果评分培训制度记录（%）召回（%）S. 偏差（%）UD-10099.101.07SD10095.612.47SD10099.190.58184C. Marzi等人/Journal of King Saud University-图4.输入形式kataba#和$分别代表顶部面板：输入表单kataba和yaktubu的拓扑距离。值越低，地图上的BMU越接近下图：输入形式kataba和yaktubu的共激活水平距离。值越低，BMU的共激活程度越高。显示在地图上这对于yaktubu中的t和bBMU以及当输入yaktubu时k-t-b中的对应BMU也是如此总的来说，当构成根k-t-b的符号存在时，两个节点池的响应最大程度地我们认为这些水平的共动反应意味着k-t-b在两种单词形式中被认为是同一个辅音骨架的可能实例。由于BMU通过训练变得对输入符号的性质（符号身份）和时间（上下文依赖性）敏感，因此在阿拉伯语动词形式上训练的TSOM为根的每个符号（k，t和b）开发了两个不同的节点：一个用于完成体形式，一个用于未完成体形式。当k、t或b被显示为输入刺激时，两个根节点（即同一根符号的两个实例）同时激发，但最具上下文专门性的节点显示出更强的活动。这解释了辅音骨架上的协同激活距离略高于零。两个节点可以通过作为响应相同符号的节点集群的一部分而在地图上拓扑上非常接近，或者它们只能由于二维拓扑约束而偶然非常接近，如图5.在LME模型拟合单词学习时期（y轴）中依赖于部首符号（x轴）的共同激活的感知邻居（NNB）数量之间的相互作用效应的边缘图。固定效果：NNB，词频，字长。随机效应：TSOM实例（n= 5）。这由字结束符号（$）和U符号之一之间的小拓扑距离证明。阿拉伯语形态的高度非线性和非连接性质不利于拓扑闭合链的发展，因为学习期间的拓扑径向传播不受连续左上下文的支持。更确切地说，节点特化是语言特定模式在输入中重复出现的结果。因此，辅音节点的位置专门化反映了阿拉伯语形态学中辅音的特定排列。更多的组合形态趋化系统将很难促进同样类型的敏感性。TSOM通过学习分配的一般分布式资源的量在很大程度上与对形态规律性的分级感知的敏感性相关平均而言，被认为内部更连贯（更高水平的共激活）的paradigms更容易获得。我们观察到，在事实上，一显著逆词汇习得的时间进程与词汇习得的时间进程之间的相关性（斜率= 0.4，p0.02），动词聚合中的聚合和对共享结构的增加的感知，对于每个词计算为成功地共同激活根符号的聚合相关形式的数量（在90- 100%的激活范围内，即在0.1的最大共同激活距离处）。如图所示，越多的动词形式共同激活它们的词根符号，它们的学习时期就越早线性混合效应模型（图5）。由于词频和单词长度已知会影响单词习得，因此我们将这些变量作为固定效应添加。为了更详细地验证TSOM对每个动词的所有屈折形式所共享的形态结构的量的感知，我们考虑了给定聚合相关词的非目标词两个例子显示在图。 6和图7 混合模式中的共激活水平是按每个输入符号计算的，以指示任何激活的BMU在地图上从相关/相邻词池获得多少支持。图6示出了当给定输入单词的符号在连续的时间刻度处被管理到地图时，每个相关单词的共激活的总体水平（灰色条）。混合图案被计算为每个符号的平均共激活水平（黑色条）。混合模式中不同程度的共激活反映了聚合相关词对复合模式的支持程度。图6提供了规则2和高熵范例的示例，[2]规则动词范式以任何屈折形式呈现所有的根符号，而不规则动词范式则相反，在不规则动词范式中，hamza、w a<$w或ya

下载后可阅读完整内容，剩余1页未读，立即下载