词和子词的生成概率对齐模型：神经参数化的Anh Khoa Ngo Ho引用此版本：AnhKhoa Ngo Ho. 词和子词的生成概率对齐模型：神经参数化的局限性和潜力的系统探索文档和文本处理。巴黎萨克雷大学，2021年。英语。NNT：2021UPASG014。电话：03210116HAL ID：电话：03210116https://theses.hal.science/tel-03210116提交日期：2021年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire博士论文NNT：2021UPASG014单词和子单词的生成概率对齐模型：对极限的和神经参数化巴黎萨克雷大学博士论文第580号信息和通信科学与技术博士学院沟通（ED STIC）博士专业：计算机科学研究单位：巴黎-萨克雷大学、CNRS、跨学科实验室数字科学，91405，奥赛，法国参考：奥赛科学学院论文于2021年2月9日在奥赛发表并答辩，由Anh Khoa NGO HO评审团组成Pierre Zweigenbaum主席巴黎-萨克雷大学CNRS（LISN）研究主任L'oïcBarrault说唱评论员考官会议主席，联合大学诉谢菲尔德大学Yves Lepage审查员报告早稻田大学教授Nadi Tomeh审查员会议主席，UniversitySorbonneParisNordFRancoisYvon博士生主任巴黎-萨克雷大学CNRS（LISN）研究主任词和子词的生成概率对齐模型关键词：机器翻译，单词对齐，人工神经网络对齐是两个文本中单元的典型匹配问题，在历史上与源语言文本及其最早的概率翻译模型的关联有关用目标语言进行教学新 的语言模型的成熟可以在几个层次上设想：在语言的自动处理之间，基于句子，在单词组之间，在单词之间，在计算的矢量表示上，甚至在一个更精细的层次上，当神经网络之一允许语言休息在形态上是复杂的，这些对齐的计算问题。因此，涉及对齐单词搜索片段的目的是设计模式（词素）。神经元对齐可以被认为是在不知道的情况下容易学习的--也可以被认为是超越了树或图的一些极限复合体的更有知觉的语言结构。 这些都是统计对齐模式和一个复杂的，未充分指定的任务，最先进的手在准确性方面很难执行。它的自动化-自动对齐。词和子词的生成概率对齐模型：神经参数化的局限性和潜力的关键词：机器翻译、单词对齐、人工神经网络对齐包括在自然语言处理中建立邪教问题，一个双文本中单元之间的映射，在历史上与源语言中文本的第一概率及其基于跨语的翻译模型相关联。目标语言中的设计语言。 对齐可能是自然语言过程的新模型--在几个层面上计算：在文档之间，ing，基于分布式表示的，在句子之间，在句子之间，在神经网络输入之间，允许我们只使用单词，甚至在更小的单元之间，当一个人重新审视语言的这些对齐的计算时，这些单元在形态上是复杂的。因此，这项研究喜欢com-which涉及对齐单词片段（或者更全面地理解前音素的局限性）。对齐也可以被认为是统计对齐模型，并设计更复杂的语言结构，如神经模型，可以在不知道树或图的情况下学习。这是一个复杂的、在监督下的任务，以克服这些反馈，并指定人类以不同的方式执行的任务-- 在对齐难度方面提高了最新水平。它的自动化是出了名的差异--准确性。巴黎萨克雷大学技术空间/发现建筑法国圣奥班128 / 91190号公路丹凯谢谢你3确认文件谢谢多用户DĚKUJIありがとうございます我想表达我对你的真诚感谢，感谢你在过去四年里对我的鼓舞、耐心和鼓励。他引导我探索了一个有趣的研究领域，提出了一系列挑战：Bitext对齐。他宝贵的知识，伟大的想法和坚定不移的支持帮助我完成了这篇论文。我无法想象有一个更好的顾问和导师为我的博士研究。我还要热烈感谢陪审团成员皮埃尔·茨韦根鲍姆、罗伊克·巴罗、伊夫·勒佩奇和纳迪·托梅在我辩护当天对我的论文提出的问题我想向LIMSI的伟大人物表达我的感激之情：亚历山大·阿劳岑、劳伦斯·罗斯坦、让-克洛德·巴贝特、帕斯卡·德斯罗什、索菲·帕格-莫里斯、尼古拉斯·拉-贾拉特南、让-吕克·高文、吉勒·阿达、威廉·斯蒙达克......我要感谢EDSTIC的Stephanie Druetta和AnneVilnat，以及人力资源部的Vanessa Delaisse和Laurie Vincent。他们好心地帮我做了论文程序的文书工作。我想感谢我的实验室伙伴Aina，Aman，Benjamin，Charlotte，Franck，Jitao，Julia，Lauriane，Léo，Marc，FranCois，Margot，Matthieu，Paul，Pierre，Pooyan，Quang，Rachel，Ruiqing，Shu，Soyoung，Syrielle，Xinneng，Yuming...最后，我非常感谢我在越南和法国的父母、兄弟、姐妹和朋友们无尽的支持。我想感 谢 Ha Phuong Nguyen ， Vo Linh Lan ， Vu Trong Bach ， Nguyen Lam Phuc Thinh ，Nguyen Ly Bao Duy.他们总是在那里为我和诚实地相信我在做什么。C M N内容物内容7图14列表表列表17首字母缩写191导言211.1捐款231.2论文大纲231.3出版物242 对齐模型概述252.1位对齐252.2对齐粒度262.2.1文档对齐262.2.2句子对齐272.2.3子句子对齐272.2.3.1Word对齐282.2.3.2句子对齐292.2.3.3结构对齐302.3Word对齐312.3.1不同类型的映射312.3.2字对齐的编码单元332.4无监督生成对齐模型342.4.1无监督学习：期望最大化2.4.2IBM模型和衍生对齐模型352.4.2.1IBM模型1（IBM-1）362.4.2.2IBM Model 2及其重新计量-Fastline362.4.2.3隐藏马尔可夫模型HMM372.4.2.4IBM模型3及以后的生育率模型2.4.3对称化392.4.3.1交叉、联合和增长诊断-最终392.4.3.2协议约束402.5摘要413 评估单词对齐433.1平行语料库443.1.1培训语料库453.1.2语料库453.1.3对齐链接463.2如何对预测对齐进行评分？...........................................................................................473.3未对齐单词的问题4956内容3.4不对称排列的弱点523.5单调性和失真543.6罕见的单词有问题吗？................................................................................................... 603.7如何处理未知单词？........................................................................................................623.8功能词是否比内容词更难对齐？...................................................................................633.9通过对称化和一致性进行663.10 句子长度是否形成对齐模式？.......................................................................................673.11 摘要704神经词对齐模型734.1NLP74中的人工神经网络4.1.1Word嵌入764.1.2卷积神经网络（CNN）764.1.3复发性神经网络（RNN）774.1.4序列到序列模型784.1.4.1编码器和解码器784.1.4.2注意力机制794.2神经排列模型794.2.1非概率神经排列模型794.2.2概率神经排列模型804.2.3注意力集中的单词对齐804.3神经翻译模型4.3.1无上下文翻译模型814.3.2上下文翻译模型814.3.3基于字符的翻译模型814.4神经扭曲模型834.4.1目标侧的基于字符的表示4.4.2双方基于字符的表示834.5无监督学习844.6实验844.6.1超参数设置854.6.2基于注意力的模型的实验864.7评估874.7.1AER、F评分、准确度和召回率874.7.2神经网络能提高长句子的表现吗？..................................................................924.7.3神经模型如何处理未对齐的单词？..................................................................924.7.4神经网络能改善单词失真吗？.......................................................................... 934.7.5一对一和多对一链接4.7.6神经网络模型对罕见/未知单词有问题吗？.................................................... 974.7.7功能/内容词问题994.7.8对称化是否仍能改善对齐？.............................................................................1004.7.9更多的数据通常更好吗？.................................................................................1014.8摘要1065生成性潜在神经排列模型1095.1可变自动编码器1105.2我们的神经词排列变异模型的变体1115.2.1完全生成模型1115.2.2介绍马尔可夫依赖关系1125.2.3走向对称模型：一种参数共享方法5.2.4一致性执行协议1135.2.5使用单语言数据进行1145.3实验114内容75.4评估1175.4.1AER、F评分、准确度和召回率1175.4.2不对齐的单词仍然是个问题吗？....................................................................1195.4.3对称性和一致性1195.4.4使用单语言数据进行1215.4.5对称启发式能改善失真吗？............................................................................ 1225.4.6基于BPE的变分模型5.4.7基于BPE的变分模型5.5摘要1256在单词对齐中使用子单词1276.1实验1286.2BPE级别和单词级别128的序列长度6.3不同的基于BPE的词汇量大小是否会产生不同的对齐模式？...............................1306.4一对一和多对多链接1396.5基于BPE的对齐中的罕见单词1396.6对称化基于子字的对齐6.7基于字、基于BPE和基于字符的模型性能1436.8摘要1447结论1477.1第147章7.2未来工作1487.3最后一句话150法文摘要15311图列表1.1英语、法语、越南语、韩语和日语的单词对齐困难："Les"是否与"things"对齐？"fait"应该与"c"对齐吗？ "de"应 该 与 " l o t " 或 " v i " 对 齐 吗 ？C"？如何处理未对齐的单词？221.2IBM Word对齐任务模型中的错误（虚线）。我们可以看到英语单词"Great"应该和" tuy"一致吗？t"和" v i"。在不对称对齐的情况下，英语源词不能与两个以上的越南语目标词对齐。另一个问题是"事物"中的"s"应该与"Nhong"对齐。 这需要较小单元之间的对准......................................................... 。2.1与文件（doc）、段落（par）、句子（sent）级别26的层次结构对齐2.2与ITG Parses的几场长度为4的比赛[Wu，1997]。.....................................................302.3f7和e8之间的单词对齐示例：A={（1， 1），（2，2），（2，3），（3，4），（4）（5）（5）（5）（6）（6）（6）（7）（6）（7）（7） . . . . . . . . . . . . . . . . . . . . . ... ...322.4单词对齐的示例：一对一对齐（（"it"、"ce"）、（"is"、"is"）、（"understandable"、"understandable"）、（"."、"."）） 和一个到多个对齐（（"quite"，"all"），（"quite"，"to"），（"quite"，"fait"）..................................... 322.5不连续匹配示例：英语单词"德语中的"hangt" an d "ab"。 .................................................................................... 三十二2.6单词对齐示例：英语单词与法语单词........................................................................................................................ 332.7空链接示例：（f8，NULL）332.8子字对齐示例：子字级别链接（1，1）、（1，2）、（2，3）成为字级别对齐中的2.9英语单词"quite"的生育力示例注意所有其他单词也有生育能力（等于1）。............................................................................................. 392.10 对称的并交集示例：左上图包含链接1-1、2-2、3-2、4-3、5-3，右上图包含链接1-1、2-2、2-3。中间图显示联合链接1-1、2-2、2-3、3-2、4-3、5-3和相交链接1-1、2-2。底部图形显示生成的对齐链接由GDF。.............................................................................................................................403.1包含五个源词和七个目标词之间的链接1-1、2-2、3-3、3-4、3-5、4-6、5-7的对齐集示例。................................................................................................................................. 463.2确定（2-2、4-6、5-7）和模糊（1-1、3-3、3-4、3-5）对齐链接的示例。..........473.3不对齐英语单词的示例（"to"、"a"、"of"和"。和越南语4单词（"、"和"。"）. 不 对齐的英语和越南语单词的比例为141和分别为50153.4我们的基准结果：英国-捷克和捷克方向的一致性链接捷克语-英语513.5我们的基准结果：英语-捷克语/捷克语-英语方向和英语-法语/法语-英语方向的未对齐单词51910图列表3.6对齐类型示例：链接1-1是一对一。链接2-2、2-3、7-7是一对多。链接3-4、4-4、8-8是多对一。四个链接5-5、5-6、6-5、6-6是多对多。链接7-8可以是一对多和多对一链接，即计数为多对多链接523.7英语-越南语的一对多对齐链接示例："典型"-[ "tiêu"，"bieu"]、"回答"-[ "tr"，"l i"]和"问题"-[ "nhng"，"câu"，"h i"]。...................................................................................533.8我们的基线结果：英语-捷克语的533.9我们的基准结果：英语-捷克语的543.10 目标句子中的跳转示例：我们看到第二个源词链接到第二个、第三和第四个目标词。中值、最小值和最大值分别为3、2和4。如果使用中值，有宽度为2、0和1的跳转，以及跳转到空令牌543.11 英语-法语对齐链接的示例：单词组["i"、"should"、"like"、"to"、"discuss"]和["je"、"woulder"、"parler"、"of"];["as"、"he"、"sees"、""适合"和["到"、"他的"、"他的"、"喜欢"]553.12 英语-德语、英语-法语和英语-方向的跳转模式日语参考词对齐。X轴显示跳跃宽度和y轴显示对齐链接的数量。............................................................................................. 563.13 英语-越南语对齐链接示例：单词"like"链接到越南语单词"nh"、"the"和"nào";单词"a"、"What"是未对齐的单词。................................................................................................................. 573.14 IBM-1 Giza++：左侧图形中英语单词（德语-英语方向）、日语单词（英语-日语方向）和法语单词（英语-法语方向）的正确（TP）和不正确（FP）跳转。混乱矩阵-右边图上的这些：细胞越暗，混乱的数量583.15 Fastline和HM Giza ++（英语-捷克语）：左图中捷克语单词的正确（TP）和不正确（FP）跳转。右边图上的混淆矩阵：黑暗的细胞，最大数量的混乱3.16 罕见的罗马尼亚语单词"sireturi"的对齐链接示例 后对角线散列、对角线散列和交叉对角线散列表示IBM-1 Giza++的参考对齐链路、预测对齐链路和正确预测对齐链路。我们可以看到，单词"sireturi"被错 误 地 与 英 语 单词"must"、"demoiselle"、"generate"、"such"、"low"、"-"和 "m ust" 联 系 在一起。"下来。" ............................................................................................................................ 603.17 英语-法语：单词长度作为单词出现的函数。............................................................ 613.18 英语-捷克语基线：与内容/功能源词对齐的目标词数量（左图）。对齐的源字数使用内容/功能目标词（右图）。..........................................................................653.19 捷克语-英语基线：未对齐内容/功能源词的数量（左图）。未对齐的内容/功能目标词的数量（右）图形）。.............................................................................................................................663.20 英法和英德训练集的长度差异轴x显示长度差值，而y表示句子数。673.21 英法和英德测试集的长度差异。 轴x显示长度差值，而y表示句子数。673.22 IBM-1和HMM Giza++用于英语-日语方向：AER评分作为句子长度差异的函数。X轴显示句子长度差异。y轴表示AER。 注释显示的数量句子。................................................................................................................................. 683.23 英国-捷克方向：IBM-4 Giza++的AER分数作为句子长度的函数。X轴显示句子长度。Y轴表示空气。注释显示句子的数量........................................................................................... 68图列表113.24 作为句子长度函数的未知/罕见单词的数量英语-捷克语6912图列表3.25 长源句子中的单词重复示例（64个单词）：仅显示此句子的一部分。 反向对角线散列、对角线散列和交叉对角线散列表示引用对齐链接、预测对齐链接和Fastline正确预测的对齐链接。 英语单词"shall"重复两次，并与捷克未知单词"písm"错误对齐。...................................................... 693.26 英语-捷克语句子长度函数中重复两次或两次以上的单词数4.1CBOW的简化版本，上下文中只有一个词..................................................................... 764.2简单的RNN网络774.3无上下文神经翻译模型NN81的结构4.4神经元翻译模型82的结构4.5基于字符的翻译模型的结构：NN+Char824.6基于字符和基于单词的翻译模型的结构：NN+Char+Word824.7型号配置：IBM的AER-1+NN，具有不同的配置。 每个配置是一对单元号（前一个是字嵌入单元，后一个是前向单元）。x-axis显示迭代次数y轴表示AER。.................................................................................................................. 864.8模型配置：IBM的AER-1+NN，具有不同数量的层。x轴显示迭代次数。y轴表示AER。我们比较三种不同的配置包括1、2和3个隐藏层。....................................................................864.9模型配置：IBM的AER-1+NN，50 K字和所有字都在vocabulary中。 x-axis显示迭代次数。 y轴表示空气。.......................................................................................874.10 帮助从注意力矩阵生成对齐矩阵的两种简单方法（Argmax和阈值）的示例。黑暗中的细胞被保留在最后的排列中。............................................................................................................874.11 我们的神经模型结果：英语-德语的4.12 英语-捷克语方向：AER分数作为句子长度的函数。X轴显示句子的长度。y轴表示AER。注释显示句子的........................................................................................................................ 924.13 英语-捷克语在两个方向上的对准链接结果：我们看到IBM-1系列比HM变体具 有 更 多 的 FP/FN 和 更 少 的 TN 。 在获 得英 语 - 越 南语 语言 对 ， HSM+NNCharJT和HSM +NNCharJB一些比HSM +NNCharWord更正确的未对齐单词4.14 两种情况下HSM变体的未对齐源词的结果：英语-捷克语方向和英语-越南语方向。.....................................................................................................................................934.15 德语-英语方向和日语-英语方向的英语单词的跳跃宽度944.16 英语-德语方向的失真分布：左图上源单词的正确（TP）和不正确（FP）跳跃宽度。混乱矩阵-这些在右 边 的 图表：黑暗的细胞，最大 数量的混乱。在左侧图中，Fastline生成了大约400个长度为1的不正确跳转，其比相应的HM +NN数小得多（大约1500个跳转）。 在右图中，Fastline混淆了长度为0和1与较长的跳跃。HSM +NN：它生成的短跳数为1（约1500跳），以及空对齐数为1（约600链接），如可以在左侧的图形中看到。在右图中，最长的跳跃与最短的跳跃混淆。此外，引用中的一些短跳在预测中变为空令牌的跳。在左图中，对于长度为1的跳跃，它生成的错误跳跃比HM +NN少（大约600次错误跳跃），正确跳跃比Fastline多。 我们可以看到这不仅仅是短期的引用中的跳转在预测中变为跳转到空令牌..................................................................95图列表131111114.17 我们的神经模型结果：英语-罗马尼亚语（两种方向）4.18 我们基于注意力的模型的结果：英语-德语（两个方向）4.19 一个罕见的罗马尼亚语单词"sireturi"的对齐链接示例 后对角线散列、对角线散列和交叉对角线散列表示IBM-1 Giza++和IBM-1+NN的参考对齐链路、预测对齐链路和正确预测对齐链路。 我们看到这个罗马尼亚语单词被IBM-1 Giza++调整为常见的英语单词，如"must"、"generate"、"such"、"low"、"-"和"down"。使用IBM-1+NN时，"sireturi"未对齐仅适用于99年的"女士"4.20 英语-罗马尼亚语方向的PoS结果：与内容/功能源词对齐的目标词的数量（左图）。数量与内容/功能目标词对齐的源词（右图）。1004.21 我们的神经模型结果：英语-德语的1024.22 德语罕见单词"hochgelegen"的例子：肯定的链接是"hochgelegen"-"高"和"hochgelegen"-"向上"，可能的链接是"hochgelegen"-"非常"。反向对角线散列、对角线散列和交叉对角线散列表示引用对齐链接、预测对齐链接和正确预测对齐链接。............................................................................................................................... 1034.23 德 语 单 词 "auseinandersetzen" 的 例 子 ： 我 们 看 到 了 一 个 神 经 模 型（HMM+NNCharJB）如何纠正离散HMM Giza++模型的对齐错误，以及一个大型训练语料库如何帮助纠正未对齐的单词。 此词出现我们的默认训练语料库中有453次请注意，后对角线散列、对角散列和交叉对角线散列表示参考对齐链路、预测的对准链路和正确预测的对准链路1055.1生成式故事：目标句子eI是以序列为随机嵌入和I。 生成源句子fJ潜在需求1 1 1与J111对齐5.2我们的对齐模型涉及两个解码器，一个用于源，一个用于目标（在每个方向上）。 我们可以同时在两个方向上训练对准模型，确保它们分别使用相同的解码器和I1135.3两个不对称模型的插图：我们强制执行J和J之间的协议第113章5.4通过重建进行单语数据培训组件1145.5一个完全生成模型的体系结构：一个生成潜在方差的编码器表yI来自eI，并且两个解码器分别重构eI和fJ，01 1 1对齐模型的帮助.............................................................................................................. 1155.6[Lample等人，[2017]：（步骤1）Ran-大范围删除输入词，概率p wd= 0。1、（步骤2）稍微洗牌句子，其中洗牌前后位置之间的差异每个单词都小于41165.7可视化ELBO的三个术语。 重量重建成本、对准成本和KL发散度设置为α、β、γ分别为1175.8我们的变分模型的结果：英法方向的不对齐词1195.9英语-法语方向的模板：左侧图形上源单词的正确（TP）和不正确（FP）跳转宽度。................................................................................................................................... 1235.10 我们的变分模型的结果：英语-捷克语124的对齐类型5.11 我们的变分模型的结果：英语-日语124的对齐类型B14图列表6.1不同词汇量（2K、16K和16K）的48K1286.2基于BPE的英德快速对齐：对齐误差率（AER）、F评分（F1）、准确度（PLE）和回忆（REC）作为长度差异的函数。 为了计算长度差，我们减去了一个基于单词的句子。基于BPE的句子长度。.................................................................................................. 1296.3英语-日语方向：AER评分作为句子长度差异的函数。X轴显示句子长度差异。y轴表示AER。通过减去目标的长度来计算差值。从源句子的长度开始。..................................................................................................1306.4基于BPE的英语-法语快速对齐：对于每对（源和目标的词汇量），我们显示对齐误差率（AER）、F分数（F1）、previous-然后是回忆（REC）。..........................................................................................1316.5基于BPE的英语-法语方向快速对齐：对于每个源词汇量大小，我们显示对齐误差率（AER）、F分数（F1）、精度（PLE）和回忆（REC）作为目标词汇量的函数.................................................................... 1326.6基于BPE的英语-罗马尼亚语Fastalign：对于每对（源和目标的词汇量），我们显示对齐误差率（AER）、F分数（F1）、准确度（ERE）和召回（REC）。............................................................................. 1336.7基于BPE的英语-罗马尼亚语Fastline：我们观察对齐类型。对于每个源代码词汇量大小，我们将链接数显示为目标词汇量。 y轴对应于链接数（×1000）。 1346.8基于BPE的日语-英语方向的Fastalign：对于每个对（源和目标的vocab-ulary大小），我们显示对齐误差率（AER），F分数（F1）、精密度（ERE）和回忆（REC）。............................................................ 1356.9基于BPE的英语-越南语方向的Fastalign：对于每对（源和目标的vo-cabulary大小），我们显示对齐误差率（AER），F评分（F1）、准确度（PLE）和回忆（REC）。..................................................1356.10 英语-罗马尼亚语方向：对于每对（源和目标的词汇量），我们显示对准误差率（AER）、F分数（F1）、精度（PLE）快速对齐和Eflomal的召回（REC）1366.11 英语-越南语方向：每对（来源的词汇量和我们显示对准误差率（AER）、F得分（F1）、精度（PLE）快速对齐和Eflomal的召回（REC）1366.12 基于BPE的英语-日语快速对齐：我们观察正确和不正确的对齐链接。..1376.13 基于BPE的Fastline：管理层的不一致词汇英语-日语1376.14 基于BPE的Fastline，带/不带BPE，用于高级管理层对于每个对（源和目标的词汇量），我们显示对齐错误率（AER）、F评分（F1）、准确度（PLE）和召回率（REC）。......1386.15 基于BPE的英德方向快速对齐：我们观察对齐类型。对于每个源词汇表大小，我们将链接数显示为目标词汇表大小的函数。y轴对应于链接（×1000）。............................................................................................................. 1396.16 基于BPE的捷克语-英语方向快速对齐：在前四个图表中，我们观察罕见源代码单词的得分。对于每个源词汇量大小，我们报告准确度（ACC）、F评分（F1）、准确度（PLE）和回忆度（REC）作为目标词汇量大小的函数。 底部图显示数字罕见源代码单词的正确链接........................................................................................... 1406.17 基于BPE的Fastline：我们在英语-德语和德语-英语两个方向上观察罕见德语单词的得分。对于每个源词汇量，我们显示准确度（ACC）、F评分（F1）、准确度（PLE）和回忆（REC）作为目标词汇量的函数。.............................................................................141图列表156.18 英语-德语方向：基于BPE的片段的平均数量，作为单词出现的函数。.........
我的内容管理
展开
