+v：mala2277获取更多论文→→→子词对齐仍然有用：一种增强低资源机器翻译Minhan Xu，Yu Hong苏州大学计算机科学与技术学院网址：cosmosbreak5712@gmail.com，tianxianer@gmail.com摘要我们利用对齐子词之间的嵌入重复来扩展父子迁移学习方法，从而改进低资源机器翻译。我们在My En、Id En和Tr En翻译场景的基准数据集上进行了实验。测试结果表明，我们的方法产生了实质性的改善，实 现 了 BLEU 分 数 分 别 为 22.5 ， 28.0 和18.1。此外，该方法计算效率高，训练时间消耗减少了63.8%，在Tesla 16GB P100 GPU上训练时为1.6小时实验中的所有模型和源代码都将公开，以支持可重复的研究。1介绍低资源机器翻译（MT）由于缺乏并行数据，在某些情况下，缺乏双语词典（Zoph et al. ，2016;MiceliBarone，2016;KoehnandKnowles，2017; Zhang et al. ，2017年）。基于不同的优势，无监督，多语言和迁移学习在低资源MT任务中已被证明是有效的（第2节）。在本文中，我们遵循Aji等人。 （2020）的工作，利用跨语言迁移学习，其中“亲子”迁移框架是由Zoph等人（2016）首次提出的。在父子场景中，使用相同的神经网络结构连续形成父MT模型和子MT模型为了从头开始达到足够的预热效果，父代在高资源语言对上进行此外，子节点继承父节点内部参数和嵌入层），并且它通过在低资源语言对上的微调而得到提升 一个独特的贡献在Aji等人。 （2020）*通讯作者。本文旨在论证不同语言中形态相同的子词之间进行嵌入式重叠迁移时的显著效果我们试图通过在对齐的多语言子词中额外复制嵌入信息来扩展Aji et al.（2020）的工作。这是基于这样的假设：如果形态相同的子词之间的重复有助于跨语言迁移，那么任何其他类型的等价物之间的重复也是以同样的方式有益的，例如对齐子词的重复，其中大多数可能是形态上不相似但语义上相似（甚至完全相同）的。在我们的实验中，父MT模型和子MT模型都是 用 基 于 transformer 的 （ Vaswani et al. ，2017）编码器-解码器架构（第3.1节）。我们使 用 SentencePiece （ Kudo 和 Richardson ，2018）中的unigram模型进行去词化，并使用eflomal进行子词对齐（第3.2节）。在此基础上，我们开发了一种规范化的元素嵌入聚合方法，以解决对齐子词的多对一嵌入重复（第3.3节）。实验表明，该方法在不使用数据扩充的情况下，取得了显著的效果2相关工作以往的研究大多数可以分为三个方面的学习策略，包括无监督，多语言和迁移学习。• 无监督机器翻译只进行单语语言模型的翻译 （ Lample et al. ， 2018 a; Artetxe etal. ，2017年）。已经成功探索的巧妙方法是使用可共享的arXiv：2205.04067v1[cs.CL] 2022年5月+v：mala2277获取更多论文→∩→→−→→表示空间（Lample et al. ，2018 b），也称为语际（Chenget al. ，2017）或跨语言嵌入空间（Kim et al. ，2018）。为了使无监督MT系统化，大多数（尽管不是全部）技术利用双语词典归纳（Conneau etal. ，2018; Søgaardet al. ，2018）、迭代反向翻译（Sennrich et al. ，2016a; Lampleet al. ， 2018 b ） 和 去 噪 自 动 编 码（ Vincent et al. ， 2008; Kim et al. ，2018）。• 多语言机器翻译仅使用单个神经模型进行翻译，该模型的参数完全由多个语言对共享（Firat et al. ，2016; Lee等人，2017;John-son et al. ，2017; Gu et al. ，2018a，b），包括多种高资源语言对以及一种低资源语言对（目标语言是固定和确定的）。 对高资源和低资源（甚至零资源）语言对的混合训练使可共享模型能够跨语言边界进行泛化（Johnson et al. ，2017年）。这得益于从高资源语言对中吸收相对丰富的翻译经验和复杂的模式。• 可转移的机器翻译基本上类似于多语言机器翻译，而它倾向于玩前面提到的亲子游戏（Zophet al. ，2016）。已经提出了各种优化方法，包括在WordPieces令牌的嵌入上的迁移学习（Johnson et al. ，2017年），BPE子词（Nguyen和Chiang，2017年 ） 和 共 享 的 多 语 言 词 汇 （ Kocmi 和Bojar ， 2018 年 ; Gheini 和 May ， 2019年），以及基于同源父语言对的人工或自动 选 择 的 迁 移 （ Dabre 等 人 ， 2017年）。，2017; Lin et al. ，2019）。此外，Aji et al. （2020）验证了子词嵌入的各种转移策略的不同效果，例如形态相同的子词之间的转移。在本文中，我们扩展Aji等。（2020）3方法3.1初步：基本可转移NMT我 们 遵 循 Kim et al. （ 2019 ） 和 Aji et al.（ 2020 ） 构 建 具 有 12 层 变 压 器 的 神 经 MT（NMT）模型（Vaswani et al. ，2017），其中前6层用作编码器，而随后的6层用作解码器。嵌入层通常，编码器与可训练的嵌入层耦合，该嵌入层保持固定的双语词汇和可训练的子词嵌入。每个嵌入被指定为512维实值向量。亲子迁移我们遵循Zoph et al. （2016）开展亲子迁移学习。具体而言，我们采用了现成的基于Transformer的NMT1，其在高资源De En（德语英语）语言对上进行了充分的训练OPUS（Tiede-mann，2012）的公开可用数据用于训练，其包括约351.7M De En平行句子对2。我们把这个NMT模型看作是父模型。此外，我们将所有的内部参数的12层变压器从父到子。相 比 之 下 ， Parent 的 嵌 入 层 部 分 转 移 到Child，这在Aji等人（2020）假设Vh表示高资源（例如，前述的De-En）词汇表而V1是低资源，然后将形态上相同的子词V0指定为出现在Vh和V1两者中的子词（即，Vo=Vh Vl）。因此，我们将形态上相同的子词V0的嵌入从父嵌入层复制到子嵌入层此外，我们随机地初始化Child的嵌入层中的其余子词Vr的传递的内部参数和重复嵌入构成了ChildNMT模型的初始状态。在此基础上，我们在低资源语言对上微调Child，例如在我们的实验中考虑的18K My En（缅甸语英语）并行数据。3.2标记器和对齐我们通过为对齐的子词（在低资源语言和高资源语言之间）添加重复嵌入来加强亲子迁移学习1https://github.com/Helsinki-NLP/OPUS-MT-train/blob/master/models/de-en/README.md2https://opus.nlpl.eu/+v：mala2277获取更多论文→→L→LLL∀∈ΣDoc.发送.代币列车Val.测试我113K1.1M17.4MMy-En（ALT）18K1K1KID1.1M8.3M156.2MId-En（BPPT）22K1K1KTr705K5.8M128.2MTr-En（WMT17）207K3K3K表1：单语维基百科数据统计。其前提是产生词级对齐并将其等价地分配给子词。单词对齐我们使用Eflomal3来实现单词对齐。它是基于EF-MARAL（Östling et al. ，2016），其中运行Gibbs采样以用于对贝叶斯HMM模型的推断Eflomal不仅计算效率高，而且能够执行n到1比对。我们分别在低资源MyEn、Id（印度尼西亚语）En和Tr（土耳其语）En并行数据上训练Eflomal（第4节）。我们使用SentencePiece的unigram模型为每种低资源语言训练子词tokenizer，包括My，Id和Tr。标记器是在从维基百科的转储中收集的单语纯文本上训练的4工具wikiextractor5用于从半结构化数据中提取纯文本。训练数据的统计如表1所示在训练分词器时，我们统一将子词汇表的大小设置为50K。获得的每种低资源语言的词汇表用于子词对齐，朝向父NMT模型中的De-En的词汇量为58 K。子词对齐给定一对对齐的双语词，通过多对多映射，为它们的子词构建相同的对应关系。参见（1）中的De→Tr示例。(1) 单词对齐：|生产参与|哈恩斯托夫参与子字对齐：|produckParticipate {üre，tme}|Participation{üre，tme}| HarnParticipate {üre}| stoffParticipate {üre}不可避免的是，一些对齐的子词是非规范的。然而，迁移学习的积极影响可能大于消极影响。它的动机是研究结果，使用子词确保足够的重叠3https://github.com/robertostling/eflomal表2：低资源并行数据集的统计数据。在词汇表之间（Nguyen和Chiang，2017），因此能够传输大量的具体嵌入，而不是随机嵌入。3.3N对1嵌入复制假设Va表示低资源词汇表中的子词，其具有高资 源 词 汇 表 中 的 对 齐 的 子 词 ， 映 射 是 D（x），注意，xVa，D（x）是子词的集合。因此，在Child的嵌入层中，我们扩展了用于嵌入转移的子词的范围，包括相同的子词Vo和对齐的Va。为了实现转移，我们处理了n到1的嵌入重复.这是因为，在大量情况下，存在一个以上的高资源子词对应于单个低资源子词（参见（1）中的给定Va中的子词x和D（x）中的对齐子词vx，我们根据发现它们与并行数据中的x对齐的频率对vx进行排名。在此基础上，我们实现了以下两种复制方法。• Top-1我们从vx中取前1个子序xn，并执行从xn到x的逐元素嵌入复制：ni，Ei （xn）=Ei（x）（i是嵌入E（x n）的第i维）.• 我们采用vx中的所有子词，并通过归一化的元素聚合来复制它们的嵌入信息（其中，n表示vx中的子词的数量）：i，Ei（xx∈vx4实验4.1数据集和评估指标我们评估了三种源语言（My，Id和Tr）的可转移NMT模型英语被指定为目标语言。 有三个低资源并行数据集用于训练儿童NMT模型，包括亚洲语言树库（ALT）（Ding etal. ，2018年），PAN本地化BPPT 6和WMT 17新闻语料库4https://dumps.wikimedia.org5http://www.panl10n.net/english/OutputsIndonesia2.htmhttps://github.com/attardi/wikiextractor+v：mala2277获取更多论文→型号My-En Id-En Tr-En基线20.526.017.0MI-PC21.027.517.6Top-1-PC21.927.618.0平均PC22.528.018.1表3：使用SentencePiece分词器的结果。模型美恩伊代恩特尔恩基线20.224.516.5MI-PC20.424.216.8Top-1-PC21.226.916.9平均PC21.927.116.9表4：使用BPE标记器的结果。翻译任务（Bojar et al. ，2017年）。训练、验证和测试集中的统计数据如表2所示。我们使用 SacreBLEU评 估了 所 有考 虑 的NMT模 型（Post，2018）。4.2超参数我们使用现成的NMT模型作为父模型（第3.1节 ） ， 其 状 态 变 量 （ 即 ， hyperparamers 和Transformer 参 数 ） 和 嵌 入 层 。 相 反 ， 儿 童NMT模式需要从头开始监管。在训练和开发Child时，我们采用以下超参数。使用SentencePiece（Kudo和Richardson，2018）对每种源语言进行标记，词汇量为50k。使用HuggingFace Transformers库（Wolfet al. ，2020年）使用亚当优化器与0.1重量衰减率。最大句子长度设置为128，批量大小设置为64句。学习率设置为5e-5，检查点频率设置为500次更新。对于每个模型，我们选择验证集上具有最低困惑度的检查点进行测试。5结果和分析表3显示了测试结果，其中所有考虑的Parent-Child传递模型都标记有“PC”，基线是基于变换器的MI-PC是Aji et al.（2020）的研究中再现的迁移模型，其中仅使用形态相同的子词的嵌入迁移。我们报告了当MI-PC用于增强基线时的NMT，以及当我们的辅助转移2826242220181 2 3 4 5 6 7 8 9 10图1：单个对齐子词（用Single表示）和多个子词（Mean）的嵌入重复之间的比较。模型美恩伊代恩特尔恩基线1.301.274.49MI-PC1.301.353.53Top-1-PC1.111.003.07平均PC0.960.942.14表5：所有实验中不同MT模型在训练期间消耗的时间（以小时计）（0.9小时相当于54分钟）。模型（即，第3.3节中的Top-1和Mean）另外单独采用。可以观察到，与MI-PC相比，Top-1-PC和Mean-PC两者对于所有三种低资源MT场景都产生改进最显著的改进发生在My En MT上，达到1.5 BLEU。这两种模型都很好地概括了输入子词的变化。这可以在单独的实验中说明，其中BPE（Sennrich et al. ，2016 b）使用tokenizer （ 而 不 是 SentencePiece （ Kudo 和Richardson，2018）），并且所有传输模型都在新对齐的子词上运行。如表4所示，Top-1-PC和Mean-PC仍然优于MI-PC，最多产生2.9BLEU的改进（对于Id→EnMT）。由于子字对齐中不可避免的错误，利用单个对齐的子字来嵌入重复容易导致性能下降。对所有可能对齐的子词进行聚合和归一化嵌入有助于克服这个问题。图1示出了当第i个排名靠前的对齐子字专门用于传输以及使用前i个子字的聚合时获得的可以发现，后一种模型几乎总是优于前一种模型。顶部（单个）：My-En顶部（单个）：Id-En顶部（单个）：Tr-En顶部（平均值）：My-En顶部（平均值）：Id-En顶部（平均值）：Tr-EnBleu+v：mala2277获取更多论文我们比较了所有实验的训练时间消耗，结果如表5所示我们使用混合精度来训练子MT模型。所有实验都在单个NVIDIA P100 16GBGPU上进行显然，Mean-PC在训练过程中消耗的时间在Tr-En MT的情况下，训练持续时间甚至从4.49小时缩短（即，约269分钟）至2.14，与基线模型相比。最有可能的是，这是由于在训练过程中转移了换句话说，Mean-PC实际上不仅传输形态相同的子词，而且传输对齐的子词。这更有助于避免子词嵌入上的冗余学习。总而言之，Mean-PC在产生实质性改进时耗时更少。6结论我们通过复制对齐子词的嵌入来增强可转移的亲子NMT实验结果表明，所提出的方法产生了实质性的改善，所有考虑的MT场景（包括My-En，Id-En和Tr-En）。更重要的是，我们成功地缩短了培训时间。最高可提高50%左右的效率实验中的进一步调查表明，语音符号可以用于不同语系语言之间的迁移例如，汉堡包在德语 和 缅 甸 语 中 的 语 音 是 相 似 的 （ Ha`mb urgervs hambhargar）。未来，我们将研究语音相似词的双语嵌入迁移，以进一步完善低资源NMT。确认本 研 究 得 到 了 国 家 重 点 研 发 计 划（2020YFB1313601）和国家自然科学基金（62076174）的资助。引用Alham Fikri Aji ， Nikolay Bogoychev ， KennethHeafield，and Rico Sennrich. 2020. 在神经机器翻译中，迁移学习传递了什么？ 在第58届年会的会议记录中计算语言学协会，第7701-7710页，在线。计算机语言学协会。Mikel Artetxe，Gorka Labaka，Eneko Agirre，andKyunhyun Cho. 2017. 无 监 督 神 经 机 器 翻 译 。arXiv预印本arXiv：1710.11041。Ond Bagrej Bojar ， Rajen Chatterjee ， ChristianFedermann ， Yvette Graham ， Barry Haddow ，Shujian Huang，Matthias Huck，Philipp Koehn，Qun Liu，Varvara Lo- gacheva，Christof Monz，Matteo Negri，Matt Post，Raphael Rubino，LuciaSpecia，and Marco Turchi.2017. 2017年机器翻译会议（WMT17）第二届机器翻译会议集，第169计算语言学协会。Yong Cheng ， Yang Liu ， Qian Yang ， MaosongSun，and Wei Xu.2017.基于机器翻译的神经网络机器翻译的联合训练。第26届国际人工智能联合会议，第3974Alexis Conneau、Guillaume Lample、Marc'AurelioRanzato、Ludovic Denoyer和Hervé Jégou。2018.没有并行数据的单词翻译。第六届学习表征国际会议论文集。Raj Dabre ， Tetsuji Nakagawa 和 Hideto Kazawa 。2017. 神经机器翻译中迁移学习的语言相关性实证研究。第31届太平洋亚洲语言、信息和计算会议论文集，第282-286页。国立大学（菲律宾）。Chenchen Ding，Masao Utiyama，Eiichiro Sumita.2018. Nova：一个可行且灵活的联合标记和词性标注的注释系统。ACM亚洲和低资源语言信息处理汇刊，18（2）：1Orhan Firat ， Kyunhyun Cho ， and Yoon-Bengio.2016. 具有共享注意力机制的多路多语言神经机器翻译。在计算语言学协会北美分会2016年会议的开幕式上：人类语言技术，第866-875页，加利福尼亚州圣地亚哥。计算语言学协会。Mozhdeh Gheini和Jonathan May。2019.低资源神经机器翻译迁移的通用父模型arXiv预印本arXiv：1909.06516。Gu Jiatao，Hany Hassan，Jacob Devlin，and VictorO.K.李2018年a。通用神经机器翻译，适用于资源极低的语言。在计算语言学协会北美分会2018年会议论文集：人类语言技术，第1卷（长纸），第344-354页，新奥尔良，路易斯安那州。计算语言学协会.顾佳涛，王勇，陈云，Victor O. K.李和赵京铉。2018年b。低资源神经机器翻译的元学习。在2018年经验方法会议的过程中+v：mala2277获取更多论文自然语言处理，第3622-3631页，布鲁塞尔，比利时。计算语言学协会。Melvin Johnson ， Mike Schuster ， Quoc V. Le ，Maxim Krikun ，Yonghui Wu ， Zhifeng Chen ，NikhilThorat ， FernandaViégas ， MartinWattenberg， Greg Corrado，Macduff Hughes，and Jeffrey Dean.2017. 谷歌计算语言学协会学报，5：339Yunsu Kim，Yingbo Gao，and Hermann Ney. 2019.神经机器翻译模型的有效跨语言迁移，无需共享词汇。在Proceedings of the 57th Annual MeetingoftheAsso-ciationforComputationalLinguistics，pages 1246计算语言学协会Yunsu Kim，Jiahui Geng，and Hermann Ney. 2018.使用语言模型和去噪自动编码器改进无监督逐字翻译。2018年自然语言处理经验方法会议论文集，第862-868页，比利时布鲁塞尔。计算语言学协会。汤姆·科奇米和昂德·博贾尔。2018. 用于低资源神经机器翻译的简单迁移学习。第三届机器翻译会议论文集：研究论文，第244-计算语言学协会。菲利普·科恩和丽贝卡·诺尔斯2017. 神经机器翻译的 六 个 挑 战 。 在 Proceedings of the FirstWorkshop on Neural Machine Trans- lation，第28-39页，温哥华。计算语言学协会。工藤拓和约翰·理查森。2018年SentencePiece：一个简单的和语言无关的子词分词器和去分词器，用于神经文本处理。2018年自然语言处理经验方法会议论文集：系统演示，第66-71页，比利时布鲁塞尔。计算语言学协会。Guillaume Lample ， Alexis Conneau ， LudovicDenoyer，and Marc2018年a。仅使用单语语料库的无监督机器翻译第六届国际学习表征集。纪尧姆·兰普尔、梅尔·奥特、亚历克西斯·康诺、卢多维奇·德诺耶和马克·奥雷利奥·兰扎托。2018年b。基于短语的神经无监督机器翻译。2018年自然语言处理经验方法，第5039-5049页，比利时布鲁塞尔。计算语言学协会。Jason Lee，Kyunhyun Cho，and Thomas Hofmann.2017. 完全字符级神经机器翻译，无需显式分割。交易计算语言学协会，5：365-378。Yu-Hsiang Lin ，Chian-Yu Chen，Jean Lee，ZiruiLi ， Yuyan Zhang ， Mengzhou Xia ， ShrutiRijhwani，Junxian He ，Zhisong Zhang ，XuzheMa，Antonios Anastasopoulos，Patrick Littell，and Graham Neubig.2019. 为跨语言学习选择迁移语言。计算语言学协会第57届年会论文集，第3125-3135页，意大利佛罗伦萨。计算语言学协会。安东尼奥·瓦莱里奥·米切利·巴隆。2016. 走向跨语言的分布式表示，而无需使用对抗性自动编码器训练的并行文本。在第一届NLP会上，第121计算语言学协会。托恩Q Nguyen和David Chiang。2017. 跨低资源、相关语言的学习，用于神经机器翻译。第八届自然语言处理国际联合会议论文集（第二卷：短文），第296亚洲自然语言处理联合会Robert Östling，Jörg Tiedemann，et al. 2016.用马尔可夫链蒙特卡罗方法进行有效的词对齐布拉格数学语言学。马特·波斯特2018.要求明确报告蓝色分数。第三届机器翻译会议论文集：研究论文，第186- 191页。瑞可·森里奇巴里·哈多和亚历山德拉·伯奇2016年a。用单语数据改进神经机器翻译模型 。在Proceedings of the 54 th Annual Meeting of theAssociationforComputationalLinguistics（Volume 1：Long Papers），第86-96页计算语言学协会。瑞可·森里奇巴里·哈多和亚历山德拉·伯奇2016年b。以子词为单位的生僻词神经机器翻译。在Proceedings of the 54th Annual Meeting of theAssociationforComputationalLinguistics（ Volume 1 ： Long Papers ） ， pages 1715-1725，Berlin，Germany.计算语言学协会。安德斯·萨格·阿德，塞巴斯蒂安·鲁德，还有我。2018. 论 无 监 督 双 语 词 典 归 纳 的 局 限 性 。 在Proceedings of the 56th Annual Meeting of theAssociationforComputationalLinguistics（Volume 1：Long Papers），pages 778- 788，Melbourne，Australia.计算机语言学协会。约格·提德曼2012. OPUS中的并行数据、工具和接口 . 在 第 八 届 语 言 资 源 和 评 估 国 际 会 议（LREC'12）的会议记录中+v：mala2277获取更多论文土耳其.欧洲语言资源协会（ELRA）。Ashish Vaswani ， Noam Shazeer ， Niki Parmar ，Jakob Uszkoreit，Llion Jones，Aidan N Gomez，Jakukasz Kaiser，and Illia Polosukhin. 2017.注意力就是你所需要的。神经信息处理系统的进展，第5998Pascal Vincent，Hugo Larochelle，Yoonne Bengio，and Pierre-Antoine Manzagol. 2008.用去噪自动编码器提取和合成鲁棒特征。第25届机器学习集。Thomas Wolf ， Lysandre Debut ， Victor Sanh ，Julien Chaumond ， Clement Delangue ， AnthonyMoi，Pier- ric Ciudad，Tim Rault，Remi Louf，MorganFuntow-icz ， JoeDavison ， SamShleifer，Patrick von Platen，Clara Ma，YacineJernite ， Julien Plu ， Canwen Xu ， Teven LeScao ， Sylvain Gugger ， Mariama Drame ，Quentin Lhoest ， and Alexander Rush. 2020.transans-formers：最先进的自然语言处理。在2020年自然语言处理中的Em-pesticide方法会议论文集：系统演示，第38-45页，在线。计算语言学协会。张梦，杨柳，栾焕波，孙茂松。2017. 无监督双语词典归纳的对抗训练。在Proceedings of the 55thAnnualMeetingoftheAssociationforComputational Linguistics （ Volume 1 ： LongPapers ） ， pages 1959-1970 ， Vancouver ，Canada.计算语言学协会。Barret Zoph ， Deniz Yuret ， Jonathan May ， andKevin Knight. 2016. 低资源神经机器翻译的迁移学习。在2016年自然语言处理集，第1568计算语言学协会。
我的内容管理
展开
