没有合适的资源?快使用搜索试试~ 我知道了~
沙特国王大学学报ATLASlang NMT:阿拉伯语文本语言转换为阿拉伯语手语的神经机器翻译Mourad Broura,Abderrahim Benabbouba摩洛哥非斯Sidi Mohamed Ben Abdellah大学科学技术学院计算机科学系智能系统应用实验室b摩洛哥非斯Sidi Mohamed Ben Abdellah大学科学技术学院计算机科学系阿提奇莱因福奥文章历史记录:收到2019年2019年7月17日修订2019年7月18日接受在线预订2019年保留字:机器翻译系统自然语言处理,阿拉伯语阿拉伯语手语听障A B S T R A C TATLASlang是一个从阿拉伯文本语言到阿拉伯手语(ArSL)的机器翻译系统该系统的第一个版本(Brour和Benabbou,2019)基于两种方法:基于规则的国际语言和基于示例的方法。它是一个经典的机器翻译系统,它的局限性是制定规则所必需的语言学知识,同时也需要许多规则和例外。 在过去的几年里,神经机器翻译已经取得了显著的成果,包括Google在内的几家知名公司(Wu et al.,2016)和Systran(Crego等人,在本文中,我们提出了一个新版本的ATLASlang,它是使用前馈反向传播人工神经网络实现的。在这个版本中,我们已经开始翻译由有限数量的单词组成的简单句子,因为与聋人的交流通常使用短句。我们使用相同的ATLASlang MTS标志数据库,并利用形态特征从神经翻译系统的输入中的每个单词中获得最大信息。使用n-gram BLEU评分比较系统的两个版本(Papineni等人,2002),结果表明,神经元网络方法优于其他经典方法。©2019作者制作和主办:Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。1. 介绍一个人的特点是他或她的社会性:他的原始需要与他的随行人员取得联系的任何数量的原因,包括他的感情,他的愿望,他的想法,等等的表达,因此,沟通是一个非常重要的活动,为人类,甚至是更重要的个人或职业生活。因此,人类创造了几种语言,以启动人民之间的联系。这些语言以文字和语言为基础书写的、说的或其他形式的语言将信息从一个人传递给另一个人。多年来,语言问题一直是哲学、语言学、历史学甚至科学学科研究界感兴趣的一个主要问题。这些*通讯作者。电子邮件地址:mourad. usmba.ac.ma(M. Brour)。沙特国王大学负责同行审查。研究人员主要感兴趣的是寻找解决方案,在不同语言的文化和社区之间建立联系,因此,语言之间的翻译研究非常重要被称为“翻译或口译”的人必须掌握两种或两种以上的语言,以便将表达从源语言重新表达为目标语言,通常执行翻译工作。口译员的工作是一项相当复杂的任务,因为它不仅需要对目标语和源语都有很好的了解,而且除了翻译的客观性之外,还需要对这两种语言所对应的文化有很好的了解。尽管人工翻译有许多优点,如翻译的适应性和质量及其有效性,但人工翻译是一种昂贵的解决方案。这就是为什么科学家们一直对开发我们所说的机器翻译系统感兴趣。机器翻译系统非常有用,因为它们使人与人之间的交流变得更加容易。今天,人们在几个领域使用它们:旅行,专业设置,阅读以其他语言编写的文章和书籍等。机器翻译系统具有可访问,快速,廉价和用户友好的巨大优势。除了这些优点之外,他们提供了大量的语言选择。https://doi.org/10.1016/j.jksuci.2019.07.0061319-1578/©2019作者。制作和主办:Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。制作和主办:Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页:www.sciencedirect.com1122M. Brour,A.Benabbou/沙特国王大学学报尽管有这些优点,机器翻译系统的主要缺点是它们不理解翻译的上下文和消息的语义。在不了解上下文和要传递的信息内容的情况这就是为什么迄今为止最有效的翻译是计算机辅助翻译。它允许人类从机器翻译的优势中受益,同时允许用户分析所获得的结果并纠正计算机翻译的缺陷所有实现的机器翻译系统都是为了解决使用口头或书面语言的人之间的交流问题。除此之外,这种口头语言并不是人际交流的唯一手段。事实上,婴儿的哭声是一种表达不满的方式(需要食物或安慰等)。非语言(手势和姿势)也是如此,它们是人与人之间交流的重要组成部分没有听力障碍的人可以使用所有这些方法。已经提出了几种解决方案来帮助有听力障碍的人,例如使用助听器或其他辅助设备。另一种解决办法是使用手语,这使他们能够在不使用语言的情况下与周围环境交流。手语是手势语言(通过手、脸和身体作为一个整体的运动产生)。它们几乎完成了普通语言的所有功能无法沟通会对日常生活产生重大影响,并导致孤独、孤立和挫折感这对一个社会的社会经济发展是非常危险的,因为听力受损者缺乏教育,表现为生产力的丧失和孤立。这就是为什么手段的发展--例如手语的机器翻译系统--对社会的发展非常重要它通过改善听力障碍者的个人生活和职业生活,帮助他们融入社会正是从这一角度出发,我们在本文中提出的工作我们的目标是开发一个从阿拉伯语到阿拉伯手语的机器翻译系统。通过这种方式,我们建议解决整个阿拉伯世界聋人及其随从之间的沟通问题,并促进他们融入社会。在本文中,我们将概述几种模型,可用于开发这样的机器翻译系统。到目前为止,最常用的机器翻译模型是统计翻译。该模型基于使用大型并行语料库,将其划分为分配概率得分的翻译单元。当统计机器翻译系统分析要翻译的句子时,它还将句子分割成与语料库进行比较的不同单元,以便产生具有最大概率得分的翻译。神经机器翻译(NMT)是 由 ( Kalchbrenner 和 Blunsom , 2013 ) 、 ( Sutskever 等 人 ,2014)和(Cho等人,2014)并被Google使用(Wu等人, 2016)和Systran(Crego等人,2016年,在其系统中。它包括使用神经网络将文本或语音从一种自然语言翻译成另一种自然语言。NMT的优势在于通过示例学习的能力,模仿人类大脑的工作方式。虽然它也基于语料库,但它对翻译孤立的片段不感兴趣。相反,它会完整地翻译句子,并通过创建随时间推移而加强的神经通路来改善这一过程。根据由Mistry等人进行的NMT研究,NMT的目标是使用一系列模型将源句子翻译成目标句子。输入中的句子基于单词嵌入方法(编码器模型)编码为固定长度的表示向量。根据该向量,人工神经网络(ANN)模型在训练该神经元之后通过产生与目标句子相对应的向量来网络模型(ANN模型)。然后,解码器从该向量生成目标语言的翻译句子(解码器模型)。本文的结构安排如下:第二节回顾了现有的系统。第3介绍了神经机器翻译模型。第4节介绍了编码器-解码器模型。第5节总结了单词表示方法,在第6节中,我们给出了一个概述所开发的系统。第7节给出了实验结果;最后,最后一节提供了我们的结论。结论和未来工作的可能性。2. 相关作品近年来,开发神经翻译系统的几个研究项目已经开发出来。Mishra 使 用 前 馈 反 向 传 播 神 经 网 络 ( Shahnawaz 和 Mishra ,2012)实现了一个新的神经机器翻译系统,从英语到神经网络在多个级别上使用根据源句的语法结构和一些实施规则选择目标语的语法结构实现一个双语词典,包含英语和印地语的单词及其特征。该系统的评价有三种方法。用n-gram bleu方法获得的评分为0.604,METEOR方法为0.830,F评分为0.816。Mishra还开发了另一种神经机器翻译系统,将英语句子翻译成阿拉伯语句子(Mishra和Marwan,2014),在这种情况下,假设句子必须结构良好在这个系统中,作者结合了该系统还使用BLEU,METEOR 和 F- 测量方法进行 评估该系统的 n-gram bleu 评分为0.6029,METEOR评分为0.8221,F-测量为本文的作者(Costa-jussa等人,2018年)提出了一种新的神经机器翻译系统,用于在同一语言的标准国家品种之间进行翻译。该系统使用递归神经网络实现,并在一对巴西-欧洲葡萄牙语句子的数据库上进行训练。该系统的评价是通过使用BLEU评分方法。在从欧洲到巴西葡萄牙语的翻译中,性能提高了0.9 BLEU点,在相反方向翻译时提高了0.2BLEU点。我们刚才介绍的系统已经将神经网络应用于其他语言。Almahairi给出了在阿拉伯语上实现神经网络的第一个结果(Almahairi等人,2016);该系统将阿拉伯语文本翻译为一个是英文文本,另一个是英文文本,这是一个双向系统。为了将阿拉伯语翻译成英语,它需要进行预处理,包括形态感知的分词和正字法规范化。对于这个系统,我们将提出我们的结果,应用神经网络在翻译文本从阿拉伯语到阿拉伯符号语言。我们在ATLASlang MTS中介绍了阿拉伯语手语,其特点和语法(Brour和Benabbou,2019)。3. 神经网络模型人工智能(AI)是计算机科学的一个分支,它被开发用来使用神经网络模拟人脑AI具有学习能力●●M. Brour,A.Benabbou/沙特国王大学学报1123并基于该学习的知识进行预测(Abiodun等人,2018年)。与传统方法相比,神经机器翻译(NMT)方法基于神经网络将文本从一种自然语言转换为另一种自然语言。这种方法效果很好,引起了许多研究人员的注意。神经机器翻译背后的基本思想是将一系列可变长度的单词编码成一个固定长度的向量,该向量可以概括整个句子。神经元网络将这个编码的向量转换为另一个必须用目标语言解码的向量,以获得源句子的翻译。为了实现这个目标,可以利用几种模型:递归神经网络,前馈神经网络,反向传播。3.1. 递归神经网络递归神经网络(RNN)是一种需要处理序列数据的模型。因为它有 一 个 内 部 存 储 器 , 它 是 第 一 个 记 住 这 些 输 入 的 算 法 之 一(Morchid,2017)。这是近年来深度学习取得的惊人成就之一RNN被认为是最强大和最强大的神经网络类型,因为它们是唯一具有内部记忆的神经网络在RNN中,信息在循环中流动,因此如果它做出决定,除了从先前接收的条目中学习到的内容之外,它还会考虑3.2. 前馈神经网络RNN网络和前馈神经网络是根据它们如何处理信息而命名的。信息只在一个方向上移动:从输入层到输出层,通过隐藏层,所以信息不会两次接触同一个节点。由于前馈网络对之前接收到的输入没有记忆,它们在预测接下来会发生什么方面很差他们根本无法记住过去发生的事情(训练数据除外)。这个问题可以通过使用反向传播技术来解决在神经网络中,执行前向传播以获得输出结果,该输出结果必须被验证是否正确,以便推断误差。之后,应用反向传播,其包括从最后一层到第一层遍历网络,以搜索误差相对于权重的偏导数。这使得可以从权重中减去该这些导数然后被decent gradient使用,decent gradient是一种用于迭代最小化给定函数的算法。然后,根据减小误差的方法,向上或向下调整权重。这就是神经元网络在训练过程中的学习方式。因此,反向传播包括在训练阶段修改模型4. 编码器-解码器型号编码器-解码器有两种模型第一个是基本的编码器-解码器;这个模型是一个循环神经网络,当它遇到句子中的一个新词时会更新它的状态。最后一个状态称为上下文向量,它概括了整个句子。该模型旨在预测接下来的单词,同时考虑所有前面的单词。当它到达句子的结尾时,它会根据之前所有的单词预测来预测句子的翻译。输入/输出句子连接起来形成这个模型。对于解码,我们引入输入句子,然后查看模型的预测,直到它准确预测。这种类型的模型需要两种翻译语言的大量句子语料库;阿拉伯手语没有这种语料库。因此,我们试图建立自己的模式,在第6节中介绍。5. 字表示一般来说,文本数据集有两种类型的变量:定量变量和定性变量。定量变量是接受数值、连续值或离散值的变量。例如,学生人数,雇员,汽车的速度都是定量变量。神经网络对这些变量的处理很简单;它们可以直接使用,而不需要任何转换到特定的表示。一个定性的变量采取的价值观称为“类别”,没有定量的意义。例如,个体的性别是具有两种模态的分类变量:阳性和阴性。数据中这些变量的存在通常使学习复杂化。事实上,大多数机器学习算法都将数值作为输入。因此,我们需要找到一种方法,将定性变量的模态转化为数值。5.1. 独热编码独热编码是将分类变量转换为数值变量的最常用方法。它的受欢迎程度主要在于易于应用。此外,对于许多问题,它给出了良好的结果。它的原理如下:考虑一个允许N个模态m1,m2..的随机变量C。MN.独热编码包括创建大小为N的向量,该向量在每个位置处具有0并且在对应于模态mi的位置i处具有1。我们用N个数值变量代替分类变量。以包含分类变量“性别”的数据集为例,该变量有两种形式:男性和女性。男性数据的独热表示是(1,0),而另一个数据“女性”的独热当模态的数量高时,创建的新变量的数量也高。因此,我们最终得到了一个更大的数据集,它占用了更多的内存空间,并且通过学习算法对其进行处理变得更加困难。 这个问题可以通过使用Word嵌入来解决(Soliman等人,2017年)。5.2. 单词嵌入单词嵌入的目的是给词汇表中的每个单词一个由浮点值组成的向量表示。出现在相似上下文中的词具有相对接近的对应向量。这有助于单词的语义分析。例如,单词“car”和“bus”可以被期望由定义这些向量的向量空间中的相对较小的向量表示。有几种学习单词嵌入的技术。最著名的是由Tomas Mikolov开发的Word2Vec(Mikolov等人,2013年)的报告。这种技术的主要思想是,它试图从上下文预测一个词,反之亦然。word2vec算法有两种变体。连续词袋模型试图从相邻词预测词。例如,该模型将试图预测句子“cats..”中的“catch”一词。老鼠。”跳克模型寻求1124M. Brour,A.Benabbou/沙特国王大学学报×从中心词的上下文预测词(例如,从词“catch”预测两个词6. ATLASlang NMT架构概述在 我 们 的 系 统 的 预 览 版 中 , 我 们 基 于 Vauquois 模 型(Vauquois,1976)的基于规则的方法。它包括三个步骤:分析、转换和生成。这些步骤是使用几个语言规则来实现的在这个版本中,我们决定保留相同的模型,更改生成步骤中使用的技术。代替规则,我们使用了一个神经网络和我们适当的编码器-解码器模型,如图所示。1 .一、第一步是形态句法分析,即赋予句子中的每个词形态特征。由于神经网络只接受数字作为输入数据,因此第二步允许用每个单词的形态学属性对句子进行编码,并提供表示要翻译的句子的上下文向量。使用前馈神经网络从上下文向量并基于所执行的学习的所产生的对象来生成目标向量,该前馈神经网络具有反向传播。下一步是解码的矢量produced在一个句子中的阿拉伯手语,这只需要一个动画使用的数据库的迹象,我们已经建立。在下面,我们将详细描述每个步骤6.1. 形态句法分析在该步骤中,使用Alkhalil sys的改进版本(Brour和Benabbou,2017)(Boudlal等人, 2010)提取形态特征句子中的每个单词。这些特征在宾语中体现为词,宾语由词、词干、词根、格式、类型、性、数、前缀和后缀构成。如果我们以这句话为例,那就是:mosaada,我们需要帮助),这一步的结果如图所示。 二、在该步骤中,我们生成表示源句子S的对象Oi的集合:S = O1 + O2+. . +ON 其 中 Oi = ( word , root , pat-tern , type , gender ,number,prefix,suffix).例如,单词“Nahtajo”(我们需要)由对象O1=表示。A Nul)。,:Nul,Nul,.你知道的,你知道的,你知道的。ﻓﻌﻞﻣﻀﺎﺭﻉ(如果在分析的结果中没有识别出,则形态句法属性取值“Nul”,在上面的例子中,单词“Nul”没有后缀,因此对应于该单词的对象的属性将是无价值的(图11)。 3)。6.2. 编码器编码器步骤旨在将来自先前步骤的所生成的对象变换成上下文向量Vc(图1)。 4);每个对象将由以下表示:VO[353] =(Prefix [80],Pattern[20],NameType[110],pronoun [30],Particle[15],VerbTense[3],Gender[2],Number[3],Suffix[90]).一个对象的向量所占的最大长度是353;它是向量分量长度的总和组件的长度表示等效数据库的大小,例如,数据集中前缀的数量最我们假设一个短句最多可以由四个词组成,所以上下文向量的极限大小是1412(353 4):VC =(VO1,VO2,VO3,VO4)。为了对每个对象组件进行编码,我们遵循两种方法。对于模式组件,它是基于Fig. 1. ATLASlang NMT架构。M. Brour,A.Benabbou/沙特国王大学学报1125100图二. 形态句法分析的例子。图三. morpho-syntax object的例子。见图4。 生成上下文向量的示例。在字母表数据库中的字母的位置上,如表1和下面的公式(1和2)所示。附件l字母表位置字母表1EncPatternfEncPj1≤i≤sizePatterng2第一个公式将模式的字母Pi转换为浮点值,第二个公式将模式转换为一系列浮点值。结果是一个向量,它表示Word. 例如,单词(Nahtajo,我们需要)的模式是(Nafaalo),所以这个模式的编码是:Encp(环境保护署) =0:11;0:17;0:07;0:21;0:03;0:01;0:09;0:19;0:0;pl我0: 0; 0: 0; 0: 0; 0: 0; 0: 0; 0:01126M. Brour,A.Benabbou/沙特国王大学学报ðÞ表1字母编码/解码。表3数据集的例子性别数量动词时态(male)男的女的单数)男的女的(past)男的女的(女)决斗(决斗)决斗(决斗)ﺟﻤﻊ(plural)ﺃﻣﺮ(order)表4在编码之前训练数据集。源语句目标语句ﺃْ◌َ◌ﻋَ◌ﻄْ◌ﻴُ◌ﺖﺃِ◌َ◌ﺑﻲَ◌ﻫِ◌ﺪٰ◌ﻳﺔَ◌ﺳﻨٰ◌َ◌ﺘِ◌ﺼُ◌ﻞِ◌ﺑِ◌ﻚَ◌ﻣﺘَ◌ﻰَ◌ﻗﺎَ◌ﺑﻠْ◌َ◌ﺘُ◌ﻪﺃَ◌ٰ◌ﻭَ◌ﻝَ◌ﻣٰ◌ﺮٍ◌ﺓ؟َ◌ﻫْ◌ﻞَ◌ﺳﺘُ◌َ◌ﻜﻮُ◌ﻥِ◌ﻓﻲﺍﻟَ◌ْ◌ﻤْ◌ﻨِ◌ﺰِ◌ﻝ؟َ◌ﻛْ◌ﻴَ◌ﻒِ◌ﻧْ◌ﻤِ◌ﺖﺍﻟٰ◌ﻠْ◌ﻴﻠَ◌َ◌ﺔﺍﻟَ◌ْ◌ﻤﺎِ◌ﺿَ◌ﻴَ◌ﺔ؟َ◌ﻛْ◌ﻢِ◌ﻣﻦﺍﻟَ◌ْ◌ﻮْ◌ﻗِ◌ﺖﺍْ◌ﻧﺘﻈﺮﺗِ◌ﻨﻲ؟َ◌ﻳْ◌ﺴﺘْ◌َ◌ﻴِ◌ﻘُ◌ﻆَ◌ﺟﺪﻱَ◌ﺑﺎِ◌ﻛً◌ﺮﺍﺃﻧﺎﺃﻋﻄﻰﺃﺏﺃﻧﺎﻫﺪﻳﺔﺍﻧﺘﻬﻰﻧﺤﻦﺍﺗﺼﻞﺃﻧﺖﻗﺮﻳﺒﺎ؟ﻫﻮﺃﻧﺜﻰﻗﺎﺑﻞﻫﻮﺃﻭﻝﻣﺮﺓﺍﻧﺘﻬﻰﻣﺘﻰ؟ﺃﻧﺖﻛﺎﻥﻣﻨﺰﻝﻗﺮﻳﺒﺎﻫﻞ؟ﺃﻧﺖﺃﻧﺜﻰﻧﺎﻡﻟﻴﻠﺔﻣﺎﺿﻴﺔﺍﻧﺘﻬﻰﻛﻴﻒ؟ﻭﻗﺖﺃﻧﺖﺍﻧﺘﻈﺮﺃﻧﺎﻛﻢﺍﺳﺘﻴﻘﻆﺟﺪﺃﻧﺎﺑﺎﻛﺮﺍﺍﺳﺘﻤﺮﺍﺭٍ◌模式的最大长度是15,当它的长度小于这个值时,它的编码向量将由零(0.0,0.0,. . ,0.0)。如前所述,提供给神经网络的信息是模式(Nafaalo),而不是单词(Nahtajo,我们需要)。一方面,它允许优化训练数据的数量并且另一方面对于具有已经由神经网络学习的模式的每个单词或句子具有好的例如,下面的单词,我们可以在一些句子中找到翻译:在表2中,我们给出了一些单词的编码及其模式。正如你所看到的,每个单词都有自己的编码,但是对于具有相同模式的单词,它们具有相同的编码模式。因此,如果我们使用一个模式(对于例如,动词的句型是动词的形式,我们将得到所有单词的正确结果(动词的形式是动词的形式)。 . . .) 有这个模式(模式)。在这种情况下,我们只需要用优化数据(一个模式而不是3个单词)。然而,如果神经网络是使用像“”这样的词来训练的,最后,句子的上下文向量将看起来像这样:Vc =(0,1,0,0,0,0,1,0,0,0,0,0.11,0.17,0.07,0.21,0.03,0.01,0.09,0.19,0.0,0,0,0,1... . ,0,0,0,0,0)6.3. 前馈反向传播神经网络这一步被认为是我们系统的核心 我们已经建立了一个前馈反向传播神经网络模型,有四层:输入层,两个隐藏层,最后是输出层,我们选择了这个层数,因为它在几次实验后给出了最好的结果。在输入层和隐藏层上使用的激活函数是在输出层,我们使用了输入层和隐藏层有1412个神经元,输出层有692个神经元。该模型使用随机优化的ADAM算法(Kingma和Ba,2015)进行编译利用交叉熵函数计算误差。在此基础上,我们使用大约9715个阿拉伯语-ArSL句子示例的输入输出对的数据集进行了训练,并遵循以下过程(图10)。 1)、提取所有源句的形态句法特征(表4),翻译一个包含另一个单词的句子,比如说相同的图案()将不正确。另一方面,我们使用一种热方法来编码其他成分,因为它们都是预定义为数据集中列表的独热是0| 1二进制表示。例如,单词Nahtajo(我们需要Nahtajo)是现在时的动词()。在这方面,时态的数据集被定义为(,,),如表3所示。 动词时态成分的编码是:EncC()=0; 1; 0。值1被赋予数据集中组件的相应值。编码具有形态句法特征的源句子和目标句子(表4)以生成训练数据集,我们用构建的数据集训练这个神经元网络模型,● 保存从该模型获得的权重。所有的语料库在这项工作中使用的存储为文本文件与两列。训练在GPU上以40个随机选择的训练对为一批进行,直到训练损失开始增加。表2编码字/模式的示例词图案字的编码模式编码َ◌ﺧَ◌ﺮَ◌ﺝَ◌ﻓَ◌ﻌَ◌ﻞ0.07,0.17,0.10,0.17,0.05,0.17,0.00,0.00,0.00,0.000.07,0.17,0.05,0.17,0.09,0.17,0.00,0.00,0.00,0.00َ◌ﺩَ◌ﺧَ◌ﻞَ◌ﻓَ◌ﻌَ◌ﻞ0.08,0.17,0.07,0.17,0.23,0.17,0.00,0.00,0.00,0.000.07,0.17,0.05,0.17,0.09,0.17,0.00,0.00,0.00,0.00ﺃْ◌َ◌ﺭَ◌ﻓُ◌ﻊﺃْ◌َ◌ﻓَ◌ﻌُ◌ﻞ0.01,0.17,0.10,0.21,0.20,0.17,0.18,0.19,0.00,0.000.01,0.17,0.07,0.21,0.05,0.17,0.09,0.19,0.00,0.00ﺃْ◌َ◌ﻧَ◌ﺼُ◌ﺢﺃْ◌َ◌ﻓَ◌ﻌُ◌ﻞ0.01,0.17,0.25,0.21,0.14,0.17,0.06,0.19,0.00,0.000.01,0.17,0.07,0.21,0.05,0.17,0.09,0.19,0.00,0.00َ◌ﻣْ◌ﺪَ◌ﺭَ◌ﺳٌ◌ﺔَ◌ﻣْ◌ﻔَ◌ﻌﻠٌ◌َ◌ﺔ0.24,0.17,0.08,0.21,0.10,0.17,0.12,0.17,0.15,0.220.10,0.17,0.07,0.21,0.05,0.17,0.09,0.17,0.15,0.22َ◌ﻣْ◌ﻜﺘَ◌َ◌ﺒٌ◌ﺔَ◌ﻣْ◌ﻔَ◌ﻌﻠٌ◌َ◌ﺔ0.24,0.17,0.22,0.21,0.03,0.17,0.02,0.17,0.15,0.220.10,0.17,0.07,0.21,0.05,0.17,0.09,0.17,0.15,0.22●●●Alphabet位置字母编码ﺍ10,1ﺏ20,2ﺕ30,3ﺱ40,4ﻉ50,5ﺀ60,6ﻑ70,7ﻙ80,8ﻝ90,9ﻡ100,10ﻥ110,11ﻩ120,12ﻭ130,13ﻱ140,14ﺓ150,15ﻯ160,16َ◌170,17ً◌180,18ُ◌190,19200,20ْ◌ِ◌21220,210,22ٌ◌ّ◌23240,230,24M. Brour,A.Benabbou/沙特国王大学学报1127图五. 前馈反向传播模型这个神经网络(Fig. 5)根据训练好的模型权值生成一个二进制向量,这个向量需要解码产生一个目标句子。表5ArSL的数据集紧张的性别(finish)女(女)(continue)(soon)ﺃﻣﺮ(order)6.4. 解码器2号地段)(一个地段由于生成的向量是二进制的,因此前一步中实现的模型返回表示要解码的翻译句子的向量。该矢量Vg的结构如下:VG1;VG 2; VG 3;VG 4和VGi½173]四分之一询问-Tool½1];代词n½30];模式n½20];name<$80];number<$2];particle<$5];gender<$1];pronoun <$30];tense<$4]生成的向量的最大长度是173;它是向量的分量长度之和。组件这同样适用于生成的向量的其他对象(时态、性别、数字等)。如表5所示。一个孤立的阿拉伯语单词可以产生一个阿拉伯语手语中的五个单词的句子;因此,编码对象可以生成五个对象的向量。例如,这个词(asatadribonaha,你要打她吗?)被翻译成中文是什么意思呢?安东达拉巴希亚卡里班?,你很快就会打她)。根据表6中描述的算法来完成对该示例的所生成的矢量进行解码的过程。这句话的翻译是(asatadribonaha,你要打她吗?)是什么意思?Antom Faala hia kariban?,你很快就会打她)。在形态-句法分析步骤中,用词干“”替换格式“”。因此,我们认为,训练在GPU上以40个随机选择的训练对为一批进行,直到训练损失开始增加。该神经网络根据训练好的模型权值生成一个二进制向量,这个向量需要解码产生一个目标句子。6.5. 动画在这个阶段,我们已经生成了一个具有阿拉伯手语语法结构的句子。现在我们只需要动画它,在ATLASlang MTS中,我们使用了一个包含200个GIF格式的摩洛哥标志* 的数据库,我们构建了动画翻译句子。我们的目标是在这一步中使用3D化身,为此,我们开始将汉堡符号系统HamNoSys用于手语(Hanke,2004)集成到ATLASlang NMT中。HamNoSys是一个基于语音的符号系统,由汉堡大学的一组研究人员开发。起初,这个系统是手写的。在将HamNoSys符号(图6)转换为Unicode并在汉堡大学安装机器可读Unicode之后,使用3D化身显示标志成为可能(Hanke,2004)。HamNoSys可以制作所有手语中使用的所有符号,包括手动和非手动符号。HamNoSys的XML编码称为签名手势标记语言(SiGML),为ViSiCast项目开发(Schulmeister,2001)也可用(Kaur和Kumar,2016)。通过将HamNoSys符号转换为这种SIGML形式,我们可以使用3D渲染软件(如JASigning API(Ebling和Glauert,2013))显示我们想要的所有标志我们得到了一个新的结果。安东达拉巴希亚卡里班?,你打她很快)。但是,如果你想让我知道你是谁,我会告诉你的。1128M. Brour,A.Benabbou/沙特国王大学学报Pvpiln1nn表6解码步骤。源语句目标语句对于每个生成的子向量VGi:BLEU是一种基于n-gram模型将文本的候选翻译与人类参考翻译进行比较的度量将候选翻译的每个n元模型与人类参考翻译中的n元进行比较,其中n表示1. 如果interrogation-Tool [1]取值2. 如果代词[30]包含值3. 如果模式[20]包含0到1. ST =2. ST=3. S=''" 你是谁?““ 你是谁?”从参考文本和候选文本中选择的词的数量,1-gram是一个词匹配,2-gram是词对匹配,等等。为了计算BLEU分数,首先我们需要使用以下公式计算简洁性惩罚BP和修改的精度pn不1,然后我们根据以下公式将每个值解码为从表1中挑选的阿拉伯BP¼1c>re1-r=cc≤ r12月l日值列表字母表:索引值×100个Dec矢量长度矢量长度ect1/14. 对于其余向量(名称[80],数字[2],粒子[5],性别[1],代词[30],时态4.一个简单的例子是:“一个简单的例子”+“一个简单的例子”+中国其中c表示候选译文的长度,r表示有效参考语料库长度。pPc 2f候选者gPn-gram 2 c计数剪辑n -gram[4]),如果一个对象包含值1,我们得到根据其位置,从数据集(表5n¼Pc02f候选人s0gPn-gram02c0计数n-克0克对象向量修改后的精度pn计算如下:为了建立阿拉伯手语中的符号数据库,我们遵循图7中所示的以下步骤,给出单词“Ana”(Ana,I)的示例:● 把哈姆诺斯变成一个词,● 将HamNoSys符号转换为SIGML表示,● 将sigml文件保存在标志数据库7. 实验和结果为 了 评 估 翻 译 系 统 , 已 经 开 发 了 各 种 方 法 , 诸 如 BiLingualEvaluation Understudy BLEU(Papineni等人, 2002年),翻译评估指标,显式订购METEOR(Banerjee和Lavie,2005年)和翻译-对于每个n-gram,对于每个候选句子,计算单个参考翻译中n-gram匹配的最大数量。对于每个n-gram,对于每个候选句子,通过最大参考匹配来裁剪候选n-gram的匹配总数。对于每个n-gram,将语料库中所有候选句子的剪辑匹配相加。对于每个n-gram,除以语料库中未剪辑的可识别n-gram计数为了计算BLEU分数,我们使用以下公式:蓝色¼BP·exp. XN wlogpTER(Snover等人,2006年)。其中最常用和最知名的是BLEU评分。其中BP是简洁性惩罚,wn = 1/N,N是gram的数量,pn是指修改后的精度。见图6。 HamNoSys Symbols(Hanke,2004).●●●●.M. Brour,A.Benabbou/沙特国王大学学报1129见图7。举一个例子,建立一个标志。表7评价数据的例子。َ◌ﻣﺎَ◌ﺷْ◌ﻜُ◌ﻞَ◌ﺩٰ◌ﺭﺍَ◌ﺟِ◌ﺘَ◌ﻚ؟ﺍْ◌ﺣَ◌ﻔْ◌ﻆُ◌ﺩُ◌ﺭﻭَ◌ﺳَ◌ﻚ表8翻译句子的例子。判决结果َ◌ﻣﺎَ◌ﺫﺍﺗْ◌َ◌ﺮُ◌ﺳُ◌ﻢ؟َ◌ﻣْ◌ﻦَ◌ﻓﺎَ◌ﺯ؟َ◌ﻛﺘْ◌َ◌ﺒُ◌ﺖﺍﻟٰ◌ﺪْ◌ﺭَ◌ﺱﺃَ◌َ◌ﻛﻠُ◌ْ◌ﺖُ◌ﻓُ◌ﻄﻮِ◌ﺭﻱَ◌ﻣﺎَ◌ﺷْ◌ﻜُ◌ﻞَ◌ﺩٰ◌ﺭﺍَ◌ﺟِ◌ﺘَ◌ﻚ؟ﻣﺎَ◌ﺫﺍﺗْ◌َ◌ﺮُ◌ﺳﻢ؟??ﺃﻧﺖﺭﺳﻢﺍﺳﺘﻤﺮﺍﺭﻣﺎَ◌ﺫﺍَ◌ﻣﺘَ◌ﻰﺗْ◌َ◌ﺬَ◌ﻫُ◌ﺐﺇِ◌ﻟَ◌ﻰﺍﻟّ◌ﺴﻮِ◌ﻕ؟َ◌ﺩَ◌ﺧﻠُ◌ْ◌ﺖﺇِ◌ﻟَ◌ﻰﺍﻟَ◌ﺒْ◌ﻴِ◌ﺖَ◌َ◌ُ◌ﺃْ◌َ◌ﻳَ◌ﻦَ◌ﻳَ◌ﻘُ◌ﻊَ◌ﻣْ◌ﻨﺰﻟُ◌ُ◌ﻜْ◌ﻢ؟َ◌ﺧَ◌ﺮْ◌ﺟُ◌ﺖِ◌ﻣﻦﺍﻟَ◌ﻤْ◌ﻨﺰِ◌ﻝَ◌ﻛﺘْ◌َ◌ﺒُ◌ﺖﺍﻟٰ◌ﺪْ◌ﺭَ◌ﺱﺃﻧﺎﻛﺘﺐﺩﺭﺱﺍﻧﺘﻬﻰﺃَ◌َ◌ﻛﻠُ◌ْ◌ﺖُ◌ﻓُ◌ﻄﻮِ◌ﺭﻱْ◌ِ◌ِ◌ﺃﻧﺎﺃﻛﻞﻓﻄﻮﺭﺍﻧﺘﻬﻰَ◌ﻛْ◌ﻢُ◌ﻏْ◌ﺮَ◌ﻓٍ◌ﺔِ◌ﻓﻲَ◌ﺑْ◌ﻴِ◌ﺘُ◌ﻜَ◌ﻤﺎ؟َ◌ﺳﻨَ◌ﺬَ◌ﻫُ◌ﺐﻟِ◌ﻠَ◌ﻤْ◌ﺴِ◌ﺠِ◌ﺪَ◌ﺳْ◌ﻮَ◌ﻑﻧْ◌َ◌ﺬَ◌ﻫُ◌ﺐﻟِ◌ﻠٰ◌ﺸﺎِ◌ﻃﺊﻧﺤﻦﺫﻫﺐﺷﺎﻃﺊﻗﺮﻳﺒﺎَ◌ﻛْ◌ﻴَ◌ﻒَ◌ﻗَ◌ﻀْ◌ﻴﺘٰ◌ُ◌ﻦُ◌ﻋْ◌ﻄﻠَ◌ﺘُ◌َ◌ﻜٰ◌ﻦ؟ْ◌ِ◌َ◌ﺳْ◌ﻮَ◌ﻑﻧْ◌َ◌ﺬَ◌ﻫُ◌ﺐﻟِ◌ﻠٰ◌ﺸﺎِ◌ﻃِ◌ﺊﺍْ◌ﺣَ◌ﻔﻆُ◌ﺩُ◌ﺭﻭَ◌ﺳَ◌ﻚﺃﻧﺖﺣﻔﻆﺩﺭﺱﺃﻣﺮ有两种类型的BLEU评分:个人和累积。一方面,单个N-gram分数是对特定顺序的匹配gram的评估,例如单个单词(1-gram)或单词对(2-gram或bigram)。权重wn被指定为元组,其中每个索引指的是文法顺序。要仅计算1-gram匹配的BLEU分数,您可以为1-gram指定权重1,为2,3和4(1,0,0,0)指定权重0。另一方面,累积分数是指计算从1到n的所有阶的单个n-gram分数,并通过计算加权几何平均值对其进行加权。对于1克、2克、3克和4克分数(1/N、1/N、1/N、1/N)中的每一个,BLEU-4的权重是1/4(25%)或0.25。ATLASlangMTS和ATLASlang NMT使用应用于包含约73个句子的测试语料库的BLEU分数度量进行评估和相互比较。本语料库(表7)包括几种不同时态(祈使句、现在句、过去句)的句子:动词句、名词句、疑问句、肯定句和祈使句。ATLASlang MTS的评估结果如图所示。 8和表8中的一些示例。如前所述,大多数句子的得分获得该分数是因为所实现的规则是有限的,并且难以覆盖所有可能的规则。为此,我们考虑了见图8。ATLASlang MTS的评价结果。1130M. Brour,A.Benabbou/沙特国王大学学报见图9。ATLAS Lang NMT的评价结果。图10个。 ATLASlang MTS与ATLASlang NMT的平均BLEU评分> 4 g。图十一岁 ATLASlang MTS和ATLASlang NMT的平均BLEU评分新版本,因为它可以让我们找到结果,甚至句子,不符合任何翻译规则。如图9所示,73个句子的评价结果非常令人鼓舞,因为大多数翻译句子的得分超过0.60。我们可以通过在训练阶段添加更多数据来改善结果。在图10中,我们比较了由我们的系统的两个版本翻译的测试语料库的每个句子获得的4-gram BLEU分数。如图所示,ATLASlang NMT优于ATLASlang MTS;它生成更准确的翻译。如图 11,ATLASlang MTS的平均BLEU评分为0.37。ATLASlangNMT的平均得分为0.79,这更接近理想得分。根据这些结果,我们得出结论,ATLASlang NMT比ATLASlang MTS更强大图12个。训练数据集的例子(FaaLa,to do)。M. Brour,A.Benabbou/沙特国王大学学报1131正如我们之前在第6节中所看到的,我们可以将ATLASlang NMT的优势总结如下:它基于神经网络,能够根据示例学习进行预测。代替单个单词,我们将模式和形态句法特征分配给神经网络。这使我们能够为所有与神经网络已经学习的句子具有相同结构的句子获得理想的翻译分数。对于模式的编码和解码,我们只使用给定模式的字母,而不是给出整个字母表。对于没有经过神经网络训练的模式,这可以产生一些模式,而不是生成一个单词,已经不存在了对于动词,我们已经准备了一个训练数据集,其中包含一个以所有阿拉伯语时态共轭的动词(FaaLa,做)。在阿拉伯语中,这个动词“做”(FaaLa,to do)代表了其他动词的模式(图12)。训练数据集存储在文本文件中作为编码-解码向量。8. 结论和今后的工作在本文中,我们提出了一个新的版本,我们的系统的基础上的神经翻译系统称为ATLASlang NMT。正如我们上面所解释的,该系统是使用前馈反向传播神经网络实现的,并且详细描述了所有步骤。该系统使用包含约9715种不同类型的句子(疑问句,肯定句和祈使句)的数据集进行训练,并用73个简单句子进行评估。使用BLEU评分对系统进行评估,并将其与第一版ATLASlang MTS进行比较两种可能的方式动画的结果transla- tion:使用的数据库中建立的第一个版本的系统(其中包含一个GIF图像),或HamNoSys数据库。虽然这些结果是积极的,该系统的翻译质量可以在多个方面进行改进,可以完成本文概述的工作。所使用的神经网络是在包含9715对句子的数据集上训练的;如果数据
下载后可阅读完整内容,剩余1页未读,立即下载
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功