嵌入式训练提高了草书阿拉伯手写体识别的系统性能

可在www.sciencedirect.com上在线ScienceDirect电气系统与信息技术学报5（2018）245基于嵌入式训练的手写体阿拉伯文识别Rabi Mouhcinea， Mamrouch Mustaphaa， Mahani Zouhirba摩洛哥阿加迪尔伊本佐尔大学理学院IRF-SIC实验室b摩洛哥阿加迪尔伊本佐尔大学高等技术学院接收日期：2016年11月23日;接受日期：2017年2月23日2017年4月17日在线发布摘要在本文中，我们提出了一个系统的离线识别草书阿拉伯手写体文本的基础上隐马尔可夫模型（HALGORY）。该系统是分析性的，没有明确的分割，使用嵌入式训练来执行和增强字符模型。在基线估计之前提取特征是统计和几何的，以结合文本的特性和词图像中的像素分布特性。这些特征使用隐马尔可夫模型建模，并通过嵌入式训练进行训练。在基准IFN/ENIT数据库上的实验表明，该系统提高了识别率。© 2017由Elsevier B.V.代表电子研究所（ERI）制作和主办。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：识别;手写;阿拉伯文本;障碍;嵌入式训练1. 介绍阿拉伯手写体的识别是模式识别领域的一个活跃研究方向单词的可变性，字母形状是上下文敏感的，字间和字内空间，阿拉伯手写体的草书性质，字符和单词的倾斜和倾斜使得离线识别手写系统的开发成为一项具有挑战性的任务。研究人员已经尝试了采用各种预处理技术的各种文本识别方法特征提取和分类（Lawrence，2015）。这篇文章的主题涉及草书阿拉伯语笔迹的识别（Parvez和Mahmoud，2013;AL-Shatnawi等人， 2011年）。*通讯作者。电子邮件地址：mouhcineh@gmail.com（R. Mouhcine），m. uiz.ac.ma（A. Mustapha），zouhir. uiz.ac.ma（M. Zouhir）。电子研究所（ERI）负责同行评审。https://doi.org/10.1016/j.jesit.2017.02.0012314-7172/© 2017由Elsevier B. V.制作和托管电子研究所（ERI）这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。246R. Mouhcine等人/电气系统与信息技术学报5（2018）245几个系统是基于两种方法;一个全球性的方法，认为这个词作为不可分割的基础实体，避免分割过程及其问题。这种方法是可靠的，适用于有限大小的词汇表。相反，分析方法是基于词序列分解成字符或字形进行的分割阶段。后者可以显式地基于图像到子单元（字母或字素）的先验划分，或者隐式地基于识别引擎来验证和排名分割假设。在我们的系统中使用的方法是基于隐式分割的分析，分割和识别联合进行。手写体识别系统经过预处理后的第一步是特征提取。这一阶段的目标是选择与分类和识别的下一个步骤相关的基元。手写体识别系统的性能在很大程度上取决于提取特征的质量和相关性。在我们的系统中，基线估计后，提取的特征是统计作用于像素的密度和结构提取的字符形状的表示。隐马尔可夫模型（Hidden Markov models，简称HMF）用于分类（Azeem和Ahmed，2013;AlKhateeb等人，2011;Maqqor等人， 2014年）。 有许多原因，成功的阻碍在文本识别中，包括避免需要显式分割。此外，Hessels有良好的数学和理论基础。每个单词都由一个模型来描述，该模型是通过连接组成字符的模型而构建的。该系统进行训练和识别的单词和字符。字符模型是通过嵌入式训练从图像的单词和他们的转录。“本文其余部分的组织如下。第2节详细描述了基线估计之前的特征第三部分重点介绍了分类步骤和嵌入式训练方法。识别系统的性能已经在基准数据库IFN/ENIT上进行了实验，并在第4节中显示和分析了所获得的实验结果。文章最后提出了一些结论和展望。Fig. 1. 拟议系统的概要。R. Mouhcine等人/电气系统与信息技术学报5（2018）245247=1Σ图二.下基线和上基线估计。2. 提取特征2.1. 基线估计目标是找到，对于一个给定的词，两个以下平行线的位置“图。 2“：• 较低基线（LB），• 基线上限（UB）。这些基线将图像划分为下部、上部和中部区域。存在用于估计这两条线的若干技术，水平投影直方图、霍夫变换、底部轮廓的最小值（Farooq等人，2005）、邻域方法和成分、PCA（主成分分析）（Su等人，2013;Morillot，2017）。所使用的方法是基于相对于水平像素密度计算的水平投影曲线，已知在预处理步骤中进行单词的歪斜和倾斜校正以协调提取特征中的滑动窗口的过程。LB对应于投影轮廓曲线的最大值，然后，算法从上到下扫描图像以找到上基线，其对应于具有高于或等于平均行密度的投影值的第一条线。因此，在这两个区域，上和下的字的手写变异被认为是。2.2. 提取特征在我们的系统中使用的特征提取方法受到El-Hajj的工作的启发（E.L-Hajj et al.， 2009）进行了一些修改，所使用的技术在几项研究中显示出优异的结果（Bianne-bernard等人，2009; Bluche等人，2015年）。特征提取阶段包括通过将单词图像划分为垂直帧来提取特征向量的序列。滑动窗口在书写方向上移动（从右到左）。每个窗口的宽度是要设置的参数，窗口的高度根据单词图像的尺寸而变化在每个窗口中，我们提取了一组28个特征代表的分布特征的基础上前景像素密度和灰度特征。每个窗口被划分为固定数量n的单元格。这些特征中的一些是从由单词基线分隔的图像的特定区域中提取的。在我们的实验中，参数设置为n = 20个单元格，宽度= 8个像素。这导致在每个帧中总共要计算Nf=让：n（i）：单元ir（j）：帧的第j行中的前景像素的数目。b（i）：单元i的密度水平：如果n（i）= 0，则b（i）= 0，否则b（i）=1。提取的特征如下：f1：前景（黑色）像素的密度。ncf1n（i）H×wi=1248R. Mouhcine等人/电气系统与信息技术学报5（2018）245Σ=Σ=Σ=Σ==−f2：两个连续单元之间的黑/白转换次数。ncf2 =|b（i）− b（i − 1）|I=2f3：两个连续帧（当前帧和前一帧）中的前景像素的重心的差f3=g（t）−g（t−1）f4：整个帧中前景像素的重心相对于下基线的归一化垂直位置f4g−LHf5、f6：表示下基线之上和之下的前景像素的密度Hr（j）f5j=L+1H·WL−1r（j）;f6j=1H·Wf7：在较低基线之上的不同密度水平的两个连续单元之间的黑/白转换的数目。ncf7 =|b（i）− b（i − 1）|I=kf8：黑色像素的重心所属的区域（下部区域f8 = 3，中部区域f8 = 2，上部区域f8 = 1）f9，. . . ，f14：将这些特征定义为：f9Cleft−up;HC left-up：在两个方向（左和上）上具有相邻黑色像素的背景像素的数量。. . 、f14在六个方向上左-上、上-右、右-下、左下、垂直和水平。f15，. . . ，f20：与核心区相关的基线相关特征被定义为：f15CM左上;DCM左侧up：配置中的背景像素数这同样适用于F16。. . ，f120在六个方向上左-上、上-右、右-下、左下、垂直和水平。f21，. . . 、f28：表示帧中每个垂直列中的前景像素的密度在每个帧中提取28个特征向量，这些特征是统计的和几何的，以整合文本的特性和单词图像中的像素分布特性，其捕获笔划的类型（弯曲的、定向的、垂直的和水平的）。3. 建模3.1. 隐马尔可夫模型隐马尔可夫模型（HMM）是一个双随机过程，其下有一个不可观察的随机过程（马尔可夫链），但只能通过另一组产生观察符号序列的随机过程来观察（Rabiner，1989）。为了完整地定义HMM，需要以下元素，λ=（N，M，A，B，λ）：R. Mouhcine等人/电气系统与信息技术学报5（2018）245249• N：模型的状态数，• M：字母表中观察符号的数量如果观测是连续的，那么M是无穷大的，• A：一组状态转移概率，• B：每个状态的概率分布，• 1.初始状态分布。HMM的使用旨在解决三个问题：• 评价给定隐马尔可夫模型λ和观测序列O = o 1，o 2，. . . ，o T，模型生成观测的概率是多少，P {O|λ}• 解码给定一个模型λ和一个观测序列O = o 1，o 2，. . . ，oT，在产生观测值的模型中，最可能的状态序列是什么• 培训给定一个模型λ和一个观测序列O = o 1，o 2，. . . ，o T，我们应该如何调整模型参数{A，A，B}以最大化P {O|λ}3.2. 字符和单词模型所使用的方法是分析和基于HMM的字符建模每个角色模型都有一些参数：拓扑结构，隐藏状态的数量，状态转移概率和观察概率。没有具体的理论来设置这些参数，因此解决方案是经验性的。在设置这些参数时，特别是在生成观测序列时使用的技术时，可以考虑许多因素在我们的系统中，我们使用了一个模型，右-左拓扑结构，每个字符有四个状态，每个状态有三个转换。 3“。单词模型是通过连接适当的字符模型来构建的。 4“。3.3. 嵌入式培训该系统进行训练和识别的单词和字符。训练的字符模型是由图像的话，他们的转录。 该方法是分析性的，没有分割，并且使用嵌入式训练来训练字符模型（Choisy和Belaïd，2000;E.L-Hajj等人， 2009年）。图三.特征HMM拓扑。见图4。阿拉伯语单词的HMM模型：.250R. Mouhcine等人/电气系统与信息技术学报5（2018）245图五. 汉字“下巴”的嵌入式训练表1各种系统的识别结果。系统模型承认率%Maqqor等人（2014年）多分类器76.54Kessentini等人（二零一零年）多流HMM79.80Alkhateeb等人（2011年）HMM与动态贝叶斯网络86.73Parvez和Sabri（2013）设定中位数的FATF79.58拟议系统基于嵌入式训练的HMM87.93嵌入式训练是通过利用单词之间的信息冗余来自动识别相关信息字母，而无需显式地指定它们，与上下文和字母位置的变化相匹配。 5“。4. 实验和结果为了研究使用嵌入式训练进行离线草书手写识别的潜力，使用基准数据库IFN/ENIT（Pechwitz和Maergner，2002），其中包含由不同作家撰写的946个突尼斯城镇/村庄名称的26，459个手写单词。我们使用工具箱HTK（Hidden Markov Model Toolkit（Young等人， 2006））来对字符和单词进行建模。下表显示了我们的系统与使用相同基准数据库IFN/ENIT的其他识别系统相比的实验结果，分为四组，a，b，c用于训练，d用于测试：表1示出了使用各种模型和相同的数据库来比较识别率并推断所提出的方法的有效性的草书阿拉伯语手写文本的各种离线系统识别的识别率的结果Alkhateeb等人（2011年）提出了一项使用隐马尔可夫模型（HMM）和动态贝叶斯网络（DBN）分类器识别手写阿拉伯语单词的方法的比较研究，识别率为86.73%。Kessentini等人（2010），Parvez和Sabri（2013）和Maqqor等人（2014）分别使用多流隐马尔可夫模型，模糊属性转向函数（FATF）与集合中值和多个分类器的系统;所述系统的结果识别率不超过80%。而该系统的识别率达到87.93%。最后，通过基于HALSTOM的嵌入式训练，手写体阿拉伯语识别系统的性能得到了显著提高仍然需要使用附件改进来提高速度（后处理：语言模型）R. Mouhcine等人/电气系统与信息技术学报5（2018）2452515. 结论和展望本文提出了一种基于隐马尔可夫模型的嵌入式训练的阿拉伯手写体识别系统。提取的特征是基于前景像素的密度，基于滑动窗口的灰度和所提出的模型提高了认识，并显示出令人鼓舞的结果是完美的。还有许多要点有待实现，首先，角色建模允许与其上下文（下一个和上一个角色）相关的变形。为了考虑可能的变形，选择了角色的上下文建模单词不再被看作是连续的独立字符，而是在上下文中的字符序列单词模型是上下文相关的字符模型的串联：三字母，这种建模将允许构建更准确和更有效的模型。考虑到人物环境，可以建立更精确和更有效的模型。然而，这意味着要学习HMM参数的乘法，这将是我们下一步工作的重点然后，语言模型将被纳入，以完善和改进的结果，并导致一个更有效的系统。引用AL-Shatnawi，M.，Atallah，AL-Salaimeh，Safwan，AL-Zawaideh，Hanna，Farah，Omar，Khairuddin，2011.对阿拉伯语文本的识别能力。世界计算机Sci. 告知。 技术 J. 1（5），184-192。AlKhateeb，J.H.，Ren，Jinchang，Jiang，Jianmin，Al-Muhtaseb，Husni，2011. 使用隐藏的Markov模型和重新排序的方法对手写体阿拉伯文文本进行识别。P模式识别Lett. 32（8），1081-1088。Alkhateeb，J.H.，波普林岛，Ren，J.，姜杰，2011年。隐式Markov模型和动态贝叶斯网络分类器在手写体阿拉伯文识别上的性能。克诺湾BasedSyst.24，680-688.Azeem，S.，Ahmed，H.，2013年。 基于隐式Markov模型的阿拉伯文手写体识别的有效技术 Int. J. Doc.Anal. 认出来了。16（4），399-412。Bianne-bernard，Anne-laure，Menasri，Fares，Likforman-sulem，Laurence，Mokbel，Chafic，Kermorvant，Christopher，2009. 用于阿拉伯语手写体识别的变长和上下文相关的HMM字母格式模型。文档识别和检索会议（DRR）。Bluche，Théodore，Ney，Hermann，Kermorvant，Christopher，2015. 用于HTRtS 2014 竞赛的LIMSI手写识别系统。国际文件分析与识别会议（ICDAR）。C. Choisy，A.Belaïd“对书写和文件进行分析的初步研究”2000年法语国家国际学术报告会E.L-Hajj，R.，Likforman-Sulem，L.，Mokbel，C.，2009. 结合倾斜框架分类器的改进HMM阿拉伯笔迹识别IEEE关于P模式分析和机器智能的会议。法鲁克，F.，Govindaraju，V.，Perrone，M.，2005. 手写阿拉伯文文档的预处理方法。ICDAR'05，Seoul，pp. 267-271. Kessentini，Y.，Paquet，T.，Ben Hamadou，A.，2010年。 用多流隐式Markov模型对f行手写体笔迹进行识别。 P型认出来了。Lett. 31，60-70。劳伦斯，A.，2015年。 阿拉伯字符识别综述。 Int. J. 信号处理。 图像处理。 P模式识别 8（2），401-426。Maqqor，A.，Halli，A.，Satori，K.，Tairi，H.，2014. 多分类器组合的f线手写体识别。在：第三届国际IEEE信息科学与技术研讨会，IEEECIST '14，10月。莫里约岛，2017年。一种新的双向递归神经网络网线识别基线校正算法。 J. 电子学。 显像Parvez，M.T.，Mahmoud，S.A.，2013年。阿拉伯文手写文本识别研究概况。 ACM Comput. 监视器 45（May（2）），23-35.Parvez，M.T.，萨布里上午2013. 使用结构和句法模式属性的阿拉伯手写体识别。P模式识别46，141-154. Pechwitz，M.，Maergner，V.，2002年。阿拉伯语手写单词的基线估计。输入：程序2002年第八届国际妇女人权论坛，加拿大，8月，第100页。479-484.Rabiner，L.R.，一九八九年一个关于隐藏的Markov模型和语音识别中的选定应用的教程。 Proc. IEEE 77（2），257-286。苏，B.，丁某，彭湖，刘，C.，2013年。 一种新的基线独立特征集用于阿拉伯手写体识别。第12届文件分析与识别国际会议（ICDAR），1250-1254。杨，S.，例如，2006年。 HTK Book V3.4. 剑桥大学出版社，英国剑桥。