基于卷积神经网络的脱机手写泰米尔字符识别

沙特国王大学学报基于卷积神经网络的脱机手写泰米尔字符识别Kavitha B.R.a，Srimathi C.Ba印度Vellore Vellore理工学院信息技术和工程学院b印度Vellore Vellore理工学院计算机科学与工程学院阿提奇莱因福奥文章历史记录：收到2019年2019年5月9日修订2019年6月7日接受在线预订2019年保留字：手写泰米尔字符识别CNNA B S T R A C T卷积神经网络（CNN）在计算机视觉应用的各个方面都发挥着至关重要的作用。在本文中，我们使用了最先进的CNN在脱机模式下识别手写泰米尔字符。CNN不同于传统的手写体泰米尔字符识别（HTCR）的方法，自动提取特征。我们使用了一个孤立的手写泰米尔字符数据集开发的惠普实验室印度。我们通过在离线模式下使用泰米尔字符训练模型，从头开始开发了一个CNN模型，并在训练和测试数据集上都取得了良好的识别结果。这项工作是尝试使用深度学习技术为离线HTCR设定基准。这项工作产生了95.16%的训练准确率，这是远远优于传统的方法。©2019作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍泰米尔语是古印度语言之一，主要使用于印度南部、斯里兰卡和马来西亚。泰米尔语的特点是每个发音都有一个音节。在泰米尔语中，代表一个单词的字符的经济性是泰米尔字母的最小单位是音节。泰米尔语的这些音节单位有12个元音，18个辅音和一个特殊字符（Ayudha Ezhuthu，）。元音和辅音的组合（表1）构成总共216个复合字符，因此总共247个字符。有5个从梵语借来的辅音，当与元音结合时，会产生另外60个复合字，总共有307个字。完整的泰米尔字符集（表2）可以由156个不同字符的组合表示（表3）。例如，“kow”（发音为kow）可以通过组合“，”“kow”，“kow”来表示。手写字符识别（HCR）是两种形式：线上线下在线方法将尖端运动*通讯作者。电子邮件地址：www.example.comkavitha.br @ vit.ac.in（B.R.Kavitha）。沙特国王大学负责同行审查离线方法将数字笔的笔画（strokes）转换为坐标列表，而离线方法将字符用作扫描图像。最具挑战性的部分手写字符识别的一个重要特征是个体书写模式的变化。即使是同一个人的笔迹，在不同的时间也会有所不同。传统的机器学习方法长期用于离线HCR。手写体字符识别的典型机器学习方法是预处理、分割、特征提取和分类。离线HCR系统首先使用字符集（作为扫描图像）进行训练，然后当输入新的字符图像时，系统应该能够准确识别它。HCR已经在许多应用中显示出其有用性，例如邮局中的邮件分类、银行支票读取、遗留文档和法律文档的数字化以及手写文档/表格转换。手写文档的数字化涉及到各种操作，如彩色或灰度图像到二值图像的转换、从背景纹理（如果有的话）中提取前景文本、噪声去除、各行的分离、各行中的单词的分割、每个单词中的字符的分割以及孤立字符的识别。然而，这项工作只涉及使用深度学习方法的孤立离线手写泰米尔字符识别。其他语言，如中文，日语，阿拉伯语，韩语有几个标准数据集，研究人员也为相同的语言设定了基准。中国有模式识别国家实验室（NLPR）和中国科学院自动化研究所https://doi.org/10.1016/j.jksuci.2019.06.0041319-1578/©2019作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com1184B.R. 卡维塔角Srimathi/沙特国王大学学报表1泰米尔语元音和辅音的组合。第一列有12个元音。第二列代表18个辅音。第三列是辅音与所有元音的组合每一个辅音和所有的元音组合成216个复合字。元音辅音辅音+元音复合字符++++++++++++கௌௗல்வ்ழ்ள்ற்ன்利用3755类的CASIA-OLHWDB和CASIA-HWDB等数据集，促进汉字识别的研究活动阿拉伯语有28个类的OIHADB和AHCD数据集。日本有电工实验室（ETL）字符数据库，最新的数据集ETL9B有3036个类。对于泰米尔语，印度的HPLabs开发了一个名为“hpl-tamil-iso-char” 的数据集，在（Vijayaraghavan 和 Sra ， 2014 ）中，仅使用了34个类。在（Bhattacharya等人，2007年），虽然所有的类都被使用，他们使用了分组方法。Shanthi和Duraiswamy（2010）创建了他们自己的数据集，并且只能识别34个类。这项工作将为使用深度学习方法的所有156个类设定HTCR中文和日语已经证明了最好的结果与最先进的CNN，这是这项工作背后的动机我们工作的目标是为HPLabs的泰米尔字符数据集设置一个基准本文的其余部分组织如下。第二节讨论了相关文献中的相关工作。第3节介绍了一般卷积神经网络框架。第4节解释了HTCR的建议架构和步骤表2完整的泰米尔字符集。B.R. 卡维塔角Srimathi/沙特国王大学学报1185表3The ‘hpl-tamil-iso-char’ dataset with their classஅஆஇஈஉஊஎஏஐஒஓஔ01234567891011ௌஙசஞடணதநபமயரலவழ121314151617181920212223242526ளறனஸஷஜஹககஙசஞிடணித272829303132333435363738394041நிபமயரிலவழளிறனிஸஷஜஹ424344454647484950515253545556க57க58ங59ச60ஞீ61ட62ணீ63த64நீ65ப66ம67ய68ரீ69ல70வ71ழ72ளீ73ற74னீ75ஸ76ஷ77ஜ78ஹ79க80க81ங82ச83ஞ84ட85ண86த87ந88ப89ம90ய91ர92ல93வ94ழ95ள96ற97ன98க99ங100ச101ஞ102ட103ண104த105ந106ப107ம108ய109ர110ல111வ112ழ113ள114ற115ன116ஸஸுஷுஜுஹுகுஸூஷூஜூஹூகூ117118119120121122123124125126127128129130131ௌ்ங்ச்ஞ்ட்ண்த்ந்ப்ம்ய்ர்ல்வ்ழ்132133134135136137138139140141142 143 144145146ள்147ற்148ன்149ஸ்150ஷ்151ஜ்152ஹ்153க்154ஃ155第5节描述了所使用的数据集、实验设置以及训练和测试程序。第六给出了结果分析和讨论。最后一部分是对全文的总结2. 相关工作虽然深度学习方法被广泛用于中文、阿拉伯语、英语等多种语言的手写字符识别，在泰米尔，迄今为止所做的大部分工作都是使用传统方法。HTCR采用传统机器学习技术的典型方法是预处理、字符分割、特征提取、分类，然后预测新字符。Shanthi和Duraiswamy（2010）提出了一种模型，其中提取的特征是像素密度，SVM分类器用于106个类别的分类。对34个汉字的识别准确率为82.04%。Jose和Wahi（2013）使用小波变换进行特征提取，并使用反向传播神经网络进行分类，其识别准确率达到89%。 Sureshkumar和Ravichandran（2010）从具有各种属性的每个字符字形中提取特征，并使用支持向量机（SVM）、自组织映射（SOM）、模糊网络、RCS算法和径向基函数进行分类。Bhattacharya等人（2007）提出了一种两阶段识别方法，其中第一阶段使用无监督聚类对字符类进行分组，第二阶段使用有监督分类器对字符进行识别，从而实现了89.66%的准确率。使用卷积神经网络，Vijayaraghavan和Sra（2014）最近的工作已经完成，报告了35个类的94.4%的准确率深度卷积神经网络已经成功地在手写汉字识别Ciregan等人（2012）使用多列深度神经网络测试了由3755个字符的300个样本组成的中文字符数据集CASIA（中国科学院自动化研究所）作为实验之一。Cire，san和Meier（2015）使用八种不同的网络架构处理同一数据集，并实现了接近人类的准确性。若干基准数据集可用于具有超过百万个字符的中文字符（Liu等人，2013年）。Zhang et al.（2017）通过将CNN与归一化相结合，提出了一种新的基准，方向分解特征图和适应层，离线任务的准确率达到97.37%。Tsai（2016）使用CNN识别三种类型的手写日语脚本，即平假名，片假名和汉字。对1004个类别的分类结果，总的Boufenar等人（2017）从头开始为阿拉伯语字符集OIHACDB-28开发了CNN模型，并实现了97.32%的准确率。他们还介绍了另一项工作，该工作使用了迁移学习，并实现了从头开始开发的模型的100%准确率。早些时候，在同一年，El-Sawy等人。（2017）从头开始开发了一个CNN，准确率为94.9%，Elleuch等人（2017）使用深度信念网络（DBN）架构以及正则化技术，dropout和dropconnect分别产生2.73%和2.27%的错误分类率。3. 背景CNN是广泛使用的深度学习模型，用于处理图像识别、图像分类、图像字幕等图像相关任务，这些网络通常是卷积层、池化层和全连接层的组合（图1）。这三个块用于通过改变块的数量、添加或删除块来构建CNN模型。自2012年Imagenet竞赛以来，已经开发了各种架构，这些架构在4年内将错误分类率从15.6%降低到3.7%（Krizhevsky等人，2012 ， Zeiler 和 Fergus ， 2014 ， Simonyan 和 Zisserman ， 2014 ，Szegedy等人， 2015年例如，2016年，Canziani等人，2016年，Russakovsky等人，2015年）。每种架构都有不同的超参数，或者使用了新的方法，如Drop out（Srivastava等人，2014）、批量归一化（Ioffe和Szegedy，2015）等。3.1. 卷积层卷积层与神经网络的不同之处在于，不是每个像素（神经元）都通过权重和偏置连接到下一层，而是将整个图像分割为小区域（例如nxn矩阵），并对其应用权重和偏置。这些权重和偏置被称为过滤器或内核，当与输入图像中的每个小区域卷积时，将产生特征图。这些过滤器是简单的1186B.R. 卡维塔角Srimathi/沙特国王大学学报Fig. 1. 卷积神经网络在卷积层的输入图像中。该卷积运算所需的参数数量将是最小的，因为对于单个特征，在整个图像上遍历相同的滤波器。滤波器的数量、局部区域的大小、步幅和填充是卷积层的超参数。基于输入图像的大小和类型，这些超参数可以进行调整以获得更好的结果。3.2. 池化层为了减少图像的空间维度以及参数的数量，从而减少计算，使用该池化层该层对输入执行固定函数，因此没有引入参数不同类型的池- ING是可用的，如平均池，随机池，最大池。最大池化是最常用的池化算法，其中nxn窗口以步幅值s滑过输入并向下滑动，并且对于每个位置，取nxn区域中的最大值，从而减小输入的大小该层提供平移不变性，使得即使位置有轻微变化，仍然能够识别图像。但是随着尺寸减小，位置信息丢失。3.3. 全连接层在该层中，最后一个池化层的平坦化输出作为输入馈送到全连接层。该层的行为类似于传统的神经网络层，其中前一层的每个神经元都连接到当前层。因此，与卷积层相比，该层中的参数数量更高。这个全连接层连接到输出层，输出层通常是分类器。3.4. 激活函数在卷积神经网络的各种架构中使用了不同的激活函数。与经典的sigmoid或tangent函数相比，ReLU、LReLU、PReLU和Swish等非线性激活函数已被证明具有更这些非线性函数有助于加快训练速度。在这项工作中，我们尝试了不同的激活函数，发现ReLU比其他函数更有效4. 该方法该模型由两部分组成：训练部分和识别部分。训练部分包括数据预处理、网络结构的建立识别部分包括数据的预处理和使用训练好的模型识别字符。4.1. 预处理该数据集包含82，929张tiff或png格式的图像。这些图像是从在线版本使用简单的分段线性插值和一个常数增厚因子。图像是背景为白色（255）且前景为黑色（0）的双水平图像。图像大小不一图二. 拟议模型的架构。B.R. 卡维塔角Srimathi/沙特国王大学学报1187××使用双线性内插技术将其尺寸归一化为64 × 64，并缩放到0，1范围。我们对两组输入进行了训练然而，在准确性和训练时间方面没有显著差异。4.2. 架构HTCR的拟议架构由九层组成：五个卷积层，两个最大池化层和两个全连接层。网络架构可以描述为表4我们的架构中使用的超参数。超参数值泽维尔批量64优化器亚当时代100学习率0.001激活函数ReLU如下所示： 16 C3 - 16 C3-MP2- 32 C3 - 32 C3-MP2- 64 C3 - 500 N-200N，其中nCi表示具有n个特征图的卷积层，i×i过滤器，MP j表示最大池化层，其中jj内核和kN表示具有k个神经元的全连接层（图2）。每个卷积层包括激活函数。该模型使用ReLU，一种非线性激活函数。输入层由64x64大小的图像组成，输出层是具有156个类的softmax分类器。4.3. 超参数运行网络需要几个超参数，其中一些是特定于体系结构的，而另一些是有效训练网络所需的。不同的超参数，如步幅，填充和深度，用于每一层，可以调整以构建更好的模型。我们使用步幅值1在卷积层和池化层的输入图像上滑动一个像素。我们使用零填充在输出中保持相同的输入形状，这样在边界处不会丢失任何信息。我们使用Xavier初始化（Glorot和Bengio，2010）来进行权重。我们把所有的实验运行到30个时代，因为收敛通常发生在20到30个时代。但我们图三. 我们系统的完整培训和测试过程。1188B.R. 卡维塔角Srimathi/沙特国王大学学报见图4。 训练和验证所提出的模型的准确性。表5我们的方法与以前的工作比较作者数据集班级数方法培训准确率（%）测试准确度（%）Bhattacharya等人（2007年）HPLabs数据集156聚类和分组分类92.7789.6602 The Dog（2010）自己的数据集34SVM–82.0402 The Dog（2014）HPLabs数据集35CNN9994.4我们的工作HPLabs数据集156CNN95.1697.7已经运行了100个时期的最佳结果模型。大小为64x64的输入图像以大小为64的批量馈送到网络。试验了不同的批量大小，但由于内存限制，使用了标称大小64。不同的超参数见表4。5. 实验装置5.1. 数据集这项工作使用的孤立手写泰米尔字符数据集开发的惠普实验室印度。该数据集包含156个不同的泰米尔字符（hpl-tamil-iso-char），这些字符由来自印度南部各个城市的泰米尔本地作家使用 HPTabletPC1编写。该数据集包含每个类别大约500个样本（很少有类别有大约300个样本），总共有82，928个样本，并且可以免费获得。整个泰米尔字符集可以用这156个唯一字符表示（表3）。5.2. 培训和测试过程在这个实验设置中，使用了所有156个类，其中每个类有大约500个样本。数据集中共有82，928张图像，在运行期间以80：20的比例分为训练和验证图像。为了训练和测试神经网络，Keras被用作Tensorflow的深度学习框架（Abadi et al.，2016）作为后端。整个培训和测试都是在配备英特尔酷睿i5处理器（CPU）和8 GB RAM的Windows 64位台式个人计算机上进行的。图3显示了我们HTCR系统的完整培训和测试过程。CNN模型是用在前面部分中指定的架构创建的。在设置了一些属性（如第1http://lipitk.sourceforge.net/datasets/tamilchardata.htm作为优化器，批量大小。我们使用Adam优化器，学习率为0.001（表4）。经过多次不同批量的试验，我们将批量固定为64。由于整个设置是在CPU上进行的，因此无法运行一旦模型被编译，预处理的数据集就被加载到模型中。训练进行了100个epoch，每个epoch验证后，对验证部分进行验证。我们使用早期停止方法来避免网络的过度训练。在针对不同数量的滤波器、核大小调整参数之后，保存具有最佳精度的最终模型。保存的模型用于测试在训练或验证中未看到的全新数据（测试数据集可在HPLabs数据集中获得）测试集由26，926个样本组成，每个类170个样本，并且还提供了地面真实值。6. 结果和讨论我们的基线架构给出了99.37%的训练准确率和89%的验证准确率，这清楚地表明了过拟合。所以我们实施了一些方法来克服同样的问题。一种这样的方法是dropout，这是一种正则化技术，它被引入到网络中存在的每个卷积层中，从概率0.1开始，每层增加0.1（图2）。通过dropout，我们能够减少过拟合，并在偏差方面进行权衡，这相当于95.16%的训练准确率和92.74%的验证准确率。在具有8 GB RAM的CPU系统中，训练所需的总时间为37 h。训练和验证精度如图4所示。将测试集输入到训练模型中，识别准确率为97.7%。如表5所示，将结果与以前的工作进行了比较。在Bhattacharya等人所做的工作中，使用k-均值聚类来形成字符类的组，并且使用MLP分类器来分类字符是否属于该组所以，我们不能比较这些结果B.R. 卡维塔角Srimathi/沙特国王大学学报1189图五. 测试集中的一些错误识别的字符。直接与我们的工作。但是，他们的整体识别准确率远远低于我们。Shanti等人使用SVM分类器对106个类进行了训练，在测试阶段只对34个类进行了分类I）和32类（，发音为Jha）是相似的。此外，三胞胎类（76，122，127）（，，），（77，123，128）（，，），（78，124，129）（，，），（79，125，130）的字符的书写提出了字符的虚拟识别方法Vijayaragavan和（，，），（80，126，131）（，，）根据有关人士所Sra使用CNN对35个类进行分类，并达到了99%的训练准确率和94.4%的测试准确率。但只有34节课。与所有这些工作相比，我们的工作使用了所有的156类，并取得了95.16%的训练准确率和97.7%的测试准确率。我们还将我们的工作与由七个密集层构建的简单神经网络进行了比较。该网络使用近750万个参数进行训练，训练准确率为82.61%，测试准确率为79%。当与地面真相相比时，我们已经确定了以下错误识别的字符。图5显示了一些错误识别的字符。它们中的大多数都是相似的字符，例如9类（，读作O）和10类（，读作Oo）几乎相似，除了末端的曲线第8章（亲，亲，亲）几乎是一样的，因为这些字符是从其他语言借来的，它因此，这些字符往往被我们的系统误认为是三胞胎中的任何一个类。由于我们有156个类，我们无法呈现所有类的混淆矩阵。因此，我们已经训练了一个较小的13类子集（12个元音和一个特殊字符，），图中显示了相同的混淆矩阵。 六、7. 结论本文提出了一种用于离线手写泰米尔字符识别的深度学习方法。实验结果表明，该方法具有较好的性能1190B.R. 卡维塔角Srimathi/沙特国王大学学报见图6。 13类泰米尔字符，12个元音和一个特殊字符（）的子集的混淆矩阵。传统的方法。这个97.7%的测试准确度甚至可以通过调整超参数来提高。此外，大多数错误是由于书写模糊的相似字符。本文所给出的结果可作为标准基准用于HTCR研究。我们要感谢印度惠普实验室提供的数据集，该数据集可供研究社区免费使用。引用Abadi，M.，阿加瓦尔，A.，Barham，P.，Brevdo，E.，陈志，Citro，C.，Corrado，G.S.，Davis，A.，Dean，J.，Devin，M.，Ghemawat，S.，2016. Tensorflow：异构分布式系统上的大规模机器学习。arXiv预印本arXiv：1603.04467。巴塔查里亚大学，Ghosh，S.K.，Parui，S.，2007.一种手写泰米尔字符的两阶段识别方案。In：2007. ICDAR 2007。第九届国际文件分析和识别会议。IEEE，pp.511- 515Boufenar角，Kerboua，A.，Batouche，M.，2017. 离线手写体阿拉伯字符识别的深度学习研究。认知。系统Res.Canziani，A.，Paszke，A.，库鲁谢洛，E.，2016.深度神经网络模型的实际应用分析。arXiv预印本arXiv：1605.07678。Ciregan，D.，迈耶，美国， Schmidhuber，J.， 2012. 用于图像分类的多列深度神经网络。2012年IEEE计算机视觉和模式识别会议（CVPR）。IEEE，pp. 3642- 3649Cire s，an，D.，迈耶，美国，2015年。 用于脱机手写体汉字分类的多列深度神经网络。2015 年 国 际 神 经 网 络 联 合 会 议 （ International Joint Conference on NeuralNetworks，IJCNN）IEEE，pp. 1比6Elleuch，M.，Tagougui，N.，Kherallah，M.，2017.基于正则化方法的DBN优化在阿拉伯手写体识别中的应用。Procedia计算Sci. 108，2292-2297。El-Sawy，A.，Loey，M.，哈齐姆E.B. 2017.基于卷积神经网络的阿拉伯手写体字符识别。WSEAS Trans.Comput. Res. 5，11-19。Glorot，X.，本焦，Y.，2010.了解训练深度前馈神经网络的难度。在：第十三届人工智能和统计国际会议的会议记录，pp。 249- 256他，K.，张，X.，Ren，S.，孙，J.，2016.用于图像识别的深度残差学习。在：IEEE计算机视觉和模式识别会议论文集，pp。 770-778Ioffe，S.，塞格迪角，澳-地2015.批量归一化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167何塞，T. M.，Wahi，A.，2013.基于Daubechies小波变换和前馈反向传播网络的泰米尔手写体字符识别。国际计算机64（8）.克里热夫斯基，A.，萨茨克弗岛，巴西-地辛顿，通用电气，2012年。 使用深度卷积神经网络进行图像网分类。在：神经信息处理系统的进展，pp。 1097- 1105Liu，C.L.，Yin，F.，Wang，D.H.，Wang，Q.F.，2013.联机和脱机手写汉字识别：新数据库的基准测试。模式识别。46（1），155-162。Russakovsky，O.，邓，J.，苏，H.，Krause，J.，Satheesh，S.，妈妈，S.，黄志，卡帕西，A.，Khosla，A.，伯恩斯坦，M.，伯格，AC，2015.图像网大规模视觉识别挑战。Int.J. Comput. Vision 115（3），211-252.Shanthi，N.，Duraiswamy，K.，2010.一种新的基于SVM的手写泰米尔字符识别系统。模式肛门。Appl. 13（2），173-180。西蒙尼扬，K.，齐瑟曼，A.，2014年。用于大规模图像识别的极深卷积网络arXiv预印本arXiv：1409.1556。Srivastava，N.，Hinton，G.，克里热夫斯基，A.，萨茨克弗岛，巴西-地Salakhutdinov河，2014. Dropout：防止神经网络过拟合的简单方法。 J·马赫。学习. Res. 15（1），1929-1958.Sureshkumar，C.，Ravichandran，T.，2010.用神经网络识别和转换手写泰米尔字符。国际计算机Sci. Eng.2（7），2261-2267。塞格迪角，澳-地刘伟，Jia，Y.，塞尔马内，P.，里德，S.，安格洛夫，D.，尔汗，D.，范豪克，五、拉比诺维奇，A.，2015年6月更深的回旋。Cvpr。蔡角，澳-地使用深度卷积神经网络识别手写日语字符;技术报告;斯坦福大学：斯坦福，加利福尼亚州，美国，2016年; pp.1-7号。Vijayaraghavan，P.，Sra，M.，2014.使用卷积神经网络的手写体泰米尔文识别。Zeiler，医学博士，弗格斯河，巴西-地2014.可视化和理解卷积网络。在：欧洲计算机视觉会议。Springer，Cham，pp. 818- 833Zhang，X.Y.，本焦，Y.，Liu，C.L.，2017.联机与脱机手写汉字识别：综合研究与新基准。模式识别。61，348-360。