中文拼写纠错中引入纠错机制的研究

沙特国王大学学报EDMSpell：将纠错机制引入中文拼写纠错中，解决过改问题雷胜c，徐振兴a，李晓龙1，李晓龙b，蒋占思aa桂林电子科技大学机电工程学院，广西桂林541004b湖南工商大学计算机学院，湖南长沙410205c武汉理工大学自动化研究所，湖北武汉430070阿提奇莱因福奥文章历史记录：2023年1月17日收到2023年4月2日修订2023年4月30日接受2023年5月16日网上发售2000年海安会：00001111保留字：中文拼写纠正后处理鉴别器A B S T R A C T中文拼写纠正是一项重要而又具有挑战性的任务，它的目的是检测和纠正文本中的拼写错误，并引起越来越多的关注。现有的基于预训练语言模型（PLM）的CSC模型虽然具有很强的纠错能力，但也存在许多正确的字符被错误地纠正的问题。在实际应用场景中，过度校正的问题尤其严重为了缓解这种情况，我们提出了一种新的后处理模型：EDMSpell，它利用两个鉴别器对校正后的结果进行后处理。具体而言，采用这种更正的最终决定是通过辨别原句和更正句是否正确来作出的。为了验证其有效性，我们进行了全面的实验和烧蚀测试。在SIGHAN15基准测试上的实验表明，EDMSpell可以显著降低模型的误报率，平均降低5.4分，同时还可以在9个模型上将纠错F1指标平均提高1.4分版权所有2023作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY许可下的文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍作为自然语言处理（NLP）的主要下游任务之一，拼写校正被广泛用于实际场景，诸如搜索查询校正（Martins等人，2004）、自动语音识别（Errattahi等人，2018）和光学字符识别（Afli等人，2016年）。在正式的官方文件中，拼写错误可能会导致严重的后果，法律文书或公告就是如此。因此，在出版前发现拼写错误是非常必要的特别是*通讯作者。电子邮件地址：xuanfeng1992@whut.edu.cn（L.Sheng），freemanxzx@gmail.com（Z. Xu），lxl@hutb.edu.cn（X. Li），jzs@guet.edu.cn（Z. Jiang）。1共同第一作者。沙特国王大学负责同行审查q国家自然科学基金项目61874120，湖南省科技创新计划项目2020SK2026。与西方语言不同的是，中文字符之间没有空格分隔符，中文拼写错误主要源于语音和视觉相似但语义不同的多字单词之间的混淆。根据统计数据（Liu et al.，2010），83%的拼写错误来自相似的声音，46%来自相似的字形。这些因素使得中文拼写纠正（CSC）更具挑战性。预训练模型的繁荣，例如，GPT（Radford等人， 2018），BERT（Devlin等人， 2019），ROBERTA（Liu et al.， 2019）和ELECTRA（Clark等人，2020年），为NLP任务带来了新的开放和质的飞跃。当然，它们也提高了中文拼写纠正的性能。其中，基于BERT的方法产生的结果优于传统模型（Zhang et al.，2020; Cheng等人，2020; Wang等人，2021年）。 Liu等人（2021），Xu et al.（2021），Lv等人（2022）将不同的语音和语音特征整合到BERT模型中，以提高纠错效果。这些类型的方法在纠正错误方面都非常出色，如表1中的第一个示例所示。然而，没有考虑过校正的情况，即，如表1中的第二示例所示，将原始正确单词视为错误。过度更正会扭曲文本的含义，就像更正不足一样，甚至可能遭受更严重的后果，因为作者最初https://doi.org/10.1016/j.jksuci.2023.1015731319-1578/©2023作者。由Elsevier B.V.代表沙特国王大学出版。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comL.盛、Z. Xu，X. Li等人沙特国王大学学报2表1不同类型的CSC结果示例，错误和正确字符分别标记在和中。“trans.”是翻译的简称。图1.一、 使用BERT（ Devlin等人， 2019）模型来评估 SIGHAN 15的评估结果（Tseng等人，2015）测试集，具有不同的句子错误率。‘‘sentence写得很正确。因此，需要对这一问题给予同等重视。Gou和Chen（2021）对此进行了分析，得出的结论是训练集和测试集的不一致分布是过度校正的关键障碍。受Gou and Chen（2021）的启发，我们设计了一个基本实验来验证模型在不同句子错误率（错误句子的百分比）下的纠错能力。结果如图1所示，随着整个测试集中句子错误率的降低，模型的正确准确率和F1分数同时降低，而召回率略有增加。我们进一步分析了错误的情况下，发现模型过校正变得更糟的句子错误率降低。但在我们的实际应用场景中，句子的错误率普遍较低，矫枉过正问题非常严重。我们推测，如果模型的过校正能力可以显着降低，同时保持模型的校正能力，那么模型的整体纠错能力将得到增强。为了缓解汉语拼写校正中的过校正现象，我们在原有的CSC模型基础上增加了后处理操作来过滤过校正的情况。通过对CSC模型中的原句和修正句进行错误检测，我们的后处理模型（EDMSpell）决定是否采用修正后的字符。EDMSpell由三个部分组成，一个字符级错误检查器（表示为SEC），一个字符级错误检查器（表示为CEC），和一个融合策略。SEC组件在粗粒度级别确定句子是否有错误，而CEC在细粒度级别确定它。通过融合这两个粒度的结果来做出关于是否保留校正结果的最终决定。为了验证后处理模型可以适应不同的CSC模型，我们实现了许多CSC模型并在SIGHAN 15上进行实验（Tseng等人，2015）验证集。实验结果表明，加入后处理后，CSC模型的过校正情况得到了很大改善，模型的性能得到了进一步提高。我们的贡献概括如下：我们分析了现有CSC模型在不同句子错误率下的纠错能力。我们进行了大量的实验，并表明后处理模型能够提高误差校正F1度量的平均1.4点的9个CSC模型，也可以显着降低模型的假阳性率2. 相关工作本部分介绍了本文的相关工作。在下文中，我们首先介绍与中文拼写校正相关的工作，然后简要介绍与使用后处理相关的工作。2.1. 中文拼写纠正由于CSC任务是自然语言处理的许多下游任务的基础已经提出了几种技术来解决这个问题。早期的方法主要是基于统计规则的方法和基于机器学习的方法（Huang et al.，2000; Liu等人， 2011; Yeh等人，2013年）。Yu和Li（2014）使用字符级n-gram语言模型来检测潜在的拼写错误字符，并采用混淆集来找到正确的候选字符。随着深度学习的快速发展，现在大多数方法都是基于深度学习的方法。Cai等人（2018）将句子的102个元素引入基于注意机制的机器翻译模型，以解决中文拼写错误纠正问题。Wang等人（2018）使用OCR和ASR技术生成了大量的CSC数据集，并使用双向LSTM模型来验证生成的数据集的有效性。该数据集被后来的工作广泛采用，作为训练数据集的一部分。最近，使用预先训练的语言模型，例如BERT（Devlin etal.，2019年），作为承担中文纠错任务的骨干网络。软掩蔽BERT（Zhang等人，2020）使用BERT实现了检测网络和纠错网络，并融合MASK策略进行纠错。 SpellGCN（Cheng等人， 2020）使用图神经网络将字母和字素相似性特征融合到语言模型中。PLOME（Liu等人，2021）集成了● 我们提出了一个简单有效的后处理模型，可以大大改善CSC任务的过校正问题。2拼音是汉语普通话的官方罗马化系统，字面意思是“拼写的声音”。详情请访问https://en.wikipedia.org/wiki/Pinyin●●L.盛、Z. Xu，X. Li等人沙特国王大学学报3f···g1/4 f···g21/4 f·· ·2gfg针对大规模预训练语言模型的特点，取得了较好的效果。 DCN（Wang等人， 2021）考虑了句子之间的相邻关系，试图解决汉语连字错误。REALISE（Xu等人，2021）验证了多模态信息可以有效地帮助汉语纠错任务。ECSpell（Lv等人，2022）提出了一种新的错误一致性方法来预训练语言模型，并使用用户词典来提高整体纠错效果，最终实现最先进的性能。2.2. 后处理尽管当前最先进的CSC模型具有很高的纠错能力，但在精度上仍有很大的改进空间。一些研究者通过后处理操作对候选结果进行筛选，从而改进了模型 FASpell（Hong等人， 2019）利用汉字之间字形和字形的相似性，通过人工设置过滤曲线来过滤候选结果。 HeadFilt（Nguyen等人， 2021）利用分级字符嵌入来对候选结果进行自适应过滤，从而避免了对人工构造的混淆集的需要。 ECOPO（Li等人， 2022）发现，当使用预先训练的语言模型进行纠错时，该模型倾向于将不正确的字符纠正为语义正确或常用的字符。然后提出了一个错误驱动的对比学习框架来优化CSC模型。因此，在一定程度上减少了过校正问题ThinkTwice（Gou and Chen，2021）使用原始和校正后的候选字符的不同特征以及SVM（Cortes and Vapnik，1995）分类器来执行后处理操作，以提高整体纠错性能。受这些工作的启发，我们提出了一个简单有效的后处理模型，以减轻CSC模型的过度校正的情况。与他们的方法不同，我们的方法不需要使用混淆集和手动特征提取，而是简单地使用两个分类器来过滤候选结果。3. 方法本节介绍我们的方法EDMSpell的CSC任务。下面，我们首先介绍问题的形成和动机。然后，详细介绍我们的方法。图2说明了我们的模型的框架，它是由校正模块和后处理模块。3.1. 问题和动机非正式地，CSC任务可以表述如下：输入：X¼ fx1;x2;···;xng输出：Y¼fX其中f代表CSC算法，n是输入单词的数量。大部分文献将Y定义为y1;y2;;yn，这意味着输入和输出维度是相同的。实际上然而，它们并不总是完全相等的，因为也存在冗余词和缺失词的情况。当xi对于确实写错的情况，前面提到的最先进的CSC方法可以以更高 的概 率给 出 正确 的根 据当 前 最佳 模型 ECSpell （ Lv et al. ，2022），句子纠正水平的召回率为0.817，这意味着八出10个错误的句子都能被正确地纠正过校正问题出现时，yi被用来correct的情况下，xi是正确的错误。我们的模型就是为了处理这种情况而设计的。CSC可以分为两个步骤：错误检测和错误纠正。错误检测重点只对错别字在句子中的位置进行纠错，然后在发现错别字的位置进行纠错，当出现过纠错时，说明模型的纠错能力太强。如果增加另一个步骤来辨别纠错结果是否正确，则减轻过校正我们的想法很简单，向所述原始任意模型添加用于确定句子或字符是否被错误拼写的字符串。我们希望在两个不同的级别结合粗粒度和细粒度的功能，以确定是否出现过校正的情况当我们有一个细粒度的对象时，为什么我们需要一个粗粒度的从逻辑上讲，句子级（粗粒度）错误可以完全从字符级（细粒度）错误推断出来。然而，一方面，由于细粒度的SVM和先前的CSC模型都使用细粒度的特征，它们可能会输出一些相似的结果;另一方面，由于汉语的特殊语义特征（例如，同音异义词、同音异义词、多音节词、同形异义词等），该模型难以从字符级误差完全导出字符级误差因此，我们使用两种粒度鉴别器。将句子级和字符级判别器相结合，对模型校正后的句子进行正确与否判别，从而更好地我们希望通过使用两个错误检测器来过滤掉过校正的情况，以提高整体的校正效果3.2. EDMSpell的结构我们提出的模型的框架如图2所示。整个体系结构被构造成两个橙色的块：左边的纠错组件和右边的识别组件。前者可以是现有的任意纠错模型，而后者是设计用于确定句子或字符是否有错误的模型。该系统由三部分组成：一个字符级错误检查器，一个字符级错误检查器和一个融合策略。3.2.1. 句子级错误检查器一个句子级错误检查器（SEC）将决定一个句子是否有拼写错误，因此，它可以被公式化为一个二元分类模型。给定一个包含n个字符的句子Xx1;x2; ;xn，目标是输出标签y0; 1。正确的句子标记为0，1代表不正确的句子。构造分类器的一种简单、容易和有效的方法是使用BERT基础模型作为特征提取器，然后连接一个全连接层。众所周知，当使用BERT执行单句任务时，输入需要分别在句子嵌入的开始和结束处使用[CLS]和[SEP]特殊符号其中，[CLS]作为整个句子的语义表示如图 3所示。非正式地，输入句子表示是XCLS;x1;x2;;xn;SEP。经过多层Transformer进化后，BERT最终隐藏层的语义表示hiR768。我们采取的隐藏特征h0的第一个特殊字符[CLS]和制定的任务作为一个条件分类问题建模和最大化的条件概率。错误句子的条件概率定义为：psyjXsoftmax Wsh0bsL.盛、Z. Xu，X. Li等人沙特国王大学学报4¼ -NncSSX图二. EDMSpell的架构。左边是纠错模型，右边是后处理模型。图三. 高级错误检查器。见图4。 令牌级错误检查器。其中Ws2 Rns×768和bs2Rn是可学习的参数。ns表示类别的数量，这里类别的数量是2.学习目标是：1NLslogpyjX1/1pcyijXsoftmax Wchibc其 中 Wc2 Rnc×768 和 bc2R 是 可 学 习 参 数 ， hi 表 示 xi 的 最 后 一 个Transformer层的隐藏特征。Nc表示类别的数量，这里类别的数量是2。学习目标是：其中N是训练样本的数量。Lc1XXloggyjX3.2.2. 计算机级错误检查器¼ -NC我联系我们语法级的错误检查器只能对句子的拼写错误进行粗略的判断，而错误纠正是针对每个字符进行的。因此，仅仅一个句子级错误检查器是不够的，还需要一个字符级错误检查器（表示为CEC），它检测句子中的每个字符是否是个打印错误类似地，它是一个二元分类器，其构造方式与分级检查器相同。0表示字符正确，1表示错误。模型图如图4所示。给定句子中第i个预测字符的条件概率定义为：其中N是训练样本的数量。3.2.3. 融合策略有了句子和字符错误判定器，本节讨论了如何融合它们的检查结果来判断是否有任何过校正情况。在不失一般性的情况下，X和Xi被指定为原始输入句子和X中的任何字符，而Y和Yi被分别指示为CSC校正之后的输出句子和YSEC对X的同时作用，L.盛、Z. Xu，X. Li等人沙特国王大学学报58>f2½]g> 1;如果ys1¼0和ys2¼0：>个2种方式（Li等人，2021）：这种方式使用特定于任务的预训练策略和对抗性训练方法来提高●Y，并且通过CEC的Xi和Yi的计算可以用以下公式表示。ys1¼SECXys2¼SECYyc1¼CECXyc2¼CECYy其中ys1;ys2;yc1; yc20; 1。我们可以将预测结果分为四种情况：1）如果原始句子X被SEC正确预测，而修正后的句子Y被SEC错误预测，这种情况被认为是过度修正。2)当原始句子X和修正句子Y都被SEC正确预测时，我们进一步分析CEC结果。原始字符Xi被预测为正确的，修改后的字符Yi被预测为错误的，这种情况也被认为是过校正。3）当所有结果都被预测为正确时，这表明句子可以用多种方式表达，在这种情况下，最好不要修改原始句子。4)在其他情况下，它被认为是正确的，并且输出校正融合策略定义如下：1个;如果ys1¼0和ys2¼11个;如果ys1¼0和ys2¼0>表2我们在实验中使用的数据集的统计数据训练集发送Avg. 长度发送错误。SIGHAN 1370041.8350SIGHAN 143,43749.63,432SIGHAN 152,33830.02,338王271K271,32942.6271,329总277,80442.6277,449测试集发送Avg. 长度发送错误。SIGHAN 151,10030.65504.2.基线方法BERT（Devlin等人，2019）：微调任务直接在采用BERT基础模型的CSC训练集上处理。SM-BERT（Zhang等人，2020年）：该方法采用BERT中的软掩蔽策略来提高错误检测的性能，它由错误检测网络和纠错网络组成。DCN（Wang等人，2021）：该方法使用动态连接网络（DCN）来解决两个相邻汉字之间的依赖关系。PLOME（Liu等人，2021）：在这种方法中，在预训练时融合了笔画和笔划特征，并利用了混淆集输出¼模型的训练过程和其他未知因素对实验结果有比较大的影响为此，我们实现了大量的基线模型，并在此基础上进行了后处理实验进行验证我们模型的普遍性。删除字符级错误检查器2）删除字符级错误检查器3）删除默认融合策略，并将定义替换为：8>1;如果ys1¼0和ys2¼04.5. 消融研究我们通过以下设置进行消融研究，探索模型中每个组件的贡献：1）输出¼yc1 1/4 0和yc2/401;如果ys1<$0和ys2<$1和yc1<$0和yc2<$1：0;否则图五、不同句子错误率下的纠错度量所有的句子都被预测为正确的，或者原句是被预测为正确的，而被校正的句子被预测为不正确的，这两者都被认为是过度校正的。我们使用BERT基础模型在SIGHAN 15测试数据集上进行消融实验。表4显示了实验结果。当删除字符级错误检查器时，检测和纠正F1分数与包含错误检查机制之前相比下降了约1.5%。这表明字符检测器是最关键的方面。当去除句子级错误检查器或融合机制时，检测和纠正的F1分数下降，但性能仍然优于错误排除机制介入之前。然而，EDMSpell可以大大降低模型因此，它可以减少矫枉过正的情况，提高工业纠错的有效性 图 5提供了一个明确的视觉例子，这一声明。4.6. 案例研究和讨论表5显示了BERT和我们的post模型的校正结果。BERT模型具有很强的语言表示表5BERT和我们的EDMSpell模型的输入和输出示例。我们分别突出显示和中的错误/正确字符。“trans.”是翻译的简称。‘‘CECOutput” and ‘‘SEC Output” represent the output of the CEC and SEC components<>L.盛、Z. Xu，X. Li等人沙特国王大学学报8并且第一和第二校正的句子在语义上都是正确的。如果没有足够的上下文信息，我们宁愿不修改原始句子。我们增加后处理的动机也源于此，以尽量减少不必要的修正.在第一个例子中，CEC组件和SEC组件都正确地预测了原始输入和BERT输出句子，并且我们可以确定BERT输出是过校正的。然而，在第二个例子中，虽然BERT输出句子被CEC组件错误地预测，但这也可以被我们的融合策略确定为过度校正。这也表明，通过结合粗粒度和细粒度鉴别器，我们可以有效地解决过校正问题。这两个鉴别器是不可缺少的。分析该模型在不同句子错误率的输入情景中的效果我们通过从测试集中随机抽取错误句子并用正确句子替换它们来构造具有不同句子错误率的验证集详细的实验结果如图所示。 5、通过添加后处理操作，模型的F1指标和FPR指标始终优于基线模型。虽然我们提出的方法可以有效地解决过校正问题，但仍有很大的改进空间。例如，构建更大的检测数据集以提高分类器的准确性，对SEC和CEC采用不同的网络结构以提高分类器的泛化能力，或者设计新的网络结构以融合粗粒度和细粒度特征以提高分类器的有效我们今后的研究将从这些方面进行改进。5. 结论在纠错模型的实际应用中，由于大多数情况下输入模型的句子都是正确的句子，拼写错误的发生率很小，因此模型的过纠错问题比欠纠错问题更受关注。针对现有中文拼写纠正算法在实际应用中的局限性，提出了一种新的简单有效的后处理模型EDMSpell。EDM-Spell通过句子级和字符级错误检查器降低了模型的过度校正率，并提高了模型的整体纠错能力实验结果表明，EDMSpell可以提高检测F1和纠错F1指标约1.0至2.0点。在未来，我们将研究如何将后处理模型和纠错模型融合到端到端模型中。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。确认我们要感谢匿名评论者的深刻评论。引用Afli，H.，邱，Z.，方式，A，Sheridan，P.，2016.使用SMT进行历史文本的OCR纠错。第十届语言资源与评估国际会议（LREC'16 ）。欧洲语言资源协会（ ELRA ） ，PortorozZurich ， 斯 洛 文 尼 亚 ， pp 。 962-966 URL ： https ： //aclanthology.org/L16-1153。蔡洪，吉，X.，宋，Y.，Jin，Y.，张玉，Mansur，M.，赵，X.，2018年Knptc：知识和神经机器翻译驱动的中文打字错误纠正。网址：https://arxiv.org/abs/1805.00741，https://doi.org/10.48550/ARXIV.1805.00741。郑，X，徐伟，陈凯，江，S.，王福，王，T.，朱，W.，齐，Y.，2020. SpellGCN：将语音和视觉相似性转化为汉语拼写检查的在：第58届年会的会议记录计 算 语 言 学 协 会 ， 计 算 语 言 学 协 会 pp.871-881. 网 址 ：https://aclanthology.org/2020.acl-main。81，https://doi.org/10.18653/v1/2020.acl-main.81。克拉克，K.，Luong，M.T.，Le，Q.V.，（英国）哥伦比亚特区曼宁2020. Electra：预训练文本编码器作为判别器而不是生成器。arXiv预印本arXiv：2003.10555。科尔特斯角，澳-地Vapnik，V.，1995. 支持向量网络。 马赫学习. 20，273-297.崔，Y.，切，W.，Liu，T.，秦，B.，王，S.，Hu，G.，2020年。重新审视用于中文自然语言处理的预训练于：2020年自然语言处理经验方法会议论文集：研究结果，计算语言学协会，在线。pp.657-668.URL：https://www.aclweb.org/anthology/2020.findings-emnlp.58.Devlin，J.，Chang，M.W.，李，K.，Toutanova，K.，2019. BERT：用于语言理解的深度双向转换器的预训练。于：计算语言学协会北美分会2019年会议记录：人类语言技术，第1卷（长文和短文），计算语言学协会，明尼阿波利斯，明尼苏达州。pp.4171-4186.网址：https://aclanthology.org/N19-1423，https://doi.org/10.18653/v1/N19-1423。埃拉塔希河，El Hannani，A.，Ouahmane，H.，2018.自动语音识别错误检测和纠正：综述。Procedia计算Sci. 128，32-37. https://doi.org/10.1016/j.procs.2018.03.005网站。网址：www.sciencedirect.com/science/article/pii/S1877050918302187。第一届自然语言和语音处理国际会议Gou，W.，陈志，2021.三思而后行：一种中文拼写纠错的后处理方法。应用科学11.https://doi.org/10.3390/app11135832网站。网址：https://www.mdpi.com/2076-3417/11/13/5832。洪，Y.，Yu，X.，他，N，Liu，N.，（1996年），美国，刘杰，2019. FASPell：一个快速，适应性强，简单，强大的基于DAE解码器范式的中文拼写检查器。 在：第五届嘈杂的用户生成的文本研讨会（W-NUT 2019）的会议记录。计算语言学协会，香港，中国，pp。一百六十-169. https://doi.org/10.18653/v1/D19-552 网 站 。 https://aclanthology.org/D19-5522章.黄，C.，Ming，Z.，张，L.，2000.基于特征和学习的中文文本错误自动检测与纠正方法Li，C.，张，C.，郑，X.，黄，X.，2021.探索与利用：改进汉语拼写纠错模型的两种途径。在：计算语言学协会第59届年会和第11届自然语言处理国际联合会议（第2卷：短文），计算语言学协会，在线。pp.441-446.URL：https://aclanthology.org/2021.acl-short.56 ， https://doi.org/10.18653/v1/2021.acl-short.56.李，Y.，周庆，李，Y.，Li，Z.，刘，R.，孙河，巴西-地王志，Li，C.，曹玉，Zheng，H. T.，2022年。过去的错误是未来的智慧：错误驱动的汉语拼写检查对比概率优化。在：计算语言学协会的调查结果：ACL 2022。计算语言学协会，都柏林，爱尔兰，pp。3202-3213. https://doi.org/10.18653/v1/2022的网站。252.调查结果-行政法庭Liu，C.L.，Lai，M.H.，Chuang，Y.H.，Lee，C.Y.，2010年。在不正确的简体中文单词中出现视觉和语音参加：Coling 2010：海报，Coling 2010组委会，北京，中国。pp. 739-747.网址：aclanthology.org/C10-2085。Liu，C.L.，Lai，M.H.，Tien，K.W.，Chuang，Y.H.，吴士雄，字子豪，Lee，C.Y.，2011年。不正确汉字中的视觉和语音相似字：分析、识别和应用。ACM亚洲语言翻译信息。过程（TALIP）10，1-39。Liu，S.，杨，T.，岳，T.，张福，Wang，D.，中国科学院，2021.中文拼写纠正的拼写错误知识预训练。在：计算语言学协会第59届年会和第11届自然语言处理国际联合会议（第1卷：长文），pp。2991-3000.网址：https://aclanthology.org/2021.acl-long.233。PDF.Liu，Y.，Ott，M.，Goyal，N.，杜，J.，Joshi，M.，Chen，D.，中国农业科学院，Levy，O.，刘易斯，M.，Zettlemoyer湖，Stoyanov，V.，2019. Roberta：一种鲁棒优化的bert预训练方法。arXiv预印本arXiv：1907.11692。洛希奇洛夫岛，巴西-地赫特，F.，2018. 修正adam中的权重衰减正则化。吕、昆、曹志，Geng，L.，艾，C.，Yan，X.，Fu，G.，2022.基于错误一致性预训练的通 用 和 领 域 自 适 应 中 文 拼 写 检 查 。 arXiv 预 印 本 arXiv ： 2203.10929 URL ：https://ar