基于PARSeq的场景文本识别

+v：mala2255获取更多论文基于置换自回归序列模型的场景文本识别Darwin Bautista和Rowel Atienza菲律宾大学电气和电子工程学院，Diliman{darwin.bautista，rowel} @ eee.upd.edu.ph抽象的。上下文感知STR方法通常使用内部自回归（AR）语言模型（LM）。AR模型的固有局限性外部LM对输入图像的条件独立性可能导致其错误地纠正正确的预测，从而导致显著的低效率。我们的方法PARSeq使用置换语言建模学习具有共享权重的内部AR LM的集合它统一了上下文无关的非AR和上下文感知的AR推理，以及使用双向上下文的迭代细化。使用合成训练数据，PARSeq在STR基准标记（91.9%准确度）和更具挑战性的数据集方面实现了最先进的（SOTA）结果。当在真实数据上训练时，它建立了新的SOTA结果（96.0%的准确度）PARSeq在准确性与参数计数、FLOPS和延迟方面都是最优的，因为它简单、统一的结构和并行的令牌处理。由于其广泛使用的注意力，它是鲁棒的任意方向的文本，这是常见 的 现 实 世 界 的 图 像 。 代 码 、 预 训 练 权 重 和 数 据 可 在https://github.com/baudm/parseq上获得。关键词：场景文本识别，置换语言建模，自回归建模，跨模态注意，Transformer1介绍机器通过首先检测文本区域，然后识别这些区域中的文本来从裁剪区域识别文本的任务称为场景文本识别（STR）。STR可以读取路标、广告牌、纸质账单、产品标签、徽标、印刷衬衫等。它在自动驾驶汽车、增强现实、零售、教育和视障人士设备等方面都有实际应用。与文本属性更统一的文档中的光学字符识别（OCR）相比，STR必须处理不同的字体样式、方向、文本形状、照明、遮挡量和不一致的传感器条件。在自然环境中捕获的图像从本质上讲，STR是一个重要但极具挑战性的问题。STR主要是一种视觉任务，但在文本的某些部分无法阅读的情况下，例如：由于遮挡物，仅图像特征将是不够的，arXiv：2207.06966v1 [cs.CV] 2022年7+v：mala2255获取更多论文t=1t=12D.包蒂斯塔河阿蒂恩萨做出准确的推断在这种情况下，语言语义通常用于辅助识别过程。上下文感知STR方法结合了来自单词表示模型[56]或字典[53]的语义先验，或者使用序列建模[6，69]从数据[60，37，3，58，38，80，24，61，10]中学 习 。序列建模具有学习端到端可训练语言模型（LM）的优势。STR方法与内部LM联合处理图像特征和语言上下文。它们通过对语言上下文实施自回归（AR）约束进行训练，其中未来的标记以过去的标记为条件，而不是相反，从而产生模型P（y|x）=QT P（yt|<其中y是图像x的T长度文本标签。AR模型有两个固有的限制，从这个约束。一是模型只能在一个方向上学习标记依赖关系-通常是从左到右（LTR）方向。这种单向性导致AR模型偏向于单一的阅读方向，从而导致虚假的后缀添加其次，在推理过程中，AR模型只能用于在用于训练的相同方向上连续输出令牌。这被称为下一个令牌或单调AR解码。(a) ABINet（b）统一STR模型（我们的）Fig. 1. （a）最先进的方法ABINet [24]使用上下文无关视觉和上下文感知语言模型的组合。语言模型的功能作为一个拼写检查器，但容易出现错误的纠正正确的初始预测，由于其条件独立的图像特征。（b）我们提出的方法通过联合处理图像和上下文特征来执行初始解码和迭代细化，从而产生单个整体输出。这避免了需要单独的语言和融合模型，从而产生更有效和鲁棒的STR方法为了解决这些限制，先前的工作已经结合了从左到右和从右到左（RTL）AR模型[61，10]，或者选择了使用具有独立或外部LM的上下文无关STR模型的集合的两阶段方法[80，24]。组合的LTR和RTL AR模型仍然受到单向上下文的影响，但通过执行两个单独的解码流（每个方向一个），然后选择具有更高可能性的预测来自然地，这导致增加的解码时间和复杂度。同时，图1a中的两阶段集成方法使用并行非AR解码获得其初始预测。解码初始无上下文预测使用上下文无关模型P（y|x）= QTP（y t|x）。t=1这使得外部LM，P（y）=QTP（yt|[24]《易经》中的“”，就是“”的意思。使用双向上下文，因为所有字符都可以同时使用。的LM作为拼写检查器，纠正初始预测，产生+v：mala2255获取更多论文基于置换自回归序列模型的场景文本识别3基于上下文的输出。LM与输入图像的条件独立性可能导致它错误地纠正正确的预测，如果它们出现拼写错误，或者如果存在具有更高可能性的类似单词。这在SRN（27.6%）和ABINet（41.9%）中LM用作拼写检查器时的低单词准确度中很明显[24]。因此，使用单独的融合层来组合来自初始预测和LM预测的特征以获得最终输出。仔细观察ABINet的LM（附录B），可以发现它对STR的效率很低。相对于其参数计数，它没有得到充分利用，并且尽管使用了完整ABINet模型的整体计算需求的很大一部分，但它的单词准确性却很差。在序列模型文献中，最近对序列生成的广义模型产生了兴趣。各种神经序列模型，如AR和基于精化的非AR模型，被证明是Mansimov等人提出的广义框架中的特例。[47]. 这一结果假定，相同的泛化可以在STR模型中完成，统一上下文无关和上下文感知STR。虽然这种统一的优点并不明显，但我们将在后面展示，这样的泛化模型允许使用内部LM，同时保持外部LM的细化能力。排列语言建模（PLM）最初是为了大规模语言预训练而提出的[79]，但最近的工作[66，55]已经将其用于学习能够进行不同解码方案的基于变换器的广义序列模型在这项工作中，我们将PLM用于STR。PLM可以被认为是AR建模的推广，PLM训练的模型可以被视为具有共享架构和权重的AR模型的集合[68]。通过使用注意掩码来动态指定标记依赖性，图2中所示的这种模型可以在给定输入上下文的任意子集的情况下学习和使用条件字符概率，从而实现单调AR解码、并行非AR解码，甚至迭代细化。图二. NAR和迭代细化（完形填空）模型与带有三元素文本标签y的图像x的AR模型集合的说明。P（y）的四种不同分解|x）（六个可能的中的一个），其中每个ch由下标中所示的因子分解顺序y 确定总之，最先进的（SOTA）STR方法[80，24]选择了两阶段集成方法，以便使用双向语言上下文。低+v：mala2255获取更多论文4 D. 包蒂斯塔河阿蒂恩萨尽管训练和运行时间要求增加，但其外部LM的字准确性突出了对更有 效 方 法 的 需 求 为 此 ， 我 们 提 出 了 一 个 替 代 的 自 回 归 序 列（PARSeq）模型的STR。PARSeq经过PLM训练，是一个结构简单的统一STR模型，但能够进行上下文无关和上下文感知的推理，以及使用双向（完形填空）上下文的迭代细化。PARSeq在STR基准测试中针对所有字符集（表4）的合成和真实训练数据（表6）实现了SOTA结果，同时在参数、FLOPS和运行时的使用方面也是最佳的（图5）。为了进行更全面的比较，我们还对包含遮挡和任意方向文本的更大和更困难的真实数据集进行了基准测试（图4b）。PARSeq同样在这些数据集中实现了SOTA结果（表5）。2相关工作Longet al.[45]Chenet al.[13]对STR中的不同方法进行了全面的讨论。在本节中，我们重点讨论了STR中语言语义的使用。上下文无关STR方法直接从图像特征预测字符输出字符是相互独立的条件。最突出的方法是基于CTC的[27]方法[59，44，72，11]，少数使用不同的方法，如自注意[23]将特征池化到字符位置[2]，或将STR作为多实例分类问题[30，12]。 包围方法[80，24]使用注意力机制[6，69]来产生初始的无上下文预测。由于上下文无关方法仅依赖于图像特征进行预测，因此它们对诸如包含或不完整字符的损坏不太鲁棒。这种限制促使使用语言语义来使识别模型更加鲁棒。上下文感知STR方法通常使用从数据中学习的语义来帮助识别。大多数方法[3，37，60，14，61]使用RNN注意力[6]或变形金刚[58，38，10]使用标准AR训练来学习内部LM。这些方法限于单调AR解码。Encoding方法[80，24]通过外部LM使用双向上下文进行预测细化。外部LM对图像特征的一致性独立性使其易于错误校正，从而限制了有用性，同时招致显著的开销。VisionLAN [75]通过在训练过程中选择性地掩蔽单个字符的图像特征来学习语义，类似于去噪自动编码器和掩蔽语言建模（MLM）[21]。与之前的工作相比，PARSeq使用PLM而不是标准的AR建模来学习内部LM。 它通过使用参数化来支持灵活解码，该参数化将目标解码位置从输入上下文中分离出来，类似于双流注意力的查询流[79]。不像ABINet[24]使用完形填空上下文进行训练和推理，PARSeq仅将其用于迭代细化。此外，如前所述，ABINet的细化模型有条件地独立于内部模型。+v：mala2255获取更多论文∈使用置换自回归序列模型的场景文本识别5Put image，而PARSeq在细化过程中考虑输入图像和语言上下文。从序列模型生成可以分为两种对比方案：自回归（一次一个令牌）和非自回归（一次预测所有令牌）。Mansimov等人[47]提出了一个统一上述方案的序列生成通用BANG[55]将双流注意力[79]用于MLM，与我们使用PLM相反。PMLM[40]使用MLM的泛化进行训练，其中掩蔽率是随机的。使用统一先验的变体被证明等同于PLM训练的模型。与我们的工作关系最密切的是Tian等人。[66]其通过散布来自不同层的内容和查询流来使双流注意参数化[79]适应于解码器。相比之下，我们的解码器不使用自我注意，也不穿插两个流。这允许我们的单层解码器仅使用查询流，并避免未使用的内容流的开销。3置换自回归序列模型在本节中，我们首先介绍PARSeq的基于transformer的模型架构。接下来，我们讨论如何使用置换语言建模来训练它最后，我们通过讨论不同的解码方案和迭代细化过程来展示如何使用训练模型进行推理。3.1模型架构多头注意力（MHA）[69]被PARSeq广泛使用。我们将其表示为MHA（q，k，v，m），其中q、k和v表示所需的参数query、key和value，而m表示可选的注意掩码。我们在附录C中提供了关于MHA的背景材料。PARSeq遵循编码器-解码器架构，如图3所示，通常用于序列建模任务。编码器有12层，而解码器只有一层。这种深-浅配置[33]是一种精心设计的选择，可最大限度地降低模型的总体计算要求，同时对性能的影响可忽略不计。 详情见附录D。ViT编码器。Vision Transformer（ViT）[23]是Transformer对图像的直接扩展。一个ViT层包含一个MHA模块用于自我注意，即. q=k= v。编码器是一个12层ViT，没有分类头和[CLS]令牌。对一幅宽W、高H、通道数C的图像x RW × H × C进行标记化，首先将其均匀划分为pw× ph块，然后对每个块进行平坦化，再利用块嵌入矩阵Wp∈RpwphC×d模型将其线性投影为d个模型维标记，得到（WH）/（pwph）个标记. 在被第一ViT层处理之前，将相等尺寸的学习位置嵌入+v：mala2255获取更多论文×d∈∈∈6 D. 包蒂斯塔河阿蒂恩萨图三. PARSeq架构和培训概述。 由于空间限制，LayerNorm和Dropout层被省略。[B]、[E]和[P]分别代表序列标记（BOS）、序列结束（EOS）和填充令牌。T=25导致26个不同的位置标记。位置标记既充当输入上下文的查询向量又充当位置嵌入。对于[B]，不添加位置嵌入。 注意掩码是从给定的排列中生成的，只用于上下文位置的注意. Lce属于交叉熵损失与标准ViT相比，所有输出令牌z都用作解码器的输入：W Hz=Enc（x）∈Rpwph模型（1）视觉语言解码器。解码器遵循与前LayerNorm [5，74] Transformer解码器相同的架构，但使用两倍数量的注意头，即. nhead=dmodel/32. 它有三个必需的输入，包括位置、上下文和图像标记，以及一个可选的注意力掩码。在下面的等式中，为了简洁起见，我们省略了LayerNorm和Dropout第一个MHA模块用于hc=p+MHA（p，c，c，m）∈R（T+1）×d模型（2）其中T是上下文长度，pR（T+1）×d模型是位置标记，CR（T+1）×d模型 是具有位置信息的上下文嵌入，以及MR（T +1）×（T +1）是可选的注意掩码。请注意，使用特殊[B]或[E]）将总序列长度增加到T+1。位置标记对要预测的目标位置进行编码，每个位置标记与输出中的特定位置直接对应。这种参数化类似于双流注意力的查询流[79]。它将上下文从目标位置中分离出来，允许模型从PLM中学习。如果没有位置标记，即。如果上下文令牌被用作查询本身，就像在标准Transformer中一样，模型将不会从PLM中学习任何有意义的东西，并且将简单地像标准AR模型一样工作。所提供的遮罩因模型的使用方式而异在训练过程中，掩码是从随机排列中生成的（第3.2节）。在推理+v：mala2255获取更多论文∈t=1ΣΣ∈Z基于置换自回归序列模型的（第3.3节），它可以是一个标准的从左到右的前瞻掩码（AR解码），一个完形填空掩码（迭代细化），或者根本没有掩码（NAR解码）。第二个MHA用于hi=hc+MHA（hc，z，z）∈R（T+1）×d模型（3）其中不使用注意掩模最后的解码器隐藏状态是MLP的输出，hdec=hi+MLP（hi）∈R（T+1）×d模型。最后，输出logits是y = Linear（hdec）R（T+1）×（S+1），其中S是用于训练的字符集（charset）的大小。附加字符属于[E]标记（标记序列的结束）。总之，给定注意掩码m，解码器是采取以下形式的函数：y=Dec（z，p，c，m）∈R（T+1）×（S+1）（4）3.2置换语言建模给定一个图像x，我们希望在一组模参数θ下最大化其文本标签y=[y1，y2，..........，yT]的可能性。在现代AR建模中，使用链式规则根据规范或-dering，[1，2，. . . ，T]，从而得到模型dellogp（y|x）=T logpθ（yt|y = 6时才开始令人满意地执行。这一结果表明，PLM确实需要实现统一的STR模型。直觉上，NAR解码在仅对前向和/或反向排序（K = 2）进行训练时将不起作用<，因为训练上下文的种类是不够的。NAR解码依赖于每个字符的先验知识，只有当字符集中的所有字符都作为序列的第一个字符自然存在时，这些字符才能得到充分的训练。最终，K=6提供了解码准确性和训练时间之间的最佳平衡。我们的内部LM的非常高的完形填空准确率（94%）突出了联合使用图像特征和语言上下文进行预测改进的优势。毕竟，STR中的主要输入信号是图像，而不是语境。+v：mala2255获取更多论文12 D. 包蒂斯塔河阿蒂恩萨表3. 基准测试的94字符字准确度与用于训练PARSeq的排列数（K）。AR和NAR解码均未使用细化迭代。完形填空的准确度与一次精化迭代的单词准确度有关。它是通过使用地面实况标签作为初始预测来测量的KAR acc.NAR acc.完形填空培训时数193.040.0171.145.86293.4822.6994.557.30693.3492.2294.818.481292.9191.7194.5910.102492.6791.7294.3613.534.5与最新技术水平（SOTA）的我们比较PARSeq流行的和最近的SOTA方法。除了已发表的结果，我们还复制了一系列选择的方法，以进行公平的比较[3]。在表6中，与原始结果相比，大多数再现方法获得更高的准确度。例外是ABINet（组合准确度下降约1.4%），其最初使用更长的训练时间表（LM和VM分别预训练80和8个时期）和额外数据（WikiText-103）。对于合成和真实数据，PARSeqA实现了最高的单词准确度，而PARSeqN始终排名第二或第三。当使用真实数据时，与原始报告的结果相比，所有复制的模型都获得了更高的准确性，而PARSeqA建立了新的SOTA结果。在表4中，我们显示了每个字符集的平均准确度。当使用合成数据进行训练时，从36到62和94字符集的准确性急剧下降。这表明在合成数据集中缺乏大小写字符的多样性同时，PARSeqA在所有字符集大小上始终达到最高的准确性。最后，在表5中，PARSeq对遮挡和文本方向可变性是最鲁棒的。附录J包含更多关于任意定向文本的实验。请注意，这些更大、更具有挑战性的数据集更好地揭示了方法之间的准确性差距。图5显示了准确性和常用成本指标（如参数计数、FLOPS和延迟）方面的成本-质量权衡PARSeq-S是用于所有结果的基础模型，而-Ti是其按比例缩小的变体（详见附录D）。注意，对于PARSeq，无论解码方案如何，参数计数都是固定的。PARSeq-S实现了最高的平均单词准确度，并在三个指标中表现出非常有竞争力与ABINet和TRBA相比，PARSeq-S使用的参数和FLOPS显著减少。在延迟方面（附录I），具有AR解码的PARSeq-S比TRBA稍慢，但仍然比ABINet快得多。同时，PARSeq-Ti实现了比CRNN高得多的字准确度，尽管类似的参数计数和FLOPS。PARSeq-S是帕累托最优的，而-Ti是低资源应用程序的一个引人注目的替代方案。+v：mala2255获取更多论文使用置换自回归序列模型的场景文本识别13表4.基准测试中的平均单词准确度与评估字符集大小88.6±0.0 69.5±1.089.8±0.2 68.5±1.191.9±0.275.5±0.694.3±0.1 92.8±0.195.2±0.1 93.7±0.196.0±0.094.6±0.0表5. 在更大和更具挑战性的数据集上的36字符单词准确度测试数据集和样本数量66.1±0.1 56.4±0.537.6±0.365.4±0.4 57.1±0.8 34.9±0.3PARSeqNS 69.1±0.2 60.2±0.8 39.9±0.545.2±0.349.7±0.3PARSeq AS70.7±0.164.0±0.942.0±0.551.8±0.4CRNN R 66.8±0.2 62.2±0.3 51.0±0.2ViTSTR-S R 81.1±0.1 74.1±0.4 78.2±0.1TRBA R 82.5±0.2 77.5±0.2 81.2±0.3ABINet R 81.2±0.1 76.4±0.1 71.5±0.7PARSeqNR 83.0±0.2 77.0±0.2 82.4±0.356.3±0.278.7±0.181.3±0.274.6±0.482.1±0.2PARSeq AR84.5±0.179.8±0.184.5±0.184.1±0.094P-TiA92P-SAP-SN ABINetTRBAP-T IAP-SAP-SNTRBAABINetP-SAP-SNTRBAViTSTR-SABINetViTSTR-SViTSTR-SP-TiAP-TiN90P-TiNP-TiN88小行星86CRNNCRNN20 40参数[M]2 46浮点数[G]10 20延迟[msec/图像]图五、 平均单词准确度（94个字符）与计算成本。 P-S和P-Ti分别是PARSeq-S和PARSeq-Ti的简写。 对于TRBA和PARSeqA，FLOPS和延迟对应于在基准上测量的平均值方法列车数据36字符62字符94-字符CRNNViTSTR-STRBAABINetPARSeqNPARSeqASssSSS83.2±0.290.6±0.190.7±0.256.5±0.371.9±0.972.5±1.154.8±0.267.7±1.069.9±0.866.4±1.070.5±1.173.0±0.7CRNNViTSTR-STRBAABINetPARSeqNPARSeqARrrrRR88.5±0.195.2±0.295.2±0.187.2±0.193.7±0.193.7±0.185.8±0.191.8±0.192.5±0.192.4±0.192.7±0.193.3±0.1准确度[%]方法训练数据35，149土耳其里拉COCO9，825Uber80，551共计125 525公司简介ViTSTR-S STRBA SABINet S57.3±0.168.2±0.149.3±0.661.4±0.433.1±0.338.0±0.341.1±0.347.0±0.248.3±0.2+v：mala2255获取更多论文第十四章D. 包蒂斯塔河阿蒂恩萨表6. 六个基准数据集上的单词准确性（36字符）。对于训练数据：合成数据集（S）- MJ[30]和ST[28];基准数据集（B）- SVT，IIIT 5 k，IC 13和IC 15;真实数据集（R）- COCO，RCTW 17，Uber，ArT，LSVT，MLT 19，ReCTS、TextOCR和OpenVINO;“*”表示字符级标签的使用。在我们的实验中，粗体表示每列的最高单词准确率。1与SCAT- TER一起使用[43]。2个不含特殊字符的SynthText（550万个样本）。3 LM在WikiText-103上预训练[48]。组合精度值见附录K测试数据集和样本数量方法序列IIIT5k SVT IC13 IC15 SVTPCUTE数据3，000 647 857 1，015 1，8112，077 645 288PlugNet[50] S 94.4 92.3SRN[80] S 94.8 91.5 95.5RobustScanner[81] S，B 95.4 89.3TextScanner[71] S* 95.7 92.7AutoSTR[82] S 94.7 90.9RCEED[19] S，B 94.9 91.8PREN2D[77] S 95.6 94.0 96.4VisionLAN[75] S 95.8 91.7 95.7Bhunia等人[9]S95.292.2- 95.5 - 84.0 85.7 89.7CVAE-饲料。1[8]S 95.2STN-CSTR [12]S 94.2 92.3 96.3 94.1 86.1 82.0 86.2ViTSTR-B[2] S288.4 87.7 93.2 92.4 78.5 72.6 81.8 81.3CRNN[4] S 84.3 78.9TRBA[4] S 92.1 88.9ABINet[24] S396.2 93.5 97.4ViTSTR-S S 94.0±0.2 91.7±0.4 95.1±0.7 94.2±0.7 82.7±0.1 78.7±0.1 83.9±0.6 88.2±0.6CRNN S 91.2±0.2 85.7±0.7 92.1±0.7 90.9±0.5 74.4±1.0 70.8±0.9 73.5±0.6 78.7±0.7TRBA S 96.3±0.292.8±0.996.3±0.395.0±0.484.3±0.180.6±0.286.9±1.391.3±1.6ABINet S 95.3±0.293.4±0.297.1±0.4 95.0±0.3 83.1±0.3 79.1±0.2 87.1±0.6 89.7±2.3PARSeqN（Ours）S 95.7±0.2 92.6±0.3 96.3±0.4 95.5±0.6 85.1±0.1 81.4±0.1 87.9±0.9 91.4±1.5PARSeqA（Ours）S97.0±0.2 93.6±0.4 97.0±0.3 96.2±0.4 86.5±0.2 82.9±0.2 88.9±0.9 92.2±1.2ViTSTR-S R98.1±0.2 95.8±0.4 97.6±0.3 97.7±0.3 88.4±0.4 87.1±0.3 91.4±0.2 96.1±0.4CRNN R94.6±0.2 90.7±0.4 94.1±0.4 94.5±0.3 82.0±0.2 78.5±0.2 80.6±0.3 89.1±0.4TRBA R98.6±0.1 97.0±0.2 97.6±0.3 97.6±0.2 89.8±0.4 88.7±0.4 93.7±0.397.7±0.2ABINet R 98.6±0.297.8±0.398.0±0.4 97.8±0.2 90.2±0.2 88.5±0.2 93.9±0.897.7±0.7PARSeqN（Ours）R98.3±0.197.5±0.498.0±0.198.1±0.1 89.6±0.2 88.4±0.4 94.6±1.097.7±0.9PARSeqA（我们的）R99.1±0.197.9±0.298.3±0.298.4±0.290.7±0.389.6±0.395.7±0.998.3±0.65结论我们适应PLM STR，以学习PARSeq，一个统一的STR模型，能够上下文无关和感知解码，和迭代细化。PARSeq通过联合调节图像和文本表示，在不同的字符集大小和真实世界的数据集中实现SOTA结果通过将不同的解码方案统一到一个模型中，并利用Transformers中的并行计算，PARSeq在精度与参数计数、FLOPS和延迟方面都是最佳的。由于其广泛使用的注意力，它也证明了在许多现实世界的图像中常见的垂直和旋转文本的鲁棒性。致 谢 。这 项 工 作 部 分 由 CHED-PCARI IIID-2016-005 （ 项 目AIRSCAN）资助。我们还要感谢Roel Ocampo领导的