机器对抗文本图像愚弄场景文本的研究

1机器看到的不是他们得到的：用对抗性文本图像愚弄场景文本徐星，陈洁夫，肖金辉，高连丽，沈福民，沈衡涛电子科技大学计算机科学与工程学院未来媒体中心摘要近年来，随着深度神经网络（DNN）的发展，场景文本识别（STR）的研究取得了显著进展。最近关于对抗性攻击的研究已经证实，为非顺序任务（例如，分类、分割和检索）很容易被对抗性的例子所欺骗STR实际上是一个与安全问题密切相关的应用。然而，很少有研究考虑STR模型进行序贯预测的安全性和可靠性。在本文中，我们首次尝试攻击最先进的基于DNN的STR模型。具体地说，我们提出了一种新的和有效的基于优化的方法，可以自然地集成到不同的顺序预测方案，即，联结主义时间分类（CTC）和注意机制。我们将所提出的方法应用于5个具有目标攻击和非目标攻击模式的最先进STR模型，在7个真实数据集和2个合成数据集上的综合结果表明，这些STR模型具有显着的性能下降。最后，我们还测试了我们的攻击方法在一个现实世界的STR引擎百度OCR，这表明我们的方法的实用潜力。1. 介绍场景文本识别（STR）[15，26，37，42]旨在从自然场景中的文本图像中读取不同长度的序列字符STR一直是计算机视觉中一个活跃的研究领域，因为它是许多现实世界应用的关键元素，例如人机交互[59]，自动驾驶汽车中的路标识别[58]，盲人和低视力人群的辅助阅读[29]等。由于文本的视觉外观、光照伪影、复杂的图像背景等方面的巨大差异，开发准确、鲁棒的STR*通讯作者。近年来，深度神经网络（DNN）的优势及其在各种计算机视觉任务中的成功也推动了STR的发展[4，20，41，55，2，56]。大多数基于DNN的工作将STR任务转换为序列识别（标记）[50]问题。具体来说，他 们 首 先 通 过 某 种 编 码 技 术 （ 如 卷 积 神 经 网 络（CNN）或递归神经网络（RNN））将输入图像编码为特征序列，然后应用解码器（如连接时间分类（CTC）[14，42，18]或注意力机制[43，8]）来预测图像中的语言字符串。尽管他们目前取得了成功，但最近的研究[46，12，5]表明DNN对对抗性示例非常敏感，即。通过在输入图像上添加小的扰动。直觉上，STR也有这个问题，因为DNN模型在这种安全关键场景中很普遍对于在线STR系统，即使是单个单词的错误识别也可能改变文本图像的整体含义。目前对对抗性示例的研究主要集中在非顺序视觉任务上，例如图像分类[46，48，10]，视频分类[28，21]，对象检测[24，57]、语义分割[49，33]、人脸识别[13，38]等。因此，在文献中很少探索攻击STR模型，因为STR被认为是序列识别任务，并且STR模型比上述非序列任务更难处理。由于三个主要问题，攻击STR模型更具挑战性：1）现代STR模型（基于DNN）的输出是可变长度的标签序列，而不是非顺序攻击（例如，对象分类模型）。如[ 54 ]中所讨论的，非顺序攻击中的常见攻击策略仅涉及替换操作（例如，，修改地面实况类标签），而STR中的顺序攻击预计将考虑字符级和单词级上的操作：插入、取代和缺失（例如，，插入-位置：“马”›→“嘶哑”;替换：“马”›→“房子”，“马”›→“斑马”;删除：“horse”›→“hose”）。2)攻击STR模型的对抗性示例应该是1230412305针对性的攻击无目标攻击输入摄动对抗性预测原始摄动对抗性预测CRNNcop →cv prcop →gop2000 →202 02000 →21 000nvidia →evidianvidia →ividia你→n0你→你uopen →cope打开→打开nTRBA转向→ieee转向→veee2003 →20202003年→2oo食物→食物食物→食物福特→M或E福特→fi r哈姆→哈恩德hahm →haa hii图1：我们的方法生成的典型对抗性示例，用于欺骗两个最新的STR模型：[ 42 ][43][44][45][46][47][48][49][4 有趣的是，我们可以误导模型预测在语言信息的引导下，输出目标序列标签中的每个字符需要很好地对齐，而不仅仅是任意和无意义的字符序列。3）STR模型中的编码器模块通常利用RNN结构而不是CNN来捕获文本图像视觉特征中的顺序在本文中，我们首次尝试欺骗部署在DNN上的尖端STR模型。在原则上，我们提出了一种新的和有效的解决方案，对基于CTC和基于注意力的STR模型的对抗性攻击。本文首先从理论上证明了这两种模型相互衔接的可行性。考虑到这些模型在顺序标记任务中的多样性和复杂性，流行的攻击算法（例如，，C W [5]，FGSM [12]）为非顺序任务设计的。为此，我们开发了一种新的基于优化的攻击算法，迭代裁剪的扰动值的约束下。此外，它允许更大的学习率值，具有鲁棒的训练过程，以更少的迭代次数提高攻击速度。我们提出的算法可以灵活地配备到不同的STR模型的目标函数与有针对性的和无针对性的攻击模式。 图图1显示了我们的方法在两个最先进的STR模型上生成的对抗性示例和扰动，包括无目标和有目标的攻击模式在这些模型中，由于图像一般都转换为灰度图像，因此扰动以灰度显示值得注意的是，我们进一步使用我们的对抗性示例来攻击现实世界的STR系统，即。，百度OCR，并观察到原始文本图像上的扰动也会破坏商业STR系统的预测。综上所述，我们的主要贡献包括：• 我们提出了一种新的和有效的基于优化的对抗性攻击方法，该方法推导出基于CTC和注意力的通用损失函数有针对性和非针对性的攻击模式。它可以通过强大而有效的训练过程来学习对抗性示例。据我们所知，这是第一次尝试和全面研究制作对抗性例子来欺骗最先进的STR模型。• 我们在7个基准数据集上进行了广泛的实验，以评估对5个最先进的STR模型的攻击效果。实验结果结果表明，我们提出的方法在为有针对性和无针对性的攻击制作对抗性示例时获得了显著的攻击成功率。此外，对商用STR系统的成功攻击结果进一步证明了该方法的泛化能力。2. 相关工作场景文本识别（STR）。大多数早期的STR方法[37，47]采用自下而上的管道，即首先从某些手工特征中检测和识别单个字符，然后通过动态编程和语言模型将识别的字符连接成单词或文本行。有关文本识别的一般信息，读者可以参考调查[53]。随着近年来DNN的发展，一些新的DNN-searchers [8，26，43]将STR任务视为序列学习问题：先用DNN将文本图像编码成特征序列，再用序列识别技术直接生成字符序列。请注意，最近出现的CTC[14，42，30]和注意123062i=1t=1 yπtTt机制[43，1]有希望通过构建输入图像及其相应标签序列之间的对齐来解决这个顺序训练问题这些基于CTC和基于注意力的STR模型已经达到了最先进的性能[1]。现有的STR研究主要集中在提高识别性能上，而很少考虑模型可靠性和安全性的问题。如前所述，在SEC。1，STR模型可能会被误导，用对抗性的例子做出不正确的预测。据我们所知，有两个非正式出版的作品[54，45]在光学字符识别（OCR）领域对文档图像识别然而，从STR区域的自然图像中识别文本更具挑战性另外，他们只接受模拟-基于注意力的STR模型，并提出了一个统一的攻击算法，以有效地找到对抗性的例子与非目标攻击和有针对性的攻击模式。3. 该方法3.1. 问题公式化我们首先正式介绍问题定义，为STR制作对抗性示例 给定输入场景文本图像x∈[-1，1]|n|对于n个归一化像素，其标签的地面实况序列l ={l0，l1，...，lT}，其中T是序列的长度。对于STR模型R，我们的目标是找到一个对抗性例子x′=x+δ，其中δ表示对x的对抗性扰动，x′∈[−1，1]|n|确保它是R的有效输入。可以预期，x′可以引导R预测另一个序列l′={l′，l′，.，l′′}将基于《气候技术公约》的方法[42]作为讨论的原型′ ′0 1T′相反，我们专注于基于CTC和基于注意力的STR模型的可靠性，并提出了一种更通用和有效的解决方案来学习对抗性示例。对抗性示例。在[46]的开创性工作中，Szegedyet al.已经证明DNN可以容易地被对抗性示例攻击，即，通过添加人眼不注意的微小扰动。攻击模式可以是有目标的和无目标的。以图像分类为例，针对性攻击需要一个预先指定的标签，该标签预计将被分类器预测;而非目标攻击仅要求分类器的预测与地面实况不同，而没有预先指定。为了攻击模型，对手能够在白盒设置下完全访问模型参数和训练配置。在这种情况下，通过应用一步[12]或多步（例如，，I-FGSM [11]，MI-FGSM [25]）输入图像上的扰动，以及对抗梯度的方向。然而，由于未知的模型参数，对手可能无法访问对抗梯度，这被称为黑盒设置。最近，学习通用对抗扰动（UAP）[35]受到了更多的关注，因为这种图像不可知的扰动能够破坏大多数自然图像。已经开发了几种UAP方法[9，33，27]，用于基于特定模型或训练数据集学习扰动，以进行欺骗对于x，其中l与l不同（且T不必要地等于T），以完成对给定图像x的攻击。注意，x′可以是靶向的或非靶向的，这取决于攻击序列l′是否是预特异性的。最后，为x生成对抗性示例x′可以转换为以下优化问题minL（x′，l′）+λD（x，x′），x′S.T. x′=x+δ，x′∈[−1，1]|n|、（1）其中，R（x）=l，R（x′）=l′，D（x，x′）=lδ2是原始图像和对抗图像之间的L2距离度量。 L（·）是攻击损失函数，在不同的STR模型中有不同的形式。λ是平衡两个项L（·）和D（·）的重要性的预先指定的超参数。直观地说，λ越小，攻击越有可能成功，但代价是更高的失真。δ。在我们的实验中，我们使用二叉搜索方案来选择λ。在下面的章节中，我们提出了不同形式的方程。1我们的攻击方法关于CTC为基础的（CTC）和注意力为基础的（Attn）STR模型。3.2. 对基于CTC模型的攻击最初的CTC [14，42，30]提供了一个用于训练端到端神经网络的无对齐管道，用于序列标记任务。在STR中，给定x的输入序列l，网络模型R将输出一个序列概率。能力分布y={y1，y2，.，yM}在输出上其他模型或数据集通过各种方案，如trans-每个字符{li}T的域在l中，其中M≥T。[ 12][14][16][ 17 ][18][19][1尽管非序列任务的对抗性样例学习越来越受到研究者的关注，但STR作为一种序列再认任务的研究还不够深入。最近，一些作品研究了其他相关任务的对抗性示例，例如语音到文本[6，52]，视觉问答[36，31]和图像字幕[7，51]。然而，这些任务与现有的STR模型具有本质上不同的目标函数。因此，我们明确关注基于CTC的由于M不一定与T相同，因此有效比对CTC中采用路径来去除输出序列中的空白字符和顺序重复字符。 比如说，{c，v，v，p，blank，r}是{c，v，p，r}的有效对齐。训练基于CTC的模型需要计算序列L的所有可能的有效对准路径的概率。 通常，一个有效比对Q路径π可以写为p（π|x）=，其中yπt为12307π中有效字符的概率。设S为集合在序列l的所有可能的有效比对中，12308ptk不πtkt1不tt基于CTC的模型需要计算给定l的所有有效比对的对数概率，如Σ3.3. 对基于注意力模型的攻击在具有注意机制的Lctc（x，l）=− logπ∈S（l）p（π|X）。（二）例如，[43，1]，假设我们有一个地面实况序列l={l1，l2，...，我...，lT}，其中，针对基于CTC的模型的攻击。 假设我们有一个目标标签序列l'，直观地说，搜索相应的对抗性示例x'的CTC损失可以推导为：表示vocabu中第t个列表V.网络模型R通常包含RNN/LSTM/BiLSTM单元f（·），其输出概率p（lt），|x，l1，.， lt−1）的第t个字符lt在l根据LCTCΣ（x′，l′）=−logπ∈S(l′)p（π|x′）。（三）它的隐藏状态ht-1前一个字符lt-1，作为pt=softmax（zt），且zt=f（ht−1，lt−1），（10）由于字符的灵活组合，其中zt：={z1，z2，.，z|V|}∈R|V|是一个向量t t t靶序列L′，我们首先展开l′ 到l′=logits（非标准化概率）对于每个可能的字符，{l′，l′，l′，...，l′，...，l′′}，以突出显示已更改的k字符。词汇表中的角色。 向量pt表示概率-1t1 3tk Tacters {l′ ,.., l′} in l′. 然后，V上的有效路径能力分布的概率t1tk tπ′在靶序列l′上的位置被导出为：|x，l1，.，lt−1），i∈[1，|V|]中。注意到p（π′|x′）=y1×y2×... ×yk×yk+1. ×yT′. （四）注意力矩阵在计算′ ′π1πt1′πtkπk+1πT′pt，因此等式 10是一种以注意力为基础由于改变的字符在l′中的位置是已知的，我们可以最大化最后改变的字符l′之前的部分序列的概率来完成攻击，模型softmax函数的定义：Σp（lt|x，l1，.，lt−1）= exp（plt）/exp（pi）。（十一）i∈V它写为：′Ymaxp（π′|x′）=max（y1′×y2′×. ×yk′ ）×yT′。为了最大化地面真值序列l的概率，我们可以直接取其负对数概率π1π2Q′πtkt=k+1πt（五）-log p（l|x）作为损失函数，其可以被公式化为：ΣT我们注意到不t=k+1 yT′不 固定为字符Latt（x，l）= − log p（l|x）= −logp（lt|x，l1，.，lt−1）。在l′不变，则Eq。5进一步简化为t=2（十二）′′maxp（π|x）max（y1′×y2′×. ×yk′）的情况。（六）这里是Eq。 11可以直接应用于计算最后π1π2πtk方程中的对数项12个。根据上述Eq.6和CTC损失期，Eq.中的靶序列l'3、最终目标函数为对基于注意力的模型进行有针对性的攻击。 类似于在基于CTC模型的情况下，我们还扩展了找到对抗性示例x′公式化为靶序列l′至l′={l′，l′，l′，...， l′、...、l′′}，以1t1 3tkT′ ′′显式地示出改变的k个字符{l′，..，l′}在l′min（（−log最大p（π |x））+ λD（x，x））。（七）t1tkx′π′∈S（l′）基于CTC模型的无目标攻击与有目标攻击不同，无目标攻击只要求攻击序列l′不等于输入序列l。作为与地面实况序列l相比。考虑注意力机制，为了达到攻击效果，期望在解码过程中将注意力转移到其他为了简化推导，我们首先讨论对于l，有效路径π的概率的定义，这里我们只有一个字符l′在L中改变。最大化可以找到另一条路径π′，该路径可以降低（最小化）π的概率，以找到伴随非目标攻击的对抗性示例x′ p（π′）的12309i=1不′t1t1概率|x′）可以导出为概率p（l′|x′），找到对抗图像x′可以根 据 以 下 公 式 来公式化：高于Eq. 12如：T′′′Σp（π′|x′）=min（y1×y2×... yi+1 ×...yT）， （8）Latt（x，l）=−logp（l′|x′，l′，.，l′，...， l′）π1π 2πi+1πTt=2t1t1t−1其中{yπi}Tπ。是有效路径′Σ−logp（l′|x′，l′，.，l′，...， l′）根据上述Eq. 8和一般CTC损失t=2,t t1t1t1t−1等式中的项3、最终目标函数为寻找adver.具有非目标攻击的典型示例x′被公式化为：Σ-log p（l′|x′，l′，.， l′）。（十三）min（（−log最小p（π′|x′））+ λD（x，x′））。（九）对于更一般的k个已更改字符的x{l′，.，l′}在l′中，我们仍然可以导出类似的形式，π′∈S（l′）t1tk12310不t1t1g←，当量13通过将l′分成k+1个部分，其中连续不变的字符被分组。注意，在Eq. 13中，第一项是恒定值，给定与l相比l'中的不变特征，则最终的目标攻击损失函数可以重写为：算法1我们的方法攻击STR模型的详细过程。输入：原始图像x，目标序列l′，STR模型R（·），攻击对象为函数L（·），攻击模式m，学习率μ;minLatt（x′，l′）max. −log p（l′|x′，x′，l′，...，l′）（十四）1：如果l′/=NULL，则2：m← −1//定向攻击应用等式 14到Eq的一般形式。 1、决赛对基于注意力的模型的目标攻击的客观公式是：3：其他4：m←1 //无目标攻击第五章： end if.′′′第六章： 初始化δ←0min max（−log p（lt|x，l1，.，lt1））+λD（x，x）. （ 十五）7：重复对基于注意力模型的无目标攻击。为了完成攻击，我们采用了与CTC模型相似的策略，即：，降低地面实况中每个字符的概率l ={l1，l2，.，lT}来找到对抗性的示例x′。 如果l中的任何字符获得较低的概率，l将被攻击并改变为非靶序列l′。根据Eq中的概率定义，12，我们可以推导出（x′，l′）的损失项为：′Σ8：g<$m<$δL（x′，l′），9：g简体中文10：δ←δ+µg，11：通过学习率退火更新μ12：δ←clip（δ）13：x′←x+δ14：直到R（x′）=1输出：对抗图像x′。Latt（x′，l′）=− log p（l′|x′）=−log p（l′|x′，l′，.，l′），数据集。 由于获取足够的标记场景的成本很高，. ′′ ′ ′Σt=2t1t−1文本图像在真实场景中，大多数STR模型使用合成数据进行训练。[19]第19话：与人交往。S.T. logPLt|x，l1，.，lt−1logp（lt|x，l1，.， lt−1），则t ∈ T.（十六）thText [15]（ST）是为STR设计的两个广泛使用的合成数据集，包含890万和550万单词框这里，索引t可以是根据l的任何位置。应用Eq. 16、Eq。1、基于注意力模型的无目标攻击的最终优化公式为：min（max（−log p（l′|x′）+ λD（x，x′））。（十七）3.4. 优化根据目标函数Eq. 7，等式9，等式。15、Eq。17的CTC和基于注意力的模型的（非）有针对性的攻击，我们采用随机梯度下降（SGD）算法迭代更新扰动向量δ。最后，在原始图像上添加扰动以生成对抗性示例。详细的优化算法在Alg.1.一、4. 实验4.1. 实验装置STR模型。选择了五种最先进的STR模型作为对抗性攻击的目标，包括三种基于CTC的模型（即、CRNN[42]、Rosetta [3]、STAR-Net [30]）和两个基于注意力的（即，，RARE [43]，TRBA[1]）。如[1]所述，这些STR模型采用VGG [44]和ResNet的不同DNN网络架构[16] 用 于 视 觉 特 征 提 取 。 此 外 ， 双 向 LSTM （ Bi-LSTM）被用作序列建模中的（反）选择; CTC和注意力方案（Attn）用于序列预测。12311图像，分别。与使用两个数据集的不同组合的先前作品不同，Baeket al.[1]建议统一两个数据集，以避免不一致和不公平的比较。因此，我们遵循他们的设置，并使用两个数据集的组合（即，，MJ+ST）作为我们的训练数据，总共包含1440万张图像。此外，7个真实世界的STR数据集用于评估-评 估 训 练 的 STR 模 型 ， 它 们 是 CUTE80 [40] ，ICDAR2003 [32] ， ICDAR2013 [23] ， ICDAR2015[22]，IIIT5K-Words （ IIIT5K ） [34] 、 Street View Text（SVT）[47]和SVT Perspective（SP）[39]。所有这些数据集都在[1]的最新工作中得到了公正的评价。此外，我们还建立了2个合成测试数据集，随机选择4000图像在每个MJ和ST数据集在我们的实验。实施详情。所有预训练的场景文本识别模型都是基于MJ+ST进行训练的，所有模型都是基于参数被设置为由[1]发布的最佳值。我们重新计算所有预训练模型的准确性，以确保我们实验的可靠性。我们采用PyTorch工具包来实现我们的方法，所有的实验都是在一个GeForce GTX 1080 Ti GPU的桌面上进行的。一般来说，这些STR模型最初采用Adam优化器，学习率为0.005进行模型训练。对于我们的攻击方法，我们使用SGD优化所有STR模型的目标函数，并采用学习率退火策略将学习率从0.1降低到0.01，因为我们的方法可以支持大的学习率，稳定的训练过程和快速的攻击。12312速度。对于参数λ，我们采用对λ∈[10−3，104]的二分查找，并采取早期停止策略以避免不必要的迭代。我们的模型参数的详细分析显示在消融研究中。攻击设置和评估指标。我们对每个测试数据集进行有针对性和无针对性的攻击。由于攻击序列是可选的，可以插入、替换和删除groundtruth序列，因此我们使用编辑距离来测量两个序列之间的差异。具体地，对于非目标攻击，由于攻击序列是任意的，因此编辑距离不是固定的。相反，由于攻击序列是预先特定的，因此编辑距离是固定的，例如，, 1, 2, 3, etc, depending onthe length of the groundtruth sequence. 在 我 们 的 实 验中，我们运行攻击来找到一个对抗性的例子，直到编辑距离不为0（即，攻击成功）。对于所有数据集，我们将裁剪范数的最大对抗扰动幅度设置为0.2。我们使用了广泛采用的度量：1）成功率（SR），在有限的迭代次数内，在扰动界下成功生成对抗性示例的比率;2）输入图像与生成的对抗样本之间的平均L2距离（Dist）;以及3）成功攻击（不包括失败攻击）所需的平均迭代次数（Iter）。4.2. 总体结果针对性攻击的结果。我们首先在所有测试数据集上评估针对五个STR模型的有针对性的攻击。我们考虑一个典型的有针对性的攻击案例，即。通过替换操作，目标序列与地面实况序列具有2-Edit距离原始预测精度、攻击成功率、平均差异和平均迭代次数的结果见表1。我们可以清楚地观察到，所有STR模型都容易受到对抗性样本的影响，因为它们的SR几乎达到100%。对于具有较大识别精度的模型，例如，、STAR-Net和TRBA等算法，由于网络结构更加复杂和深入，需要更多的迭代次数来完成对目标序列的攻击一般来说，我们提出的方法需要较少的迭代次数（例如，，20-50），这比传统的攻击算法（例如CW [5]和[54]中报道的结果）显著有效，传统的攻击算法通常需要数百（甚至数千）次迭代。此外，我们的方法还实现了所有数据集上所有模型的低距离（约1.0）扰动。在大多数情况下，STAR-Net模型比其他模型具有更小的扰动，这表明为其生成的对抗性示例与原始图像更相似。无目标攻击的结果。然后，我们在表2中报告了在上述目标攻击的相同情况下对所有STR模型的非目标攻击的结果。类似于上面关于2-Edit距离的目标攻击的结果，这里所有模型都很容易被我们的攻击方法所欺骗，几乎100%的成功率。此外，攻击所有模型所需的迭代次数明显少于有针对性的攻击情况，即。一般小于10次。此外，所有模型的距离也要小得多（小于1.0），这表明所有数据集的原始图像上的轻微扰动都会导致不正确的预测。转移攻击的结果。转移攻击是用在另一个模型或数据集上生成的扰动来欺骗模型或数据集模型或数据集。由于STR模型是在合成数据集MJ+ST上训练的，并在真实世界的数据集上进行测试，因此，上述无目标和有目标的攻击也可以属于跨数据集转移攻击。表1和表2中的结果都表明，我们的攻击方法可以有效地实现跨数据集传输攻击。此外，我们还进行了跨模型转移攻击的实验研究，其中我们使用从一个STR模型生成的对抗性示例来欺骗另一个模型。表3显示了在7个真实世界数据集上跨5个不同STR模型的跨模型转移攻击的平均SR得分表中的每一行显示了给定STR模型制作的扰动的SR我们可以看到，跨成对模型的攻击是不对称的，显示了每个模型对另一个模型生成的对抗性示例CRNN模型获得最好的平均SR得分，而最先进的TRBA方法获得最差的得分。这表明，CRNN虽然网络结构简单，但可以产生更有效的对抗性样本来欺骗其他模型。此外，作为不同的特征提 取方 案 （例 如， 在STR 模 型中 使 用了 预测 机 制（ CTC 和 Attn ） 和 跨 模 型 转 移 攻 击 （ VGG 和ResNet），它们对跨模型转移攻击的结果也有影响。4.3. 进一步分析扰动的可视化。在这个实验中，我们研究了我们的方法在优化过程中学习扰动的变化。我们选择两个模型：CRNN（基于CTC）和TRBA（基于注意力）作为原型，在IIIT5K和CUTE80数据集上生成对抗性示例。图2可视化了优化过程不同步骤中生成的扰动和相应的对抗性示例我们可以看到，在一开始（例如）。，迭代1），扰动太弱而不能改变预测结果，用更多的迭代（例如，，20- 80），预测结果随着更有效的扰动而改变。在实践中，我们的方法将在攻击完成后的20次左右停止迭代。不同作战方式对目标攻击的影响。 实际上，可以通过各种操作修改序列：插入、取代和缺失。为了充分探索这些操作，我们再次使用编辑显示器-12313CUTE08（247图像）ICDAR03（867张图片）ICDAR13（857张图片）加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓CRNN（TPAMI65.51001.2014.692.61001.3316.091.099.941.3516.7罗塞塔（KDD69.299.191.1524.592.999.821.1926.590.999.841.2129.9STAR-Net（BMVC71.71001.0326.294.01001.0822.392.899.941.1224.5罕见（CVPR64.099.591.2716.991.299.911.4118.269.499.941.4318.6TRBA（ICCV74.099.191.2447.994.499.821.2547.293.699.791.2648.6IIIT5K（2556 images）SVT（647张图片）SVT-P（645张图片）加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓CRNN（TPAMI82.999.931.2516.181.699.941.2215.770.099.941.2015.2罗塞塔（KDD84.399.591.1228.784.799.631.1027.673.899.661.0826.6STAR-Net（BMVC87.099.861.0724.186.999.871.0523.377.599.881.0422.5罕见（CVPR81.799.841.2716.880.899.851.2516.369.499.871.2315.7TRBA（ICCV87.999.361.2145.187.599.421.2043.979.299.471.1942.9ICDAR15（1927 images）MJ（4000图像）ST（4000张图片）加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓CRNN（TPAMI69.499.971.1213.693.999.591.3618.694.81001.3416.9罗塞塔（KDD71.299.921.0223.495.299.391.3361.195.71001.1225.4STAR-Net（BMVC76.199.970.9619.494.999.391.2641.697.11001.0727.1罕见（CVPR70.699.970.9619.488.81001.6226.887.31001.2013.9TRBA（ICCV77.699.871.1239.296.199.611.2751.797.399.971.1034.4表1：针对5个最先进的STR模型对7个真实世界数据集和2个合成数据集进行有针对性攻击的结果CUTE08（247图像）ICDAR03（867张图片）ICDAR13（857张图片）加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓CRNN（TPAMI65.599.190.645.492.694.911.2510.291.096.141.007.7罗塞塔（KDD69.21000.251.692.999.760.312.490.999.880.333.1STAR-Net（BMVC71.71000.453.694.099.880.646.092.899.760.696.4罕见（CVPR64.01000.292.091.21000.433.369.499.880.423.3TRBA（ICCV74.01000.393.094.499.760.565.193.699.880.575.1IIIT5K（2556 images）SVT（647张图片）SVT-P（645张图片）加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓CRNN（TPAMI82.998.320.899.381.699.380.583.870.099.530.473.1罗塞塔（KDD84.399.880.322.384.71000.271.873.81000.251.6STAR-Net（BMVC87.099.490.706.386.91000.504.377.599.840.423.7罕见（CVPR81.799.960.433.380.81000.413.369.41000.372.8TRBA（ICCV87.999.960.565.187.51000.433.879.21000.352.9ICDAR15（1927 images）MJ（4000图像）ST（4000张图片）加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓加计↑SR↑距离↓Iter↓CRNN（TPAMI69.499.840.433.093.999.090.897.494.892.261.1512.9罗塞塔（KDD71.21000.251.695.299.950.231.695.799.740.414.3STAR-Net（BMVC76.11000.383.294.999.870.626.097.199.770.565.5罕见（CVPR70.61000.352.688.899.930.231.487.399.510.635.4TRBA（ICCV77.61000.332.696.11000.494.397.31000.444.1表2：对5个最先进STR模型的7个真实世界数据集和2个合成数据集的无针对性攻击结果需要更多的迭代来完成攻击并且平均距离更大。其原因是目标序列与地面实况的不一致性更大，扰动分别更难被学习。表3：跨模型传输攻击的结果。用于测量目标序列和地面实况序列之间的差异。表4显示了我们的方法对ICDAR 15数据集上的五个STR模型的攻击结果我们可以看到，我们的方法是稳定的，不同的操作，并保持攻击SR得分在所有模型的攻击速度快在2-编辑距离的情况下，为了保持SR分数，我们的方法CRNN罗塞塔星网罕见TRBAAvg.CRNN-25.1116.7433.3315.9622.79罗塞塔11.93-9.1413.486.2010.18星网15.1916.27-19.379.7615.14罕见16.2714.4110.38-9.1412.55TRBA13.6414.419.4515.81-13.321-编辑距离2-编辑距离SR↑距离↓Iter↓SR↑距离↓Iter↓CRNN99.971.1114.199.871.4326.1罗塞塔99.870.9725.899.841.2544.9星网99.970.9422.799.921.2246.0罕见99.971.1013.999.971.3619.3TRBA99.761.1642.199.511.4172.212314表4：在我们的目标攻击中，不同操作的结果为1，2-编辑距离。12315Iter1 20 80Adv.很好Pred .规则规则Iter1 20 80Adv.很好Pred .coffeelcoffel图2：我们的方法在IIIT5K（顶部）和CUTE80（底部）数据集上的不同优化步骤中获得的扰动和对抗示例的可视化。模型参数的影响。我们进一步评估模型参数的影响：我 们 的 方 法 中 的 学 习 率 μ 和 权 衡 系 数 λ 。 我 们 以ICDAR15数据集为测试平台，在所有五个STR模型上评估我们的方法。图3（a）显示了所有方法中不同µ的迭代次数可以看出，μ越大，迭代次数越少（例如，，20-30）是完成攻击所必需的。注意，使用大µ（例如，，[0.1，1]），如C W和[54]等模型可能导致崩溃。然而，我们的方法能够使用更大的µ值。此外图图3（b）示出了不同λ时扰动的变化。实际上，λ控制了攻击目标函数中扰动和序列解码的重要性。在λ较大的情况下，预期较小的扰动，由于生成的对抗性示例与原始图像之间的差异可以忽略不计，这可能导致攻击失败实际上λ∈ [0. 01，10]取得了最好的攻击效果。OCR/OCR-API.html）进行预测。图4显示了STR系统上靶向和非靶向攻击的总体成功率。我们可以观察到，系统具有相当高的被攻击的风险，因为SR超过20%。此外，表中给出的两个典型的对抗性示例表明，这些扰动图像的预测结果另一个潜在的原因是，百度OCR系统的字符词汇可能与我们用于原始CRNN和TRBA模型的词汇不同。然而，该实验再次表明，构建真实世界的商业STR系统还需要考虑可靠性问题，以实现更鲁棒的识别。针对性的攻击无目标攻击CRNN包装→包装逻辑→逻辑ICTRBA图形→9图形书籍→OOKSCRNN26.7022.31TRBA25.0520.90图4：在百度OCR上测试的典型对抗示例（上图）和两个STR模型的总体攻击结果（SR）（下图）。5. 结论本文首次提出了一种针对场景文本识别（STR）的通用有效的攻击方法2502001501005000.001 0.005 0.01 0.11学习率µ1.00.90.80.70.60.5成功率（%）L2距离迭代1e-31e-21e-11e01e11e21e31e4Lambda3.0802.5702.0601.5501.0400.50.030首先，我们推导出目标函数攻击CTC为基础的和基于注意力的模型有针对性和无针对性的攻击模式。然后，我们进行了广泛的实验，以评估我们提出的攻击方法对7个真实世界的数据集，2个合成数据集以及商业STR系统（即。，百度OCR），其中我们的方法不断地表现出高攻击性能，几乎完全欺骗了五个最先进的STR模型，(a) µ的影响(b) λ对TRBA模型的影响效率因此，我们的工作可以作为设计更强大和安全的STR模型的灵感，图3：我们的方法中参数μ和λ的影响，CUTE80数据集上的所有STR模型。攻击真实世界的STR系统。最后，我们研究了生成的对抗性的例子，我们的方法攻击一个现实世界中的商业STR系统，即。、百度OCR。特别地，我们从7个真实世界的数据集中总共选择了800幅图像，使用CRNN和TRBA模型生成它们的对抗示例，然后使用API工具包（https://cloud.baidu.com/doc/提出的攻击方案。鸣谢。这项工作得到了中国国家重点研究和发展计划的部分支持，资助号为2018 AAA 0102200;国家自然科学基金项目61976049、61632007、61872064;中国四川省科学技术计划，资助项目2019 ZDZX 0008、2019YFG 0003和2018 GZDZX 0032。当这项工作完成时，陈洁夫和肖金辉正在阿凡提人工智能实验室（中国北京）实习。CRNNRosettaRARESTAR-NetTRBATRBA（收件人）迭代CRNN（CTC）成功率（%）L2距离迭代12316引用[1] Jeonghun Baek、Geewook Kim、