ActBERT：全局-局部视频-文本表示自我监督学习的研究

87460ActBERT：学习全局-局部视频-文本表示0Linchao Zhu 1 , 2 和 Yi Yang 2 �01  百度研究  2  悉尼科技大学ReLER0{ linchao.zhu,yi.yang } @uts.edu.au0摘要0在本文中，我们介绍了ActBERT，用于从无标签数据中自我监督学习联合视频-文本表示。首先，我们利用全局动作信息来促进语言文本和局部区域对象之间的相互作用。它从配对的视频序列和文本描述中揭示全局和局部视觉线索，用于详细的视觉和文本关系建模。其次，我们引入了一个TaNgledTransformer块（TNT）来编码三种信息源，即全局动作、局部区域对象和语言描述。通过从上下文信息中提取巧妙的线索，发现全局-局部对应关系。它使联合视频-文本表示能够意识到细粒度对象和全局人类意图。我们在下游视频和语言任务上验证了ActBERT的泛化能力，包括文本-视频剪辑检索、视频字幕生成、视频问答、动作分割和动作步骤定位。ActBERT在视频-文本表示学习方面明显优于现有技术，证明了其优越性。01. 引言0尽管在各种计算机视觉任务中，监督学习取得了成功[17, 9,38,29]，但自我监督学习从无标签数据中学习表示已经引起了越来越多的关注[4,27]。在自我监督学习中，模型首先在大量无标签数据上进行预训练，使用替代损失进行训练。微调过程进一步帮助预训练模型在下游任务中专门化。最近，自我监督学习在文本领域取得了快速进展[7,45]，其中双向编码器表示来自Transformer（BERT）模型[7]在许多自然语言任务中具有显著的泛化能力，例如问答[2]。0* 林超访问百度研究时完成了这项工作。杨毅为通讯作者。0受到BERT在自我监督训练中的成功的启发，我们旨在为视频和文本联合建模学习一个类似的模型。我们基于叙述性教学视频，利用视频和文本之间的关系。其中，通过现成的自动语音识别（ASR）模型检测到对齐的文本。这些教学视频作为视频-文本关系研究的自然来源。首先，它们在YouTube和其他平台上广泛可用和免费获取[26,33]。其次，视觉帧与教学叙述对齐。文本叙述不仅明确涵盖了场景中的对象，还确定了视频剪辑中的显著动作。0为了将BERT推广到视频和语言任务，Sun等人[33]通过从量化视频帧特征中学习，扩展了BERT模型。原始的BERT将离散元素作为输入，并预测相应的标记作为输出。相比之下，视觉特征是具有实值的分布表示，而实值特征不能直接被归类为“视觉标记”的离散标签。Sun等人[33]通过聚类将视觉特征离散化为视觉单词。这些视觉标记可以直接传递给原始的BERT模型。然而，详细的局部信息，例如相互作用的对象、人类动作可能会在聚类过程中丢失。这阻止了模型揭示视频和文本之间细粒度关系的能力。在本文中，我们提出了ActBERT，通过学习配对的视频序列和文本描述中的全局和局部视觉线索，学习联合视频-文本表示。全局和局部视觉信号相互作用于语义流。ActBERT利用深入的上下文信息，利用细粒度关系进行视频-文本联合建模。0首先，ActBERT在一个联合框架中结合了全局动作、局部区域对象和文本描述。动作，例如“切割”、“旋转”、“切片”，对于各种与视频相关的下游任务至关重要。对人类动作的识别可以展示模型在运动理解和复杂人类意图推理方面的能力。在模型预训练期间明确地对人类动作进行建模可能是有益的。此外，长期的动作序列还提供了关于指令的时间依赖性。87470虽然动作线索很重要，但它们在先前的自监督视频文本训练中被大部分忽视[33,26]，在那里动作被视为与对象相同。为了对人类动作进行建模，我们首先从文本描述中提取动词，并从原始数据集构建一个动作分类数据集。然后，我们训练一个3D卷积网络来预测动作标签。优化后的网络的特征被用作动作嵌入。通过这种方式，表示剪辑级别的动作，并插入相应的动作标签。除了全局动作信息，我们还结合了局部区域信息，以提供细粒度的视觉线索[21, 34, 32, 19,5]。对象区域提供了关于整个场景的详细视觉线索，包括区域对象特征和对象的位置。语言模型可以从区域信息中获得更好的语言和视觉对齐。0其次，我们引入了一个TaNgledTransformer块（TNT）来编码来自三个来源的特征，即全局动作、局部区域对象和语言标记。先前的研究[21,34]在设计新的Transformer层时考虑了两种模态，即来自图像和自然语言的细粒度对象信息。Lu等人[21]引入了一个协同注意力Transformer层，其中来自一种模态的键值对被传递到另一种模态的注意力块中，作为新的键值对。然而，在我们的场景中，有三个输入源。两个来源，即局部区域特征和语言文本，提供了剪辑中发生事件的详细描述。另一个全局动作特征提供了时间序列中的人类意图以及一种直观的线索，用于上下文推理。我们为从三个来源学习跨模态特征设计了一个新的混合Transformer块。为了增强两个视觉线索和语言特征之间的交互，我们使用单独的Transformer块[40]来编码每个模态。互相跨模态的交流随后通过两个额外的多头注意力块得到增强。动作特征催化了相互作用。在动作特征的指导下，我们将视觉信息注入到语言Transformer中，并将语言信息融入到视觉Transformer中。纠缠的Transformer动态地选择其上下文中的合适线索以促进目标预测。0此外，我们设计了四个替代任务来训练ActBERT，即具有全局和局部视觉线索的掩码语言建模，掩码动作分类，掩码对象分类和跨模态匹配。预训练的ActBERT被转移到五个与视频相关的下游任务中，即视频字幕生成，动作分割，文本-视频片段检索，动作步骤定位和视频问答。我们定量地展示了ActBERT在性能上取得了明显的优势。02. 相关工作0视频和语言。有许多现有的视频和语言任务来评估模型在联合视频文本表示学习方面的能力，例如视频问答[36, 10, 18,54]，视频字幕[46, 52]，文本-视频检索[47, 41,25]，视频定位[50]。在视频和语言建模中，学习有序视频帧与其对应描述之间的关系可能很困难，视频时间信息和多个对象之间的时空交互需要被纳入考虑。多模态建模的主要方法是利用循环神经网络（RNNs）及其变种，例如长短时记忆（LSTM）和门控循环单元（GRU），来建模序列关系，例如[28,53]。Zhou等人[52]在编码器和解码器中利用了掩码变换器进行密集视频字幕生成。这些工作大多数是在有注释的数据集上进行的，其中描述是手动生成的，需要大量的人工干预。还有其他工作从有限的注释数据中学习视频表示[55]。视频数据是学习跨模态表示的自然来源。文本描述是由现成的自动语音识别（ASR）模型自动生成的。这更具可扩展性，并且适用于模型在实际应用中的部署。在本文中，我们专注于以自监督的方式学习联合视频文本表示。0跨模态预训练。在过去的一年中，许多工作将BERT扩展到跨模态数据的建模[21, 32, 34, 5, 19,33]。最近的用于视频文本建模的BERT模型[33]引入了用于视频帧编码的视觉单词，其中局部区域信息被大部分忽略。同步的视频-音频信号也是跨模态表示学习的一个良好测试平台[3,15]。然而，它们利用了低级音频信号，并且只考虑了视频数据的同步性质。在这项工作中，我们专注于视频文本联合表示学习。我们的ActBERT利用了多源信息，在许多下游视频文本任务中取得了显著的性能。0教学视频。由于各种任务中的数据复杂性，从教学视频中学习是具有挑战性的[6, 1, 51,26]。这些视频来自许多领域，例如烹饪、运动、园艺。许多研究还将从教学视频生成的转录视为监督的来源[1, 51,26]。然而，我们使用ActBERT来明确地建模人类动作、统一框架中的局部区域。我们通过更具体的视频与其描述之间的关系建模改进了[26]。我们定量地证明了ActBERT在无监督视频文本建模中更加适用。874803. 模型架构03.1. 初步0我们首先介绍原始的BERT[7]模型。BERT[7]以无监督的方式在大型语料库上预训练了一个语言模型。预训练模型被发现对各种下游任务具有灵活性和益处，例如问答[2]。在BERT[7]中，输入实体通过多层双向变换器[40]进行处理。每个输入的嵌入通过堆叠的自注意力层进行处理，以聚合上下文特征。注意力权重是自适应生成的。输出特征包含有关原始输入序列的上下文信息。在自注意力中，生成的特征与输入序列的顺序无关，它使得输出表示对排列不变。输出表示在输入序列被洗牌时不受影响。每个输入实体通常应用一个位置嵌入，以融合顺序信息线索。在原始的BERT中，Devlin等人引入了两个预训练任务。在掩码语言建模（MLM）任务中，部分输入词被随机掩码。这些掩码词被一个特殊标记“[MASK]”替换。任务是基于上下文内容的观察来预测掩码词。上下文内容是提供有用相关线索的未掩码元素，用于预测掩码词。另一个任务是下一句预测（NSP），它建模了两个句子之间的顺序信息。从文档中随机抽取两个句子，NSP的目标是确定第二个句子是否紧邻在第一个句子之后的正确顺序。两个句子通过一个标记“[SEP]”连接起来，这样模型就能意识到输入是分开的句子。预测是基于第一个标记“[CLS]”的输出特征进行的。这是一个二元分类问题，使用简单的sigmoid分类器。预测为“1”表示句子是连续的，第二个句子紧跟在第一个句子之后。03.2. ActBERT03.2.1 输入嵌入0ActBERT中有四种类型的输入元素。它们是动作、图像区域、语言描述和特殊标记。特殊标记用于区分不同的输入。每个输入序列以特殊标记“[CLS]”开头，以另一个标记“[SEP]”结尾。我们将语言描述放在“[CLS]”之后。接下来是动作输入，后面是局部区域特征。我们将动作特征表示为a1，...，aL，帧区域特征表示为...0图像特征和文本特征之间的交互作用，我们提出将图像信息注入到语言Transformer中，并将语言信息融入到图像Transformer中。通过跨模态的交互作用，相互缠绕的Transformer可以动态地选择目标预测的合适线索。我们将Transformer块l的中间表示表示为h l = { ( h l w 0 , . . . , h l w N ) ,( h l a 0 , . . . , h l a L ) ,  ( h l r 0 , . . . , h l r M ) }。为简单起见，我们将h l w = { h l w 0 , . . . , h l w N } ，hl a = { h l a 0 , . . . , h l a L ) } ，和 h l r = { h l r 0 , . . . , hl r M ) }分别表示经过w-transformer、a-transformer和r-transformer处理的特征（图1）。除了标准的多头注意力编码来自同一模态的特征外，我们还利用另外两个多头注意力块来增强Transformer块之间的相互作用。具体来说，我们利用h la来促进相互作用。我们将多头注意力表示为输出 =Multihead(Q, K,V)，其中Q是查询，K是键，V是值。多头注意力的详细信息请参见“Visual (action) embedding”。the scores for all labels are summed to be 1. After the modelis trained, we extract the features after global average pool-ing as the action features. This feature can well representthe actions that occurred in the video clip.To obtain regional object features, we extract boundingboxes and the corresponding visual features from a pre-trained object detection network. Similar to Lu et al. [21],we utilized pre-trained Faster R-CNN network [29] to ex-tract the categorical distribution under the COCO vocab-ulary [20].The image region features offer detailed vi-sual information for visual and text relation modeling. Foreach region, the visual feature embeddings are the fea-ture vectors before the output layer in the pre-trained net-work. Following [21], we incorporate spatial position em-beddings to represent region locations with a 5-D vector.This vector consists of four box coordinates and the frac-tion of the region area. Specifically, we denote the vectorhlwAAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqMeiF48V7Ae0sWy2m3bpZhN2J0oJ/RFePCji1d/jzX/jts1BWx8MPN6bYWZekEhh0HW/ncLa+sbmVnG7tLO7t39QPjxqmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7GNzO//ci1EbG6x0nC/YgOlQgFo2il9uhB9rOnab9ccavuHGSVeDmpQI5Gv/zVG8QsjbhCJqkxXc9N0M+oRsEkn5Z6qeEJZWM65F1LFY248bP5uVNyZpUBCWNtSyGZq78nMhoZM4kC2xlRHJllbyb+53VTDK/8TKgkRa7YYlGYSoIxmf1OBkJzhnJiCWVa2FsJG1FNGdqESjYEb/nlVdK6qHpu1bu7rNSv8ziKcAKncA4e1KAOt9CAJjAYwzO8wpuTOC/Ou/OxaC04+cwx/IHz+QOimo/AAAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqMeiF48V7Ae0sWy2m3bpZhN2J0oJ/RFePCji1d/jzX/jts1BWx8MPN6bYWZekEhh0HW/ncLa+sbmVnG7tLO7t39QPjxqmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7GNzO//ci1EbG6x0nC/YgOlQgFo2il9uhB9rOnab9ccavuHGSVeDmpQI5Gv/zVG8QsjbhCJqkxXc9N0M+oRsEkn5Z6qeEJZWM65F1LFY248bP5uVNyZpUBCWNtSyGZq78nMhoZM4kC2xlRHJllbyb+53VTDK/8TKgkRa7YYlGYSoIxmf1OBkJzhnJiCWVa2FsJG1FNGdqESjYEb/nlVdK6qHpu1bu7rNSv8ziKcAKncA4e1KAOt9CAJjAYwzO8wpuTOC/Ou/OxaC04+cwx/IHz+QOimo/AAAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqMeiF48V7Ae0sWy2m3bpZhN2J0oJ/RFePCji1d/jzX/jts1BWx8MPN6bYWZekEhh0HW/ncLa+sbmVnG7tLO7t39QPjxqmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7GNzO//ci1EbG6x0nC/YgOlQgFo2il9uhB9rOnab9ccavuHGSVeDmpQI5Gv/zVG8QsjbhCJqkxXc9N0M+oRsEkn5Z6qeEJZWM65F1LFY248bP5uVNyZpUBCWNtSyGZq78nMhoZM4kC2xlRHJllbyb+53VTDK/8TKgkRa7YYlGYSoIxmf1OBkJzhnJiCWVa2FsJG1FNGdqESjYEb/nlVdK6qHpu1bu7rNSv8ziKcAKncA4e1KAOt9CAJjAYwzO8wpuTOC/Ou/OxaC04+cwx/IHz+QOimo/AAAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqMeiF48V7Ae0sWy2m3bpZhN2J0oJ/RFePCji1d/jzX/jts1BWx8MPN6bYWZekEhh0HW/ncLa+sbmVnG7tLO7t39QPjxqmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7GNzO//ci1EbG6x0nC/YgOlQgFo2il9uhB9rOnab9ccavuHGSVeDmpQI5Gv/zVG8QsjbhCJqkxXc9N0M+oRsEkn5Z6qeEJZWM65F1LFY248bP5uVNyZpUBCWNtSyGZq78nMhoZM4kC2xlRHJllbyb+53VTDK/8TKgkRa7YYlGYSoIxmf1OBkJzhnJiCWVa2FsJG1FNGdqESjYEb/nlVdK6qHpu1bu7rNSv8ziKcAKncA4e1KAOt9CAJjAYwzO8wpuTOC/Ou/OxaC04+cwx/IHz+QOimo/AhlaAAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cK9gPaWCbbTbt0swm7G6GE/ggvHhTx6u/x5r9x0+agrQ8GHu/NMDMvSATXxnW/ndLa+sbmVnm7srO7t39QPTxq6zhVlLVoLGLVDVAzwSVrGW4E6yaKYRQI1gkmt7nfeWJK81g+mGnC/AhHkoecorFSZ/woBhnOBtWaW3fnIKvEK0gNCjQH1a/+MKZpxKShArXueW5i/AyV4VSwWaWfapYgneCI9SyVGDHtZ/NzZ+TMKkMSxsqWNGSu/p7IMNJ6GgW2M0Iz1steLv7n9VITXvsZl0lqmKSLRWEqiIlJ/jsZcsWoEVNLkCpubyV0jAqpsQlVbAje8surpH1R99y6d39Za9wUcZThBE7hHDy4ggbcQRNaQGECz/AKb07ivDjvzseiteQUM8fwB87nD4Esj6o=AAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cK9gPaWCbbTbt0swm7G6GE/ggvHhTx6u/x5r9x0+agrQ8GHu/NMDMvSATXxnW/ndLa+sbmVnm7srO7t39QPTxq6zhVlLVoLGLVDVAzwSVrGW4E6yaKYRQI1gkmt7nfeWJK81g+mGnC/AhHkoecorFSZ/woBhnOBtWaW3fnIKvEK0gNCjQH1a/+MKZpxKShArXueW5i/AyV4VSwWaWfapYgneCI9SyVGDHtZ/NzZ+TMKkMSxsqWNGSu/p7IMNJ6GgW2M0Iz1steLv7n9VITXvsZl0lqmKSLRWEqiIlJ/jsZcsWoEVNLkCpubyV0jAqpsQlVbAje8surpH1R99y6d39Za9wUcZThBE7hHDy4ggbcQRNaQGECz/AKb07ivDjvzseiteQUM8fwB87nD4Esj6o=AAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cK9gPaWCbbTbt0swm7G6GE/ggvHhTx6u/x5r9x0+agrQ8GHu/NMDMvSATXxnW/ndLa+sbmVnm7srO7t39QPTxq6zhVlLVoLGLVDVAzwSVrGW4E6yaKYRQI1gkmt7nfeWJK81g+mGnC/AhHkoecorFSZ/woBhnOBtWaW3fnIKvEK0gNCjQH1a/+MKZpxKShArXueW5i/AyV4VSwWaWfapYgneCI9SyVGDHtZ/NzZ+TMKkMSxsqWNGSu/p7IMNJ6GgW2M0Iz1steLv7n9VITXvsZl0lqmKSLRWEqiIlJ/jsZcsWoEVNLkCpubyV0jAqpsQlVbAje8surpH1R99y6d39Za9wUcZThBE7hHDy4ggbcQRNaQGECz/AKb07ivDjvzseiteQUM8fwB87nD4Esj6o=AAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cK9gPaWCbbTbt0swm7G6GE/ggvHhTx6u/x5r9x0+agrQ8GHu/NMDMvSATXxnW/ndLa+sbmVnm7srO7t39QPTxq6zhVlLVoLGLVDVAzwSVrGW4E6yaKYRQI1gkmt7nfeWJK81g+mGnC/AhHkoecorFSZ/woBhnOBtWaW3fnIKvEK0gNCjQH1a/+MKZpxKShArXueW5i/AyV4VSwWaWfapYgneCI9SyVGDHtZ/NzZ+TMKkMSxsqWNGSu/p7IMNJ6GgW2M0Iz1steLv7n9VITXvsZl0lqmKSLRWEqiIlJ/jsZcsWoEVNLkCpubyV0jAqpsQlVbAje8surpH1R99y6d39Za9wUcZThBE7hHDy4ggbcQRNaQGECz/AKb07ivDjvzseiteQUM8fwB87nD4Esj6o=hlrAAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cK9gPaWDbbSbt0swm7G6GE/ggvHhTx6u/x5r9x0+agrQ8GHu/NMDMvSATXxnW/ndLa+sbmVnm7srO7t39QPTxq6zhVDFssFrHqBlSj4BJbhhuB3UQhjQKBnWBym/udJ1Sax/LBTBP0IzqSPOSMGit1xo9ikKnZoFpz6+4cZJV4BalBgeag+tUfxiyNUBomqNY9z02Mn1FlOBM4q/RTjQllEzrCnqWSRqj9bH7ujJxZZUjCWNmShszV3xMZjbSeRoHtjKgZ62UvF//zeqkJr/2MyyQ1KNliUZgKYmKS/06GXCEzYmoJZYrbWwkbU0WZsQlVbAje8surpH1R99y6d39Za9wUcZThBE7hHDy4ggbcQRNawGACz/AKb07ivDjvzseiteQUM8fwB87nD5sBj7s=AAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cK9gPaWDbbSbt0swm7G6GE/ggvHhTx6u/x5r9x0+agrQ8GHu/NMDMvSATXxnW/ndLa+sbmVnm7srO7t39QPTxq6zhVDFssFrHqBlSj4BJbhhuB3UQhjQKBnWBym/udJ1Sax/LBTBP0IzqSPOSMGit1xo9ikKnZoFpz6+4cZJV4BalBgeag+tUfxiyNUBomqNY9z02Mn1FlOBM4q/RTjQllEzrCnqWSRqj9bH7ujJxZZUjCWNmShszV3xMZjbSeRoHtjKgZ62UvF//zeqkJr/2MyyQ1KNliUZgKYmKS/06GXCEzYmoJZYrbWwkbU0WZsQlVbAje8surpH1R99y6d39Za9wUcZThBE7hHDy4ggbcQRNawGACz/AKb07ivDjvzseiteQUM8fwB87nD5sBj7s=AAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cK9gPaWDbbSbt0swm7G6GE/ggvHhTx6u/x5r9x0+agrQ8GHu/NMDMvSATXxnW/ndLa+sbmVnm7srO7t39QPTxq6zhVDFssFrHqBlSj4BJbhhuB3UQhjQKBnWBym/udJ1Sax/LBTBP0IzqSPOSMGit1xo9ikKnZoFpz6+4cZJV4BalBgeag+tUfxiyNUBomqNY9z02Mn1FlOBM4q/RTjQllEzrCnqWSRqj9bH7ujJxZZUjCWNmShszV3xMZjbSeRoHtjKgZ62UvF//zeqkJr/2MyyQ1KNliUZgKYmKS/06GXCEzYmoJZYrbWwkbU0WZsQlVbAje8surpH1R99y6d39Za9wUcZThBE7hHDy4ggbcQRNawGACz/AKb07ivDjvzseiteQUM8fwB87nD5sBj7s=AAAB7nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cK9gPaWDbbSbt0swm7G6GE/ggvHhTx6u/x5r9x0+agrQ8GHu/NMDMvSATXxnW/ndLa+sbmVnm7srO7t39QPTxq6zhVDFssFrHqBlSj4BJbhhuB3UQhjQKBnWBym/udJ1Sax/LBTBP0IzqSPOSMGit1xo9ikKnZoFpz6+4cZJV4BalBgeag+tUfxiyNUBomqNY9z02Mn1FlOBM4q/RTjQllEzrCnqWSRqj9bH7ujJxZZUjCWNmShszV3xMZjbSeRoHtjKgZ62UvF//zeqkJr/2MyyQ1KNliUZgKYmKS/06GXCEzYmoJZYrbWwkbU0WZsQlVbAje8surpH1R99y6d39Za9wUcZThBE7hHDy4ggbcQRNawGACz/AKb07ivDjvzseiteQUM8fwB87nD5sBj7s=hl+1rAAAB8nicbVBNS8NAEJ34WetX1aOXxSIIQklE0GPRi8cK9gPaWDbbTbt0swm7E6GE/AwvHhTx6q/x5r9x2+agrQ8GHu/NMDMvSKQw6Lrfzsrq2vrGZmmrvL2zu7dfOThsmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7Gt1O//cS1EbF6wEnC/YgOlQgFo2il7ugxk+de3s903q9U3Zo7A1kmXkGqUKDRr3z1BjFLI66QSWpM13MT9DOqUTDJ83IvNTyhbEyHvGupohE3fjY7OSenVhmQMNa2FJKZ+nsio5ExkyiwnRHFkVn0puJ/XjfF8NrPhEpS5IrNF4WpJBiT6f9kIDRnKCeWUKaFvZWwEdWUoU2pbEPwFl9eJq2LmufWvPvLav2miKMEx3ACZ+DBFdThDhrQBAYxPMMrvDnovDjvzse8dcUpZo7gD5zPHz5pkTc=AAAB8nicbVBNS8NAEJ34WetX1aOXxSIIQklE0GPRi8cK9gPaWDbbTbt0swm7E6GE/AwvHhTx6q/x5r9x2+agrQ8GHu/NMDMvSKQw6Lrfzsrq2vrGZmmrvL2zu7dfOThsmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7Gt1O//cS1EbF6wEnC/YgOlQgFo2il7ugxk+de3s903q9U3Zo7A1kmXkGqUKDRr3z1BjFLI66QSWpM13MT9DOqUTDJ83IvNTyhbEyHvGupohE3fjY7OSenVhmQMNa2FJKZ+nsio5ExkyiwnRHFkVn0puJ/XjfF8NrPhEpS5IrNF4WpJBiT6f9kIDRnKCeWUKaFvZWwEdWUoU2pbEPwFl9eJq2LmufWvPvLav2miKMEx3ACZ+DBFdThDhrQBAYxPMMrvDnovDjvzse8dcUpZo7gD5zPHz5pkTc=AAAB8nicbVBNS8NAEJ34WetX1aOXxSIIQklE0GPRi8cK9gPaWDbbTbt0swm7E6GE/AwvHhTx6q/x5r9x2+agrQ8GHu/NMDMvSKQw6Lrfzsrq2vrGZmmrvL2zu7dfOThsmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7Gt1O//cS1EbF6wEnC/YgOlQgFo2il7ugxk+de3s903q9U3Zo7A1kmXkGqUKDRr3z1BjFLI66QSWpM13MT9DOqUTDJ83IvNTyhbEyHvGupohE3fjY7OSenVhmQMNa2FJKZ+nsio5ExkyiwnRHFkVn0puJ/XjfF8NrPhEpS5IrNF4WpJBiT6f9kIDRnKCeWUKaFvZWwEdWUoU2pbEPwFl9eJq2LmufWvPvLav2miKMEx3ACZ+DBFdThDhrQBAYxPMMrvDnovDjvzse8dcUpZo7gD5zPHz5pkTc=AAAB8nicbVBNS8NAEJ34WetX1aOXxSIIQklE0GPRi8cK9gPaWDbbTbt0swm7E6GE/AwvHhTx6q/x5r9x2+agrQ8GHu/NMDMvSKQw6Lrfzsrq2vrGZmmrvL2zu7dfOThsmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7Gt1O//cS1EbF6wEnC/YgOlQgFo2il7ugxk+de3s903q9U3Zo7A1kmXkGqUKDRr3z1BjFLI66QSWpM13MT9DOqUTDJ83IvNTyhbEyHvGupohE3fjY7OSenVhmQMNa2FJKZ+nsio5ExkyiwnRHFkVn0puJ/XjfF8NrPhEpS5IrNF4WpJBiT6f9kIDRnKCeWUKaFvZWwEdWUoU2pbEPwFl9eJq2LmufWvPvLav2miKMEx3ACZ+DBFdThDhrQBAYxPMMrvDnovDjvzse8dcUpZo7gD5zPHz5pkTc=hl+1aAAAB8nicbVBNS8NAEJ34WetX1aOXxSIIQklE0GPRi8cK9gPaWDbbTbt0swm7E6GE/AwvHhTx6q/x5r9x2+agrQ8GHu/NMDMvSKQw6Lrfzsrq2vrGZmmrvL2zu7dfOThsmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7Gt1O//cS1EbF6wEnC/YgOlQgFo2il7ugxk+de3s9o3q9U3Zo7A1kmXkGqUKDRr3z1BjFLI66QSWpM13MT9DOqUTDJ83IvNTyhbEyHvGupohE3fjY7OSenVhmQMNa2FJKZ+nsio5ExkyiwnRHFkVn0puJ/XjfF8NrPhEpS5IrNF4WpJBiT6f9kIDRnKCeWUKaFvZWwEdWUoU2pbEPwFl9eJq2LmufWvPvLav2miKMEx3ACZ+DBFdThDhrQBAYxPMMrvDnovDjvzse8dcUpZo7gD5zPHySUkSY=AAAB8nicbVBNS8NAEJ34WetX1aOXxSIIQklE0GPRi8cK9gPaWDbbTbt0swm7E6GE/AwvHhTx6q/x5r9x2+agrQ8GHu/NMDMvSKQw6Lrfzsrq2vrGZmmrvL2zu7dfOThsmTjVjDdZLGPdCajhUijeRIGSdxLNaRRI3g7Gt1O//cS1EbF6wEnC/YgOlQgFo2il7ugxk+de3s9o3q9U3Zo7A1kmXkGqUKDRr3z1BjFLI66QSWpM13MT9DOqUTDJ83IvNTyhbEyHvGupohE3fjY7OSenVhmQMNa2FJKZ+nsio5ExkyiwnRHFkVn0puJ/XjfF8NrPhEpS5IrNF4WpJBiT6f9kIDRnKCeWUKaFvZWwEdWUoU2pbEPwFl9eJq2LmufWvPvLav2miKMEx3ACZ+DBFdThDhrQBAYxPMMrvDnovDjvzse8dcUpZo7gD5zPHySUkSY=AAAB8nicbVBNS8NAEJ34WetX1aOXxSIIQklE0GPRi8cK9gPaWDbbTbt0swm7E6GE/AwvHhTx6