动态图消息传递网络：建模长距离依赖关系的方法

fully-connected feature graph and thus have a quadratic in-ference complexity with respect to the number of the featureelements. This is infeasible for dense prediction tasks onhigh-resolution imagery, as commonly encountered in se-mantic segmentation [9]. Moreover, in dense predictiontasks, capturing relations between all pairs of pixels is usu-ally unnecessary due to the redundant information containedwithin the image (Fig. 1). Simply subsampling the featuremap to reduce the memory requirements is also suboptimal,as such na¨ıve subsampling would result in smaller objects inthe image not being represented adequately.Graph convolution networks (GCNs) [19, 12] – whichpropagate information along graph-structured input data –can alleviate the computational issues of non-local networksto a certain extent. However, this stands only if local neigh-bourhoods are considered for each node. Employing suchlocal-connected graphs means that the long-range contex-tual information needed for complex vision tasks such assegmentation and detection [29, 28, 3] will only be partiallycaptured. Along this direction, GraphSAGE [13] introducedan efficient graph learning model based on graph sampling.However, the proposed sampling method considered a uni-form sampling strategy along the spatial dimension of theinput, and was independent of the actual input. Consequently,the modelling capacity was restricted as it assumed a staticinput graph where the neighbours for each node were fixedand filter weights were shared among all nodes.To address the aforementioned shortcomings, we proposea novel dynamic graph message passing network (DGMN)model, targeting effective and efficient deep representationallearning with joint modeling of two key dynamic propertiesas illustrated in Fig. 1. Our contribution is twofold: (i) Wedynamically sample the neighbourhood of a node from thefeature graph, conditioned on the node features. Intuitively,this learned sampling allows the network to efficiently gatherlong-range context by only selecting a subset of the mostrelevant nodes in the graph; (ii) Based on the nodes thathave been sampled, we further dynamically predict node-dependant, and thus position specific, filter weights and alsothe affinity matrix, which are used to propagate informationamong the feature nodes via message passing. The dynamic37260动态图消息传递网络0Li Zhang 1 Dan Xu 1 Anurag Arnab 2 � Philip H.S. Torr 101 牛津大学 2 谷歌研究0{ lz, danxu, phst } @robots.ox.ac.uk aarnab@google.com0摘要0对于计算机视觉中的场景理解任务，建模长距离依赖关系至关重要。尽管卷积神经网络在许多视觉任务中表现出色，但由于它们通常由一系列局部卷积核层组成，因此在捕捉长距离结构化关系方面仍存在局限性。完全连接的图对于这种建模是有益的，但其计算开销是禁止的。我们提出了一种动态图消息传递网络，与建模完全连接的图的相关工作相比，它显著降低了计算复杂度。这是通过根据输入自适应地对图中的节点进行采样来实现的，以进行消息传递。基于采样的节点，我们动态预测节点相关的滤波器权重和传递信息的亲和矩阵。使用这个模型，我们在三个不同的任务和骨干架构上相对于强大的最新基线取得了显著的改进。我们的方法还在使用更少的浮点运算和参数的情况下优于完全连接的图。01. 引言0捕捉长距离依赖关系对于复杂的场景理解任务（如语义分割、实例分割和目标检测）至关重要。尽管卷积神经网络（CNNs）在各种场景理解任务中表现出色，但它们在捕捉这些长距离交互方面仍存在局限性。为了改善CNNs在这方面的能力，最近的一种流行模型非局部网络（Non-localnetworks）[34]提出了对[31]的注意力模型的泛化，并在几个计算机视觉任务中取得了显著的进展。非局部网络本质上对特征图中的所有特征元素之间的成对结构化关系进行建模，以产生用于特征聚合的注意力权重。将每个特征元素视为图中的一个节点，非局部网络有效地建模了一个完全连接的特征图，因此其推理复杂度与特征元素的数量呈二次关系。对于在高分辨率图像上进行密集预测任务，这是不可行的，因为在语义分割[9]中经常遇到这种情况。此外，在密集预测任务中，通常不需要捕捉所有像素对之间的关系，因为图像中包含的冗余信息（图1）已经足够。简单地对特征图进行子采样以减少内存需求也是次优的，因为这种简单的子采样会导致图像中较小的对象无法充分表示。图卷积网络（GCNs）[19,12]可以在一定程度上缓解非局部网络的计算问题，因为它们沿着图结构化的输入数据传播信息。然而，这仅在考虑每个节点的局部邻域时才成立。使用这样的局部连接图意味着复杂视觉任务（如分割和检测）所需的长距离上下文信息只能部分捕捉到。沿着这个方向，GraphSAGE[13]引入了一种基于图采样的高效图学习模型。然而，所提出的采样方法沿着输入的空间维度进行均匀采样，并且与实际输入无关。因此，建模能力受到限制，因为它假设了一个静态输入图，其中每个节点的邻居是固定的，并且滤波器权重在所有节点之间共享。为了解决上述问题，我们提出了一种新颖的动态图消息传递网络（DGMN）模型，旨在通过联合建模两个关键动态属性来实现有效和高效的深度表示学习，如图1所示。我们的贡献有两个方面：（i）我们根据节点特征动态采样节点的邻域。直观地说，这种学习采样使网络能够通过仅选择图中最相关的节点子集来高效地收集长距离上下文；（ii）基于已采样的节点，我们进一步动态预测节点相关的、因此位置特定的滤波器权重和亲和矩阵，这些权重和矩阵用于通过消息传递在特征节点之间传播信息。动态0� 主要在牛津大学完成的工作。The idea of sampling graph nodes has previously been ex-plored in GraphSAGE [13]. Crucially, GraphSAGE simplyuniformly samples nodes. In contrast, our sampling strategyis learned based on the node features. Specifically, we firstsample the nodes uniformly in the spatial dimension, andthen dynamically predict walks of each node conditionedon the node features. Furthermore, GraphSAGE does notconsider our second important property, i.e. the dynamicprediction of the affinities and the message passing kernels.37270（a）全连接的消息传递 （b）局部连接的消息传递0（c）动态图消息传递0图1：对于复杂场景理解任务，上下文信息至关重要。要识别“船屋”，需要考虑旁边的“船”和“水”。全连接的消息传递模型（a）能够获取这些信息，但代价过高。此外，它们捕捉了大量冗余信息（即“树木”和“天空”）。局部连接模型（b）更高效，但会错过重要的上下文。我们提出的方法（c）基于学习的动态采样方案，即学习的位置特定随机游走（用白色虚线箭头表示），动态地采样一小部分相关特征节点，并动态预测滤波器权重和亲和力（用唯一的边和方块颜色表示），两者都与采样的特征节点有关。0权重和亲和力对于特定建模每个采样特征上下文尤为有益，从而实现更有效的消息传递。这两个动态属性在单个模型中进行联合优化，并将DGMN模块化为网络层，以便简单地部署到现有网络中。我们在具有挑战性的Cityscapes[9]和COCO[26]数据集上展示了所提出的模型在语义分割、目标检测和实例分割任务上的显著性能改进。与全连接的非局部模型[34]相比，我们使用的浮点运算（FLOPs）大大减少。显著的是，我们的具有动态滤波器和亲和力的模型的一个变体（即第二个动态属性）在仅使用其FLOPs的9.4％和参数的25.3％的情况下实现了类似的性能。此外，将我们的模块“插入”到现有网络中，我们在三个不同任务和骨干架构上相对于强大的最新基线显示出了显著的改进。02. 相关工作0早期用于计算机视觉任务的上下文建模技术涉及条件随机场。特别是，DenseCRF模型[21]因为模拟了图像中所有像素对之间的相互作用而受到欢迎。尽管这些模型已经被集成到神经网络中[43, 1, 2,37]，但它们受到一些限制，因为成对潜力是基于简单的手工特征的。此外，它们主要模拟离散标签空间，因此在特征学习任务中不直接适用，因为特征变量通常是连续的。再加上CRF计算成本高昂，CRF不再用于大多数计算机视觉任务。增加感受野的一种补充技术是采样图节点的思想以前已经在GraphSAGE[13]中探索过。关键是，GraphSAGE只是均匀采样节点。相反，我们的采样策略是基于节点特征进行学习的。具体而言，我们首先在空间维度上均匀采样节点，然后根据节点特征动态预测每个节点的游走。此外，GraphSAGE不考虑我们的第二个重要属性，即动态预测亲和力和消息传递核。0CNN的一个发展方向是使用扩张卷积[5,39]。通过扩张卷积，参数数量不变，但是如果在连续的层中线性增加膨胀率，感受野将呈指数级增长。卷积操作的其他修改包括可变形卷积[10,44]，它通过学习相对于预定义网格的偏移来选择输入值。然而，可变形卷积滤波器的权重不依赖于所选输入，并且实际上在所有不同位置上共享。相比之下，我们的动态采样旨在对整个特征图进行采样，以获得较大的感受野，并且预测的亲和力和消息传递的权重是位置特定的，并且在动态采样节点上进行条件化。因此，我们的模型能够更好地捕捉基于位置的语义上下文，从而实现特征节点之间更有效的消息传递。0我们还注意到[18]提出了“动态卷积”的概念，即为每个特征位置预测一个动态卷积滤波器。最近，[35]在自然语言处理的背景下进一步减少了这个操作的复杂性，采用了轻量级分组卷积。与[18,35]不同，我们提出了一种基于图的公式，并联合学习动态权重和动态亲和力，这些权重和亲和力是根据图中每个特征节点的自适应采样邻域条件的。=A fully-connected graph typically contains many connec-tions and parameters, which, in addition to computationaloverhead, results in redundancy in the connections, and alsomakes the network optimisation more difficult especiallywhen dealing with limited training data. Therefore, as inEq. 1, a local node connection field is considered in the graphmessage passing network. However, in various computer vi-sion tasks, such as detection and segmentation, learning deeprepresentations capturing both local and global receptivefields is important for the model performance [29, 28, 23].To maintain a large receptive field while utilising much fewerparameters than the fully-connected setting, we further ex-plore dynamic sampling strategies in our proposed graphmessage passing network. We develop a uniform samplingscheme, which we then extend to a predicted random walksampling scheme, aimed at reducing the redundancy foundin a fully-connected graph. This sampling is performed in adynamic fashion, meaning that for a given node hi, we aimto sample an optimal subset of vi from V to update hi viamessage passing as shown in Fig. 2.Multiple uniform sampling for dynamic receptive fields.Uniform sampling is a commonly used strategy for graphnode sampling [22] based on Monte-Carlo estimation. Toapproximate the distribution of V, we consider a set of Suniform sampling rates ϕ with ϕ = {ρq}Sq=1, where ρq is asampling rate. Let us assume that the latent feature nodesare located in a P-dimensional space RP . For instance,P = 2 for images considering the x- and y-axes. For each37280有效的消息传递采样策略。03. 动态图消息传递网络03.1. 问题定义和符号表示0给定一个被解释为一组特征向量的输入特征图，即 F = {f_i}^N_{i=1}，其中 f_i ∈R^{1×C}，N 是像素的数量，C是特征维度，我们的目标是通过利用不同像素位置的特征向量之间的隐藏结构信息来学习一组精细的潜在特征向量 H = {h_i}^N_{i=1}。H 与观察到的 F具有相同的维度。为了学习这样的结构化表示，我们将特征图转换为图域，通过构建一个特征图 G = {V, E, A}，其中 V 是其节点，E 是其边，A是其邻接矩阵。具体而言，图的节点由潜在特征向量表示，即 V = {h_i}^N_{i=1}，A ∈R^{N×N}0是一个具有自环的二进制或可学习矩阵，描述节点之间的连接关系。在这项工作中，我们提出了一种新颖的动态图消息传递网络[12]用于深度表示学习，通过在图 G上传递消息来改进每个图特征节点。与现有的考虑全连接或局部连接的静态图的消息传递神经网络不同[34,12]，我们提出了一个具有两个动态属性的动态图网络模型，即动态采样以近似全图分布，并动态预测节点条件下的滤波权重和亲和力，以实现更高效和有效的消息传递。03.2. 用于深度表示学习的图消息传递神经网络0消息传递神经网络（MPNNs）[12]是图神经网络（如图卷积网络[19]、门控图序列网络[24]和图注意力网络[32]）的一种广义形式。为了对表示为无向或有向图上的节点的潜在变量进行建模，通过消息传递阶段和图节点上的读出阶段进行前馈推理。消息传递阶段通常需要 T个迭代步骤来更新特征节点，而读出阶段用于最终预测，例如使用更新后的节点进行图分类。在这项工作中，我们专注于消息传递阶段，以学习高效和有效的特征改进，因为良好表示的特征对于所有下游任务都至关重要。消息传递阶段包括两个步骤，即消息计算步骤 M_t 和消息更新步骤U_t。给定迭代 t 中的潜在特征节点h(t)_i，为了计算效率，我们考虑一个局部连接的节点域，其中 v_i � V，v_i ∈ R^{(K×C)}，其中 K � N 是 v_i中采样节点的数量。因此，我们可以定义消息0节点 i 的计算步骤在本地操作，如下所示0m(t+1)_i = M_t � A_i,j, {h(t)_1, ∙ ∙ ∙ , h(t)_K},w_j �0j ∈ N(i) A_i,j h(t)_j w_j, (1)0其中 A i,j = A[i, j] 描述了潜在节点 h(t)i 和 h(t)j之间的连接关系，N(i)0表示节点 h(t)_i 的自包含邻域，可以从 v_i 和 w_j ∈R^{C×C} 推导出。0消息更新函数Ut然后使用计算得到的消息和节点位置i处的观察特征fi的线性组合来更新节点h(t)i，如下所示：0h(t+1)i = Ut � fi, m(t+1)i � = σ � fi + αmi m(t+1)i �, (2)0其中αmi是可学习参数，用于缩放消息，操作σ(∙)是非线性函数，例如ReLU。通过在每个节点上进行T步的迭代消息传递，我们得到一个精细化的特征图H(T)作为输出。03.3. 从完全连接图到动态采样图HAAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRS48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoLJ/dzvPKHSPJYPZpqgH9GR5CFn1FipWR+UK27VXYCsEy8nFcjRGJS/+sOYpRFKwwTVuue5ifEzqgxnAmelfqoxoWxCR9izVNIItZ8tDp2RC6sMSRgrW9KQhfp7IqOR1tMosJ0RNWO96s3F/7xeasJbP+MySQ1KtlwUpoKYmMy/JkOukBkxtYQyxe2thI2poszYbEo2BG/15XXSvqp6btVrXldqd3kcRTiDc7gED26gBnVoQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AnXmMzA==AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRS48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoLJ/dzvPKHSPJYPZpqgH9GR5CFn1FipWR+UK27VXYCsEy8nFcjRGJS/+sOYpRFKwwTVuue5ifEzqgxnAmelfqoxoWxCR9izVNIItZ8tDp2RC6sMSRgrW9KQhfp7IqOR1tMosJ0RNWO96s3F/7xeasJbP+MySQ1KtlwUpoKYmMy/JkOukBkxtYQyxe2thI2poszYbEo2BG/15XXSvqp6btVrXldqd3kcRTiDc7gED26gBnVoQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AnXmMzA==AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRS48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoLJ/dzvPKHSPJYPZpqgH9GR5CFn1FipWR+UK27VXYCsEy8nFcjRGJS/+sOYpRFKwwTVuue5ifEzqgxnAmelfqoxoWxCR9izVNIItZ8tDp2RC6sMSRgrW9KQhfp7IqOR1tMosJ0RNWO96s3F/7xeasJbP+MySQ1KtlwUpoKYmMy/JkOukBkxtYQyxe2thI2poszYbEo2BG/15XXSvqp6btVrXldqd3kcRTiDc7gED26gBnVoQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AnXmMzA==AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRS48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoLJ/dzvPKHSPJYPZpqgH9GR5CFn1FipWR+UK27VXYCsEy8nFcjRGJS/+sOYpRFKwwTVuue5ifEzqgxnAmelfqoxoWxCR9izVNIItZ8tDp2RC6sMSRgrW9KQhfp7IqOR1tMosJ0RNWO96s3F/7xeasJbP+MySQ1KtlwUpoKYmMy/JkOukBkxtYQyxe2thI2poszYbEo2BG/15XXSvqp6btVrXldqd3kcRTiDc7gED26gBnVoQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AnXmMzA==WAAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqMeiF48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoLJ3dzvPKHSPJYPZpqgH9GR5CFn1Fip2RmUK27VXYCsEy8nFcjRGJS/+sOYpRFKwwTVuue5ifEzqgxnAmelfqoxoWxCR9izVNIItZ8tDp2RC6sMSRgrW9KQhfp7IqOR1tMosJ0RNWO96s3F/7xeasIbP+MySQ1KtlwUpoKYmMy/JkOukBkxtYQyxe2thI2poszYbEo2BG/15XXSvqp6btVrXlfqt3kcRTiDc7gED2pQh3toQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AtDWM2w==AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqMeiF48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoLJ3dzvPKHSPJYPZpqgH9GR5CFn1Fip2RmUK27VXYCsEy8nFcjRGJS/+sOYpRFKwwTVuue5ifEzqgxnAmelfqoxoWxCR9izVNIItZ8tDp2RC6sMSRgrW9KQhfp7IqOR1tMosJ0RNWO96s3F/7xeasIbP+MySQ1KtlwUpoKYmMy/JkOukBkxtYQyxe2thI2poszYbEo2BG/15XXSvqp6btVrXlfqt3kcRTiDc7gED2pQh3toQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AtDWM2w==AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqMeiF48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoLJ3dzvPKHSPJYPZpqgH9GR5CFn1Fip2RmUK27VXYCsEy8nFcjRGJS/+sOYpRFKwwTVuue5ifEzqgxnAmelfqoxoWxCR9izVNIItZ8tDp2RC6sMSRgrW9KQhfp7IqOR1tMosJ0RNWO96s3F/7xeasIbP+MySQ1KtlwUpoKYmMy/JkOukBkxtYQyxe2thI2poszYbEo2BG/15XXSvqp6btVrXlfqt3kcRTiDc7gED2pQh3toQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AtDWM2w==AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqMeiF48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoLJ3dzvPKHSPJYPZpqgH9GR5CFn1Fip2RmUK27VXYCsEy8nFcjRGJS/+sOYpRFKwwTVuue5ifEzqgxnAmelfqoxoWxCR9izVNIItZ8tDp2RC6sMSRgrW9KQhfp7IqOR1tMosJ0RNWO96s3F/7xeasIbP+MySQ1KtlwUpoKYmMy/JkOukBkxtYQyxe2thI2poszYbEo2BG/15XXSvqp6btVrXlfqt3kcRTiDc7gED2pQh3toQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AtDWM2w==CAAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GOxF48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoJJfe53nlBpHssHM03Qj+hI8pAzaqzUrA/KFbfqLkDWiZeTCuRoDMpf/WHM0gilYYJq3fPcxPgZVYYzgbNSP9WYUDahI+xZKmmE2s8Wh87IhVWGJIyVLWnIQv09kdFI62kU2M6ImrFe9ebif14vNeGtn3GZpAYlWy4KU0FMTOZfkyFXyIyYWkKZ4vZWwsZUUWZsNiUbgrf68jppX1U9t+o1ryu1uzyOIpzBOVyCBzdQg3toQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AleWMxw==AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GOxF48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoJJfe53nlBpHssHM03Qj+hI8pAzaqzUrA/KFbfqLkDWiZeTCuRoDMpf/WHM0gilYYJq3fPcxPgZVYYzgbNSP9WYUDahI+xZKmmE2s8Wh87IhVWGJIyVLWnIQv09kdFI62kU2M6ImrFe9ebif14vNeGtn3GZpAYlWy4KU0FMTOZfkyFXyIyYWkKZ4vZWwsZUUWZsNiUbgrf68jppX1U9t+o1ryu1uzyOIpzBOVyCBzdQg3toQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AleWMxw==AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GOxF48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoJJfe53nlBpHssHM03Qj+hI8pAzaqzUrA/KFbfqLkDWiZeTCuRoDMpf/WHM0gilYYJq3fPcxPgZVYYzgbNSP9WYUDahI+xZKmmE2s8Wh87IhVWGJIyVLWnIQv09kdFI62kU2M6ImrFe9ebif14vNeGtn3GZpAYlWy4KU0FMTOZfkyFXyIyYWkKZ4vZWwsZUUWZsNiUbgrf68jppX1U9t+o1ryu1uzyOIpzBOVyCBzdQg3toQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AleWMxw==AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GOxF48t2A9oQ9lsJ+3azSbsboQS+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBFcG9f9dgobm1vbO8Xd0t7+weFR+fikreNUMWyxWMSqG1CNgktsGW4EdhOFNAoEdoJJfe53nlBpHssHM03Qj+hI8pAzaqzUrA/KFbfqLkDWiZeTCuRoDMpf/WHM0gilYYJq3fPcxPgZVYYzgbNSP9WYUDahI+xZKmmE2s8Wh87IhVWGJIyVLWnIQv09kdFI62kU2M6ImrFe9ebif14vNeGtn3GZpAYlWy4KU0FMTOZfkyFXyIyYWkKZ4vZWwsZUUWZsNiUbgrf68jppX1U9t+o1ryu1uzyOIpzBOVyCBzdQg3toQAsYIDzDK7w5j86L8+58LFsLTj5zCn/gfP4AleWMxw==USAAAB8nicbVDLSsNAFL2pr1pfVZdugkVwVRIRdFl047KiaQtpKJPppB06jzAzEUroZ7hxoYhbv8adf+OkzUJbDwwczrmXOffEKaPaeN63U1lb39jcqm7Xdnb39g/qh0cdLTOFSYAlk6oXI00YFSQw1DDSSxVBPGakG09uC7/7RJSmUjyaaUoijkaCJhQjY6Wwz5EZK54HD7NBveE1vTncVeKXpAEl2oP6V38occaJMJghrUPfS02UI2UoZmRW62eapAhP0IiElgrEiY7yeeSZe2aVoZtIZZ8w7lz