83540自监督视觉Transformer的补丁级表示学习0Sukmin Yun Hankook Lee Jaehyung Kim Jinwoo Shin韩国科学技术高级研究院（KAIST）0{sukmin.yun, hankook.lee, jaehyungkim, jinwoos}@kaist.ac.kr0摘要0最近的自监督学习（SSL）方法在从未标记的图像中学习视觉表示方面取得了令人印象深刻的结果。本文旨在通过利用底层神经网络的架构优势进一步提高它们的性能，因为当前最先进的自监督学习的视觉预训练任务并不享受这种好处，即它们不依赖特定的架构。特别是，我们关注VisionTransformers（ViTs），它们最近作为更好的架构选择引起了广泛关注，通常在各种视觉任务中优于卷积网络。ViT的独特特点是它从图像中获取一系列不相交的补丁，并在内部处理补丁级别的表示。受此启发，我们设计了一个简单而有效的视觉预训练任务，称为SelfPatch，用于学习更好的补丁级别表示。具体而言，我们强制要求每个补丁及其邻居对其不变，即每个补丁将相似的邻近补丁视为正样本。因此，使用SelfPatch训练ViTs可以学习到补丁之间更具语义意义的关系（而不使用人工标注的标签），这对于密集预测类型的下游任务特别有益。尽管它很简单，但我们证明它可以显著提高现有自监督学习方法在各种视觉任务中的性能，包括目标检测和语义分割。具体而言，SelfPatch在COCO目标检测上比最近的自监督ViT（DINO）提高了+1.3AP，在COCO实例分割上提高了+1.2AP，在ADE20K语义分割上提高了+2.9 mIoU。01. 引言0最近，自监督学习（SSL）通过使用各种精心设计的预训练任务，包括对比学习[5, 6, 14]，聚类[3]和伪标签[4, 7,13]，从未标记的图像中学习视觉表示取得了成功的结果。它们的共同特点是利用同一图像的不同增强作为正样本对，即它们学习表示。0为了对增强操作保持不变，自监督学习方法不使用人工标注的标签，在各种下游任务中与标准监督学习[16]竞争甚至超过了它，包括图像分类[6]、目标检测[3]和分割[3]。同时，受到Transformers在自然语言处理[1,10]中的成功启发，Vision Transformers（ViTs）[11, 27,28]作为卷积神经网络（CNNs）的替代品在各种视觉任务中表现出优越性能[25,27]。例如，ViT-S/16[27]在ImageNet[9]基准测试中比ResNet-152[16]具有更高的准确性，吞吐量提高了1.8倍。最近有几个尝试将现有的自监督技术应用于ViTs[4, 8,36]。尽管这些技术在ViTs上也显示出了有效性，但它们没有充分利用ViTs的架构优势，即它们的预训练任务不依赖特定的架构。例如，ViTs能够处理补丁级别的表示，但现有的自监督学习方案中使用的预训练任务只使用整个图像级别的自监督，而不考虑学习补丁级别的表示。因此，现有的自监督ViTs[4,8]可能无法捕捉到补丁之间的语义相关性；例如，如图1第二行所示，补丁之间的自注意力图被折叠了。这个限制激发了我们对以下问题的探索：如何利用ViTs的架构特性来提高学习到的补丁级别表示的质量，而不需要人工标注的监督？0贡献。在本文中，我们提出了一种简单而有效的自监督学习方案，用于学习补丁级表示，称为SelfPatch，它对各种视觉下游任务都有益处。我们的补丁级自监督学习方案SelfPatch可以与任何图像级自监督ViT（例如DINO [4]，MoCo-v3[8]和MoBY[36]）结合使用，同时学习全局（即图像级）和局部（即补丁级）信息。图1显示了SelfPatch如何提高DINO的自注意力图的质量，这是SelfPatch鼓励学习更好的补丁级表示的证据。我们的关键思想是将语义相似的相邻补丁视为正样本。83550查询补丁0DINO0DINO0+ SelfPatch0图1. 阈值化查询补丁（顶部）在经过DINO训练的ViT-S/16的最后一层中的自注意力图（中间）和DINO +SelfPatch（底部）中获得的前10％补丁的可视化。虽然DINO选择的补丁与其查询补丁不相关，但SelfPatch鼓励模型学习补丁之间的语义相关性。0基于以下先验知识，我们将补丁作为正样本：相邻的补丁通常共享共同的语义上下文。由于可能存在多个正样本补丁（但我们不知道哪些补丁是正样本），我们首先使用当前模型的补丁表示之间的余弦相似度选择固定数量的相邻补丁作为正样本候选。在这些补丁中，可能仍然存在噪声（例如，不是正样本），为了去噪，我们利用ViT顶部的附加基于注意力的聚合模块对它们的补丁表示进行汇总。然后，我们最小化每个补丁表示与相应汇总补丁表示之间的距离。我们在图2a中提供了所提出方案的整体说明。为了证明我们方法的有效性，我们在ImageNet [9]数据集上预训练了ViT-S/16[27]，并在广泛的密集预测下游任务上评估了转移性能：（a）COCO目标检测和实例分割[20]，（b）ADE20K语义分割[38]和（c）DAVIS2017视频对象分割[24]。具体而言，我们的方法在图像级自监督学习DINO[4]上取得了显著的改进，例如在COCO检测上+1.3 APbb（即40.8→42.1）（见表1），在ADE20K分割上+2.9mIoU（即38.3→41.2）（见表2）。因此，我们的方法优于所有的SSL基线[3，6，31，33，34，36]，如DenseCL[31]。此外，我们通过与各种目标（例如MoBY[36]）、架构（例如Swin Transformer[21]）和补丁大小（例如8×8）的结合，展示了SelfPatch的高兼容性。例如，SelfPatch分别在DAVIS视频分割基准[24]上将MoBY [36]改进了ViT和SwinTransformer的+4.8和+5.6（J&F）m（见表5）。总的来说，我们的工作强调了在自监督学习中预训练ViTs时学习补丁级表示的重要性。我们希望我们的工作能够激发研究人员重新思考这个未被充分探索的问题，并提供补丁级自监督学习的新方向。02. 方法0在本节中，我们介绍了一种简单而有效的视觉预训练任务，称为SelfPatch，用于学习更好的补丁级表示，该任务专为利用Vision Transformers[11]的独特架构优势而设计。我们首先在第2.1节中回顾了具有最近的自监督学习方案[4，8，36]的VisionTransformers，然后在第2.2节中介绍了SelfPatch的详细信息。图2a说明了我们方法SelfPatch的整体方案。02.1. 基础知识0视觉Transformer。令 x ∈ R H × W × C为一张图像，其中 ( H, W ) 为 x 的分辨率， C为通道数。视觉Transformer (ViTs) [ 11 ] 将图像 x视为一系列不重叠的补丁 { x ( i ) ∈ R P 2 C } N i =1（即，标记），其中每个补丁具有固定的分辨率 ( P, P )。然后，将补丁线性变换为 D 维补丁嵌入 e ( i ) = E x ( i )+ E ( i ) pos ∈ R D ，其中 E ∈ R D × P 2 C为线性投影， E ( i ) pos ∈ R D 为补丁索引 i的位置嵌入。ViTs还在补丁序列之前添加了代表整个补丁（即给定图像 x ）的 [ CLS ] 标记，其具有可学习的嵌入 e[ CLS ] ∈ R D 。得到的输入序列 e 为 e = [ e [ CLS ] ;e (1) ; e (2) ; . . . ; e ( N ) ]。然后，ViTs使用Transformer编码器输出所有补丁级和图像级（即， [ CLS ]标记）的表示。为了简洁起见，我们使用 f θ 来表示由 θ参数化的ViT的整个过程，如下所示：0f θ ( x ) = f θ ([ e [ CLS ] ; e (1) ; e (2) ; . . . ; e ( N ) ])0= [ f [ CLS ] θ ( x ); f (1) θ ( x ); f (2) θ ( x ); . . . ; f ( N ) θ ( x )] , (1)01 我们省略了Transformer编码器的细节[ 29]，其中每个层由自注意模块、跳跃连接和多层感知机（MLP）组成。2注意， θ 包含所有Transformer编码器参数和嵌入参数 E ， E pos 和 e [CLS ] 。ACM3icbVDLTsJAFJ3iC/AFuHTSExckdYZUnixiUmAibQkOlwCxOm02bm1kia/opb/QE/xrgzbv0HB+hCwJNM5sw59+beOX4suEbH+bAKW9s7u3vFUn/4PDouFKtdXWUKAYdFolIPfpUg+ASOshRwGOsgIa+gJ4/vZ37vSdQmkfyAWcxeCEdSx5wRtFIw0otGKYD5GIE5poA0iwbVupOw1nA3iRuTuokR3tYtUqDUcSECQyQbXu06MXkoVciYgKw8SDTFlUzqGvqGShqC9dLF8Zp8bZWQHkTJHor1Q/3akNR6FvqmMqQ40eveXPzXk5xBoChbmZ/64dp7TegnGDS9lMs4QZBsuV+QCBsjex6gPeIKGIqZIZQpbr5oswk1c9DEXDbhuetRbZLuZcO9bj3V/VWM4+xSE7JGbkgLrkhLXJH2qRDGHkmL+SVvFnv1qf1ZX0vSwtW3nNCVmD9/AJlqKrgACR3icbVDLTsJAFJ3iC/AFunTSDCuSGuMsiRx4xITeSRAyHS4pROn02bm1oQ0/IFf41Z/wE/wK9wZlw7QhRPMpkz59ybO/d4seAaHefTKmxt7+zuFUvl/YPDo+NK9aSro0Qx6LBIRKrvUQ2CS+gRwH9WAENPQE97+lu4feQWkeyUecxTAK6VRynzOKRhpXLoJxOkQuJmCuAJDO5+W6v6GNKzWn4SxhbxI3IzWSoT2uWqXhJGJCBKZoFoPXCfGUoVciZgXh4mGmLKnugUBoZKGoIepcuF5nbdKBPbj5Q5Eu2l+rcjpaHWs9AzlSHFQOe9hfivJzkDX1G2Nj/1wtw7JwS9JujlMs4QZBs9T8/ETZG9iJUe8IVMBQzQyhT3Kxos4CaOWiL5vw3HxUm6R71XBvGs7Dda3VzGIskjNyTi6JS25Ji9yTNukQRl7IK3kj79aH9WV9Wz+r0oKV9ZySNRSsX6g+sm8=ACR3icbVDLTsJAFJ3iC+oLdOmkWBckdYZUnixiUm8kiAkOlwCxOn02bm1oQ0/IFf41Z/wE/wK9wZlw7QhRPMpkz59ybO/f4seAaXfTKmxt7+zuFUv2/sHh0XG5ctLRUaIYtFkItXzqQbBJbSRo4BerICGvoCu/3S38LvPoDSP5CPOYhiGdCJ5wBlFI43KF5NROkAuxmCuKSCdz+1asKGNylW37i7hbBIvI1WSoTWqWKXBOGJCBKZoFr3PTfGYUoVciZgbg8SDTFlT3QCfUMlDUEP0+VCc6dmlLETRMocic5S/duR0lDrWeibypDiVOe9hfivJzmDQFG2Nj/1w9w7J/QTDBrDlMs4QZBs9b8gEQ5GziJUZ8wVMBQzQyhT3KzosCk1c9BEb5vwvHxUm6RzVfdu6u7DdbXZyGIskjNyTi6JR25Jk9yTFmkTRl7IK3kj79aH9WV9Wz+r0oKV9ZySNRSsX6Zdsm4=ACPXicbVDLTsJAFJ3iC/AFutRFIyFxRVpjlCWJG5eYyCMB0kyHW5gwnTYztyakYePXuNUf8Dv8AHfGrVsH6ELAk0xy7jn35s49fiy4Rsf5sHJb2zu7e/lCcf/g8Oi4VD5p6yhRDFosEpHq+lSD4BJayFAN1ZAQ19Ax5/czf3OEyjNI/mI0xgGIR1JHnBG0Uhe6Tzw+jgGpMVq4KV95GI6VKZzbxSxak5C9ibxM1IhWRoemWr0B9GLAlBIhNU657rxDhIqULOBMyK/URDTNmEjqBnqKQh6EG6OGNmV40ytINImSfRXqh/J1Iaj0NfdMZUhzrdW8u/utJziBQlK3sT/1wrV4TegkG9UHKZwgSLb8X5AIGyN7HqU95AoYiqkhlCluTrTZmJo9aAIvmvDc9ag2Sfuq5t7UnIfrSqOexZgnZ+SCXBKX3JIGuSdN0iKMPJMX8krerHfr0/qyvpetOSubOSUrsH5+AQ+rqo=ACPXicbVDLTsJAFJ3iC/AFutRFIyFxRVpjlCWJG5eYyCMB0kyHW5gwnTYztyakYePXuNUf8Dv8AHfGrVsH6ELAk0xy7jn35s49fiy4Rsf5sHJb2zu7e/lCcf/g8Oi4VD5p6yhRDFosEpHq+lSD4BJayFAN1ZAQ19Ax5/czf3OEyjNI/mI0xgGIR1JHnBG0Uhe6Xzs9XEMSIvVwEv7yMUQ0qUym3mlilNzFrA3iZuRCsnQ9MpWoT+MWBKCRCao1j3XiXGQUoWcCZgV+4mGmLIJHUHPUElD0IN0cbMrhplaAeRMk+ivVD/TqQ01Hoa+qYzpDjW695c/NeTnEGgKFvZn/rhWr0m9BIM6oOUyzhBkGz5vyARNkb2PEp7yBUwFNDKFPcnGizMTV70AReNOG561FtkvZVzb2pOQ/XlUY9izFPzsgFuSQuSUNck+apEUYeSYv5JW8We/Wp/VlfS9bc1Y2c0pWYP38AhNsrqw=ACP3icbVDLSsNAFJ34bOur1aUgwVJwVRIR7bLgxmUF+4A2lMn0ph06mYSZG6GE7vwat/oDfoZf4E7cunPSVrCtBwbOPede7tzjx4JrdJx3a2Nza3tnN5cv7O0fHB4VS8ctHSWKQZNFIlIdn2oQXEITOQroxApo6Ato+PbzG8/gtI8kg84icEL6VDygDOKRuoXz4b9tIcjQDotVIKMczGAX2naL5adqjODvU7cBSmTBRr9kpXvDSKWhCRCap13Vi9FKqkDMB0Iv0RBTNqZD6BoqaQjaS2eHTO2KUQZ2ECnzJNoz9e9ESkOtJ6FvOkOKI73qZeK/nuQMAkXZ0v7UD1fqFaGbYFDzUi7jBEGy+f+CRNgY2VmY9oArYCgmhlCmuDnRZiNq9qCJvGDCc1ejWiety6p7Xur8r12iLGHDkl5+SCuOSG1MkdaZAmYeSJPJMX8mq9WR/Wp/U1b92wFjMnZAnW9w8lcq+3ACM3icbVDLTsJAFJ3iC/AFuHTSExckdYZUnixiUmAibQkOlwCxOm02bm1kia/opb/QE/xrgzbv0HB+hCwJNM5sw59+beOX4suEbH+bAKW9s7u3vFUn/4PDouFKtdXWUKAYdFolIPfpUg+ASOshRwGOsgIa+gJ4/vZ37vSdQmkfyAWcxeCEdSx5wRtFIw0otGKYD5GIE5poA0iwbVupOw1nA3iRuTuokR3tYtUqDUcSECQyQbXu06MXkoVciYgKw8SDTFlUzqGvqGShqC9dLF8Zp8bZWQHkTJHor1Q/3akNR6FvqmMqQ40eveXPzXk5xBoChbmZ/64dp7TegnGDS9lMs4QZBsuV+QCBsjex6gPeIKGIqZIZQpbr5oswk1c9DEXDbhuetRbZLuZcO9bj3V/VWM4+xSE7JGbkgLrkhLXJH2qRDGHkmL+SVvFnv1qf1ZX0vSwtW3nNCVmD9/AJlqKrgACR3icbVDLTsJAFJ3iC/AFunTSDCuSGuMsiRx4xITeSRAyHS4pROn02bm1oQ0/IFf41Z/wE/wK9wZlw7QhRPMpkz59ybO/d4seAaHefTKmxt7+zuFUvl/YPDo+NK9aSro0Qx6LBIRKrvUQ2CS+gRwH9WAENPQE97+lu4feQWkeyUecxTAK6VRynzOKRhpXLoJxOkQuJmCuAJDO5+W6v6GNKzWn4SxhbxI3IzWSoT2uWqXhJGJCBKZoFoPXCfGUoVciZgXh4mGmLKnugUBoZKGoIepcuF5nbdKBPbj5Q5Eu2l+rcjpaHWs9AzlSHFQOe9hfivJzkDX1G2Nj/1wtw7JwS9JujlMs4QZBs9T8/ETZG9iJUe8IVMBQzQyhT3Kxos4CaOWiL5vw3HxUm6R71XBvGs7Dda3VzGIskjNyTi6JS25Ji9yTNukQRl7IK3kj79aH9WV9Wz+r0oKV9ZySNRSsX6g+sm8=AACp3icbVFNT9tAEF2blg9DaBHerAaRUoukR2hwhGJC7dSqQmR4tRab8bJivXa2h0jwspX/iP/gR/BOh9tSTrSat+eTOzM5MUgmsMghfH3fnwcXdv/8A7Pp0/LlxcjrQeakY9FkucjVMqAbBJfSRo4BhoYBmiYC75P69t89gNI8l79wXsA4o1PJU84oWipuPEcZxVmSmsfKa0UmjU2EXEzAXjNAWlXtWpDMlgKzVj9Vdz7bdq8U4f9IWO+5jDutf+m7nitabxO6bW2q8SNZtANFuZvg3AFmRlt/GJcxBNclZmIJEJqvUoDAocG6qQMwGVF5UaCsru6RGFkqagR6bxcAqv2WZiZ/myh6J/oL9N8LQTOt5lhl3YPe9NXkf32SM0gVZe/qmyTbeG8QoxLTy7HhsigRJFv+Ly2Fj7lfL82fcAUMxdwCyhS3LfpsRm0dtKv17PDCzVFtg0GvG37vBj/Pm1eXqzHukzPyjbRJSC7IFbkht6RPGHl1Tp0z56vbcX+4A3e4lLrOKuYLeWcufQPO09JPACp3icbVFNT9tAEF2blg9DaBHerAaRUoukR2hwhGJC7dSqQmR4tRab8bJivXa2h0jwspX/iP/gR/BOh9tSTrSat+eTOzM5MUgmsMghfH3fnwcXdv/8A7Pp0/LlxcjrQeakY9FkucjVMqAbBJfSRo4BhoYBmiYC75P69t89gNI8l79wXsA4o1PJU84oWipuPEcZxVmSmsfKa0UmjU2EXEzAXjNAWlXtWpDMlgKzVj9Vdz7bdq8U4f9IWO+5jDutf+m7nitabxO6bW2q8SNZtANFuZvg3AFmRlt/GJcxBNclZmIJEJqvUoDAocG6qQMwGVF5UaCsru6RGFkqagR6bxcAqv2WZiZ/myh6J/oL9N8LQTOt5lhl3YPe9NXkf32SM0gVZe/qmyTbeG8QoxLTy7HhsigRJFv+Ly2Fj7lfL82fcAUMxdwCyhS3LfpsRm0dtKv17PDCzVFtg0GvG37vBj/Pm1eXqzHukzPyjbRJSC7IFbkht6RPGHl1Tp0z56vbcX+4A3e4lLrOKuYLeWcufQPO09JPACp3icbVFdT9swFHWyjY/AoLBH9hCtqtS+VEmFoI9Ie9nbmLSWSk0XOe5Na+E4kX2D6Ky8h/5D/wInNLCaHcly8fnuvre5wUgmsMgkfH/fDx087u3r53cPj56LhxcjrUeakYDFgucjVKqAbBJQyQo4BRoYBmiYCb5PZ7nb+5A6V5Ln/joBJRmeSp5xRtFTceIgyivMkNX8rxWZNDYRcjEFu80BaVW1a0EyT829FZg3dRX3/pg279Rlr2TM1xzGvfav686XmsWr6/0Wtd4kYz6AbL8LdBuAJNsor+MTZj6Y5KzOQyATVehwGBU4MVciZgMqLSg0FZbd0BmMLJc1AT8zSsMpvWbqp7myS6K/ZP+tMDTepElVlnPoDdzNfnfnOQMUkXZu/4myTbOG8S4xLQ/MVwWJYJkL+9LS+Fj7tef5k+5AoZiYQFlitsRfTantg/ar/WseGmVdtg2OuGF93g13nzqr+ycY+ckW+kTUJySa7ID3JNBoSRJ+fUOXO+uh3pzt0Ry9S1nVfCHvwqXP0XSUQ=ACyHicbVHLjtMwFHXCayYw0IElm4gqUrupkg6CWYA0EhvEqkh0ZqSmRI5703rGcSL7BiWN/wM38Tf4PQhOi1Xsnx87rlP57XgGuP4j+fu/g4aOj4+Dxk5Onzqnzy911SgGY1aJSl3nVIPgEsbIUcB1rYCWuYCr/PZD67/6BkrzSn7BZQ3Tks4lLzij6Kis8ztKS4qLvDA/bZCaIjMpcjEDdy0AqbVfTe+mb3tb1Q/bT21mblIuVxSjwoxaEe9bG0TmXzabDd0sFMi41sOs+Fu0iCaZ9uaQXTYRtbpxoN4ZeEhSDagSzY2yk6943RWsaYEiUxQrSdJXOPUIWcCXDNhpqym7pHCYOSlqCnprVRm0YOWYWFpVyR2K4YncjDC21Xpa5U7Yz6H1fS/7XJzmDQlF2p7Jy73HjFpsDifGi7rBkGydX9FI0KswvZXwxlXwFAsHaBMcTdiyBbU1UH394FbXrK/qkNwORwkbwbx59fdi/PNGo/IS/K9EhC3pIL8pGMyJgw78Q78957/1Pfu1/95drqe9tYl6QO+b/+gvdD98x(x)}j2P(i)AC1nicbVJdb9MwFHUyYFv46sbjXiKqSu1LlVQT2+MQLwheikS3Sk2JHPem9eY4kX0zrVjhDfHKn+H8G9ws3TqWq5k6fice8+1r50UgmsMgr+Ou/fk6bP9g0Pv+YuXr163jo4vdV4qBiOWi1yNE6pBcAkj5ChgXCigWSLgKrn5sNKvbkFpnsuvuCxgmtG5ClnFC0Vt/5EyMUMTJRXCSp+V5V30yX9yqvE5k0NmsZF4C01q57VXedfVf1oio21xGXNcWoMPGwDpsusaDB98HMuZrDuPBpqnXmcfrnl5n9xhxqx30gzr8XRA2oE2aGMZHzmE0y1mZgUQmqNaTMChwaqhCzgRUXlRqKCi7oXOYWChpBnpq6vlWfscyMz/NlV0S/ZrdrDA03qZJTZzdQe9ra3I/2qSM0gVZY/6myTb2m8RkxLT86nhsigRJLs/X1oKH3N/9cb+jCtgKJYWUKa4vaLPFtT2QfsTPDu8cHtUu+By0A/f9YMvp+2L82aMB+SEvCVdEpIzckE+kiEZEeacO+dT85nd+z+cH+6v+5TXaepeUMehfv7Hy6t5TM=ACPXicbVDLTsJAFJ3iC/AFutRFIyFxRVpjlCWJG5eYyCMB0kyHW5gwnTYztyakYePXuNUf8Dv8AHfGrVsH6ELAk0xy7jn35s49fiy4Rsf5sHJb2zu7e/lCcf/g8Oi4VD5p6yhRDFosEpHq+lSD4BJayFAN1ZAQ19Ax5/czf3OEyjNI/mI0xgGIR1JHnBG0Uhe6Tzw+jgGpMVq4KV95GI6VKZzbxSxak5C9ibxM1IhWRoemWr0B9GLAlBIhNU657rxDhIqULOBMyK/URDTNmEjqBnqKQh6EG6OGNmV40ytINImSfRXqh/J1Iaj0NfdMZUhzrdW8u/utJziBQlK3sT/1wrV4TegkG9UHKZwgSLb8X5AIGyN7HqU95AoYiqkhlCluTrTZmJo9aAIvmvDc9ag2Sfuq5t7UnIfrSqOexZgnZ+SCXBKX3JIGuSdN0iKMPJMX8krerHfr0/qyvpetOSubOSUrsH5+AQ+rqo=ACP3icbVDLSsNAFJ34bOur1aUgwVJwVRIR7bLgxmUF+4A2lMn0ph06mYSZG6GE7vwat/oDfoZf4E7cunPSVrCtBwbOPede7tzjx4JrdJx3a2Nza3tnN5cv7O0fHB4VS8ctHSWKQZNFIlIdn2oQXEITOQroxApo6Ato+PbzG8/gtI8kg84icEL6VDygDOKRuoXz4b9tIcjQDotVIKMczGAX2naL5adqjODvU7cBSmTBRr9kpXvDSKWhCRCap13Vi9FKqkDMB0Iv0RBTNqZD6BoqaQjaS2eHTO2KUQZ2ECnzJNoz9e9ESkOtJ6FvOkOKI73qZeK/nuQMAkXZ0v7UD1fqFaGbYFDzUi7jBEGy+f+CRNgY2VmY9oArYCgmhlCmuDnRZiNq9qCJvGDCc1ejWiety6p7Xur8r12iLGHDkl5+SCuOSG1MkdaZAmYeSJPJMX8mq9WR/Wp/U1b92wFjMnZAnW9w8lcq+3ACp3icbVFNT9tAEF2blg9DaBHerAaRUoukR2hwhGJC7dSqQmR4tRab8bJivXa2h0jwspX/iP/gR/BOh9tSTrSat+eTOzM5MUgmsMghfH3fnwcXdv/8A7Pp0/LlxcjrQeakY9FkucjVMqAbBJfSRo4BhoYBmiYC75P69t89gNI8l79wXsA4o1PJU84oWipuPEcZxVmSmsfKa0UmjU2EXEzAXjNAWlXtWpDMlgKzVj9Vdz7bdq8U4f9IWO+5jDutf+m7nitabxO6bW2q8SNZtANFuZvg3AFmRlt/GJcxBNclZmIJEJqvUoDAocG6qQMwGVF5UaCsru6RGFkqagR6bxcAqv2WZiZ/myh6J/oL9N8LQTOt5lhl3YPe9NXkf32SM0gVZe/qmyTbeG8QoxLTy7HhsigRJFv+Ly2Fj7lfL82fcAUMxdwCyhS3LfpsRm0dtKv17PDCzVFtg0GvG37vBj/Pm1eXqzHukzPyjbRJSC7IFbkht6RPGHl1Tp0z56vbcX+4A3e4lLrOKuYLeWcufQPO09JPACznicbVJNb9swDJW9r9b7StfjLsaCAMklsINia2/FetkxA5a2QJwJskInamXZsOimSDsuj+zH7R/Mzl1ujYZAUFPj+QjRSktpdAYRX8/8nTZ89f7O0HL1+9fvO2c/DuXBd1xWHC1lUlynTIWCQqUcFlWwPJUwkV6fdb4L26g0qJQ3BVwixnCyUywRk6inZ+JznDZqZH/a76YuBDXqJyahJUMg5uG0JyGzjuxrY/ib41g4S81VItSa4kyacSvgFMw/UtH97r3JBUbDunoWjQW9BNzaC32wbtdKNhtLZwF8Qt6JLWxvTA20/mBa9zUMgl03oaRyXODKtQcAk2SGoNJePXbAFTBxXLQc/Meq427DlmHmZF5ZbCcM0+zDAs13qVpy6yuYPe9jXkf31KcMgqxh/VN2m+d4ipjVmxzMjVFkjKH7X1bLEIuwedtwLirgKFcOMF4Jd8WQL5mrg+4HBG548faodsH5aBh/HEZfj7qnx+0Y98h78oH0SUw+kVPyhYzJhHDv0DvxPntn/ti/8a3/8y7U9qcQ/LI/F9/Ab2p4X0=ACR3icbVDLTsJAFJ3iC+oLdOmkWBckdYZUnixiUm8kiAkOlwCxOn02bm1oQ0/IFf41Z/wE/wK9wZlw7QhRPMpkz59ybO/f4seAaXfTKmxt7+zuFUv2/sHh0XG5ctLRUaIYtFkItXzqQbBJbSRo4BerICGvoCu/3S38LvPoDSP5CPOYhiGdCJ5wBlFI43KF5NROkAuxmCuKSCdz+1asKGNylW37i7hbBIvI1WSoTWqWKXBOGJCBKZoFr3PTfGYUoVciZgbg8SDTFlT3QCfUMlDUEP0+VCc6dmlLETRMocic5S/duR0lDrWeibypDiVOe9hfivJzmDQFG2Nj/1w9w7J/QTDBrDlMs4QZBs9b8gEQ5GziJUZ8wVMBQzQyhT3KzosCk1c9BEb5vwvHxUm6RzVfdu6u7DdbXZyGIskjNyTi6JR25Jk9yTFmkTRl7IK3kj79aH9WV9Wz+r0oKV9ZySNRSsX6Zdsm4=AElHicnVNdb9MwFE3bAG342AoSL7xEVJlagaqkQrAHKk0bSDygqSC6TWrayHGc1FvihNhB6yz/0P0acNq0S1OQAEuxb8695zjK9lNQkyZad7W6g313v0HzZb28NHjJ3v7adnNM5SiMYwDuP0wgUhZigMcMsRBdJikDkhujcvTrJ8+c/UEpxTL6xRYKmEQgI9jETEJOu57aEWBz1+fXYvZKMw5sXgJ497InbOHwSxuTJQ5ByEd5AveEsG3ZMLSPcSC7vmfA+5strxasaUiyYb/qK0X4i4KMOHMp/i65w3F9EP9NVZ7PZ/4Ih4ZdqKXYnwKpabxUNLzE5lmaRTeIQR5hRCYvNDT6L7rxpmh8vQY45TFie0EKfBkEcOh/hdbVHc60n2YiKuy7+K2Yc7ezcle7D1xsjhgQxUy7d757f56vZpSlncGdwM6eI0xZ1Am1YzAWtqxq4NZ79j9s3l0ncDqwg6SrFGTrvWsr0YZhEiDIaA0olJmzKQcowDJHQ7IyiBMArEKCJDAmIEJ3y5esQuiERT/fjVH6E6Uu03MFBROkicmVlfgdazeXgb3MEQ+SnAG7pczeq/FeAScb8wynHJMkYInDlz89CncV6/kJ1D6cIsnAhAwBTLK+owzmQOky+Y0Oz6qOajc4G/St3zy5vO0WExqbyQnmpdBVLeacKZ+UkTJWYP2/rPRbLTU5+p79UT9uCqt14qeZ8rWUk9/ATvRhy8=AEnHicnVNdb9MwFE3bwLbw1cIjEoqoOrUCVUmFYC+VprEHJD5UEOsm1W3kOE7qLXFC7KC1ln8oj/wTnDT9BgmwFOfm3HvPOb6R3SQkjFvWj0q1pt+5e3B4ZNy7/+Dho3rj8ZDFWYrwBYrDOL1yIcMhofiCEx7iqyTFMHJDfOnevM3zl9xykhMv/JZgscRDCjxCYJcQU6jOgechB4WIJ86vpiLuXkhdE6BivkVk5E+7ojgXTENSC0wBEMxSBPkI6UAKiGPjgjger6lkHvb7a8WhqtLRVF1v9HbMUd3FAqDhT+ZTc5ry5iHlsLt7lDv4Dx9TbpN
我的内容管理
展开
