100%31%2%1%30%1%107050低样本验证：用于估计罕见类别上分类器性能的主动重要性采样0Fait Poms* 1 Vishnu Sarukkai* 1 Ravi Teja Mullapudi 2 Nimit S. Sohoni 10William R. Mark 3 Deva Ramanan 2, 4 Kayvon Fatahalian 10摘要对于使用有限标记训练数据训练的机器学习模型，验证成为减少总体注释成本的主要瓶颈。我们提出了一种统计验证算法，可以准确估计罕见类别的二进制分类器的F分数，其中找到相关示例进行评估尤为具有挑战性。我们的关键洞察是，同时进行校准和重要性采样可以在低样本情况下（<300个样本）实现准确估计。关键是，我们还推导出了我们方法方差的准确单次估计器，并证明该估计器在低样本计数下是经验准确的，使从业者能够了解他们可以信任给定低样本估计的程度。当在ImageNet和iNaturalist2017上验证最先进的半监督模型时，我们的方法使用的标签比竞争方法少10倍，得到了相同的模型性能估计。特别地，我们可以使用仅100个标签估计模型的F1分数，方差为0.005。1. 引言0随着模型训练技术越来越具有标签效率，模型验证成为整体数据注释成本的主要部分。例如，最先进的半监督[3，9，2]，弱监督[19]，少样本[7，15]和主动学习[25，4，8，24]技术都承诺使用少量人工标记的示例来训练模型，但验证生成的模型通常使用大型人工标注数据集。因此，注释验证集的成本是限制快速模型开发的重要因素。在本文中，我们关注如何高效验证罕见类别的二进制图像分类器（正例实例在数据集中 ≤0.1%）。在现实世界的环境中，为罕见类别构建二分类模型是常见的——野生动物保护监测需要识别罕见的植物和动物物种；自主车辆必须识别罕见类别，如婴儿推车，以避免碰撞。0* 两位作者对本文贡献相同 1 斯坦福大学 2卡内基梅隆大学 3 谷歌 4 Argo AI0训练数据集0总标签数0标记数据的70%，30%0半监督，弱监督，少样本0验证数据集0低样本验证0未标记的未标记数据0未标记数据0图1：最近的模型训练技术，如自监督学习、少样本学习和弱监督学习，使得使用传统完全监督训练集训练模型成为可能。然而，这些方法仍然主要使用大型验证集进行评估。在本文中，我们关注低样本验证，这解决了使用标签高效技术训练的模型收集标记验证数据的相对成本高的问题。车辆必须能够识别罕见的类别，如婴儿推车，以避免碰撞。验证问题对于罕见类别来说特别困难：虽然很容易收集大量未标记的数据，但是通过均匀随机采样找到一小部分正例可能需要标记数千张图像。给定一个二分类模型进行验证和一个大型未标记数据集，我们的目标是使用少量带注释的数据样本估计模型在数据上的F分数[29]。模型的F分数取决于模型的预测标签的分布（已知）和数据集的真实标签（需要数据注释）。重要性采样[27]是一种强大的理论工具，用于随机采样数据集中最重要的点以进行标注，但是使用重要性采样估计F分数的效率取决于准确地知道给定样本是正例的可能性。因此，使用重要性采样来高效计算F分数的关键挑战是模型校准，即在模型得分的条件下预测给定样本是正例的可能性。鉴于这一观察结果，我们提出了一种主动采样算法，该算法在获取用于训练等价模型的标签之间交替。107060基于调制回归模型[34]校准模型概率，然后使用校准后的模型得分对数据批次进行重要性采样以进行度量估计。使用这种交替策略，我们的方案可以逐渐生成模型F-分数的更准确估计。我们证明，在低样本（<300个标记样本）的情况下，我们的算法可以比各种基准方法（包括半监督高斯混合模型[13]、先验重要性采样方法[22]和“聚集”算法[32]）更低的误差估计F1。我们不仅能够高效地估计F1，还能够准确地估计估计值的方差，即使在低样本情况下也是如此。这一贡献在实践中具有重要的影响，因为它使从一个小的标记验证数据集生成的估计值是否可信的从业者得以知晓。我们的贡献如下：1.一种联合主动校准和基于重要性采样的F-分数估计算法。我们的算法能够产生准确可靠的模型F-分数估计，并且在低样本情况下（<300个标记样本）明显优于基准方法。02.我们方法的单次试验方差估计。我们证明了我们的方差估计在实际情况下即使在样本数量较少的情况下也是经验上准确的，为在实际环境中使用我们的算法提供了有价值的诊断工具。03.一项研究表明，专门为给定模型选择的验证集也可以高效验证为同一任务训练的其他模型。02. 相关工作0标签有效验证方法包括基于统计的重要性采样方法[22]、间接技术估计精确度-召回率曲线[13,31]、适用于验证的主动学习[18]和分层抽样技术[1,12,33]。虽然许多方法试图解决验证问题，但很少有方法能够在具有非常小的标记预算的高度不平衡稀有类别中解决该问题。我们在评估部分（第4节）与解决这个问题的一部分方法进行比较。我们在下面详细介绍这些方法。0重要性采样。重要性采样允许使用从任意分布中抽取的样本对指标进行蒙特卡洛估计。Sawade等人[22]提出了一种基于重要性采样的算法来主动估计F-度量[29]，根据模型的预测概率和标签推导出重要性分布。他们的方法在统计上是一致的，但依赖于良好的模型校准假设。我们的重要性采样分布基于Sawade等人的方法，并在评估中与他们进行比较。0估计精确度-召回率曲线。不直接估计F-分数，而是学习精确度-召回率曲线的形状可以帮助间接计算各种验证指标。Miller等人[13]使用高斯混合模型（GMM）拟合得分分布中正样本和负样本的分布，而Welinder等人[31]则在分类器的置信度得分上训练了一个生成贝叶斯模型。我们评估了Miller等人的GMM方法，以便与这类技术进行比较。其他估计PR曲线的方法则做出了只有在已经标记了数百个样本后才适用的强假设[21]。将我们的低样本计数验证与专注于使用数千个样本进行验证的方法结合起来是有趣的未来工作。0覆盖数据分布。“聚集”试图从一组伪随机样本中重构数据集的足够统计量[32]。然后可以使用这些样本来估计F-分数。我们在评估中与Herding进行比较。0主动学习和分层抽样用于验证。主动学习技术使用部分训练好的模型选择要标记的样本，以最大化该模型的训练性能，并最近应用于验证[18]。分层抽样技术通过将域划分为相似的“分层”样本，从每个分层中进行抽样以确保覆盖整个域[1, 12,33]，从而产生低方差估计。然而，这些技术都没有专注于稀有类别，并且只适用于收集了数百到数千个标签的初始种子集之后，或者假设标注预算在数千个范围内。02.1.其他验证设置。其他验证设置与我们研究的不同，但都面临着标签效率验证的挑战。在领域转移下的验证：当面临生产环境中的领域转移时，Taskazan等人[26]表明，测量生产数据分布的变化并训练模型以测量模型预测的不确定性，都有助于引导标签效率和准确的验证。在噪声标注下的验证：Nguyen等人[14]探讨了从噪声标签中估计AP的问题，并引入了一种选择标记样本的主动算法。02.2.校准。通过完全校准的模型，可以统计估计数据集中的真阳性、假阳性等数量，从而得到F分数。Guo等人[10]指出，规模更大且性能更好的神经网络通常校准不良。Platt缩放[17]和保序回归[34]是两种研究较多的[16]模型校准方法，我们在本文中与这两种技术进行比较。AB6HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxRfsBbSib7aRdu9mE3Y1Qn+BFw+KePUnefPfuG1z0NYXFh7emWFn3iARXBvX/XYKa+sbm1vF7dLO7t7+QfnwqKXjVDFsljEqhNQjYJLbBpuBHYShTQKBLaD8e2s3n5CpXksH8wkQT+iQ8lDzqixVuO+X64VXcusgpeDhXIVe+Xv3qDmKURSsME1bruYnxM6oMZwKnpV6qMaFsTIfYtShphNrP5otOyZl1BiSMlX3SkLn7eyKjkdaTKLCdETUjvVybmf/VuqkJr/2MyQ1KNniozAVxMRkdjUZcIXMiIkFyhS3uxI2oyY7Mp2RC85ZNXoXVR9Sw3Liu1mzyOIpzAKZyDB1dQgzuoQxMYIDzDK7w5j86L8+58LFoLTj5zDH/kfP4ArieM1w=AB6HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxRfsBbSib7aRdu9mE3Y1Qn+BFw+KePUnefPfuG1z0NYXFh7emWFn3iARXBvX/XYKa+sbm1vF7dLO7t7+QfnwqKXjVDFsljEqhNQjYJLbBpuBHYShTQKBLaD8e2s3n5CpXksH8wkQT+iQ8lDzqixVuO+X64VXcusgpeDhXIVe+Xv3qDmKURSsME1bruYnxM6oMZwKnpV6qMaFsTIfYtShphNrP5otOyZl1BiSMlX3SkLn7eyKjkdaTKLCdETUjvVybmf/VuqkJr/2MyQ1KNniozAVxMRkdjUZcIXMiIkFyhS3uxI2oyY7Mp2RC85ZNXoXVR9Sw3Liu1mzyOIpzAKZyDB1dQgzuoQxMYIDzDK7w5j86L8+58LFoLTj5zDH/kfP4ArieM1w=AB6HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxRfsBbSib7aRdu9mE3Y1Qn+BFw+KePUnefPfuG1z0NYXFh7emWFn3iARXBvX/XYKa+sbm1vF7dLO7t7+QfnwqKXjVDFsljEqhNQjYJLbBpuBHYShTQKBLaD8e2s3n5CpXksH8wkQT+iQ8lDzqixVuO+X64VXcusgpeDhXIVe+Xv3qDmKURSsME1bruYnxM6oMZwKnpV6qMaFsTIfYtShphNrP5otOyZl1BiSMlX3SkLn7eyKjkdaTKLCdETUjvVybmf/VuqkJr/2MyQ1KNniozAVxMRkdjUZcIXMiIkFyhS3uxI2oyY7Mp2RC85ZNXoXVR9Sw3Liu1mzyOIpzAKZyDB1dQgzuoQxMYIDzDK7w5j86L8+58LFoLTj5zDH/kfP4ArieM1w=AB6HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxRfsBbSib7aRdu9mE3Y1Qn+BFw+KePUnefPfuG1z0NYXFh7emWFn3iARXBvX/XYKa+sbm1vF7dLO7t7+QfnwqKXjVDFsljEqhNQjYJLbBpuBHYShTQKBLaD8e2s3n5CpXksH8wkQT+iQ8lDzqixVuO+X64VXcusgpeDhXIVe+Xv3qDmKURSsME1bruYnxM6oMZwKnpV6qMaFsTIfYtShphNrP5otOyZl1BiSMlX3SkLn7eyKjkdaTKLCdETUjvVybmf/VuqkJr/2MyQ1KNniozAVxMRkdjUZcIXMiIkFyhS3uxI2oyY7Mp2RC85ZNXoXVR9Sw3Liu1mzyOIpzAKZyDB1dQgzuoQxMYIDzDK7w5j86L8+58LFoLTj5zDH/kfP4ArieM1w=AB7XicbZDLSgMxFIZPvNZ6q7p0EyxC3ZQZEXRZdOyor1AO5RMmljM8mQZIQy9B3cuFDEre/jzrcxbWehrT8EPv5zDjnDxPBjfW8b7Syura+sVnYKm7v7O7tlw4Om0almrIGVULpdkgME1yhuVWsHaiGYlDwVrh6GZabz0xbiSD3acsCAmA8kjTol1VpP2eOX+rFcqe1VvJrwMfg5lyFXvlb6fUXTmElLBTGm43uJDTKiLaeCTYrd1LCE0BEZsI5DSWJmgmy27QSfOqePI6XdkxbP3N8TGYmNGceh64yJHZrF2tT8r9ZJbXQVZFwmqWSzj+KUoGtwtPTcZ9rRq0YOyBUc7crpkOiCbUuoKILwV8eRma51Xf8d1FuXadx1GAYziBCvhwCTW4hTo0gMIjPMrvCGFXtA7+pi3rqB85gj+CH3+AKwVjoU=AB7XicbZDLSgMxFIZPvNZ6q7p0EyxC3ZQZEXRZdOyor1AO5RMmljM8mQZIQy9B3cuFDEre/jzrcxbWehrT8EPv5zDjnDxPBjfW8b7Syura+sVnYKm7v7O7tlw4Om0almrIGVULpdkgME1yhuVWsHaiGYlDwVrh6GZabz0xbiSD3acsCAmA8kjTol1VpP2eOX+rFcqe1VvJrwMfg5lyFXvlb6fUXTmElLBTGm43uJDTKiLaeCTYrd1LCE0BEZsI5DSWJmgmy27QSfOqePI6XdkxbP3N8TGYmNGceh64yJHZrF2tT8r9ZJbXQVZFwmqWSzj+KUoGtwtPTcZ9rRq0YOyBUc7crpkOiCbUuoKILwV8eRma51Xf8d1FuXadx1GAYziBCvhwCTW4hTo0gMIjPMrvCGFXtA7+pi3rqB85gj+CH3+AKwVjoU=AB7XicbZDLSgMxFIZPvNZ6q7p0EyxC3ZQZEXRZdOyor1AO5RMmljM8mQZIQy9B3cuFDEre/jzrcxbWehrT8EPv5zDjnDxPBjfW8b7Syura+sVnYKm7v7O7tlw4Om0almrIGVULpdkgME1yhuVWsHaiGYlDwVrh6GZabz0xbiSD3acsCAmA8kjTol1VpP2eOX+rFcqe1VvJrwMfg5lyFXvlb6fUXTmElLBTGm43uJDTKiLaeCTYrd1LCE0BEZsI5DSWJmgmy27QSfOqePI6XdkxbP3N8TGYmNGceh64yJHZrF2tT8r9ZJbXQVZFwmqWSzj+KUoGtwtPTcZ9rRq0YOyBUc7crpkOiCbUuoKILwV8eRma51Xf8d1FuXadx1GAYziBCvhwCTW4hTo0gMIjPMrvCGFXtA7+pi3rqB85gj+CH3+AKwVjoU=AB7XicbZDLSgMxFIZPvNZ6q7p0EyxC3ZQZEXRZdOyor1AO5RMmljM8mQZIQy9B3cuFDEre/jzrcxbWehrT8EPv5zDjnDxPBjfW8b7Syura+sVnYKm7v7O7tlw4Om0almrIGVULpdkgME1yhuVWsHaiGYlDwVrh6GZabz0xbiSD3acsCAmA8kjTol1VpP2eOX+rFcqe1VvJrwMfg5lyFXvlb6fUXTmElLBTGm43uJDTKiLaeCTYrd1LCE0BEZsI5DSWJmgmy27QSfOqePI6XdkxbP3N8TGYmNGceh64yJHZrF2tT8r9ZJbXQVZFwmqWSzj+KUoGtwtPTcZ9rRq0YOyBUc7crpkOiCbUuoKILwV8eRma51Xf8d1FuXadx1GAYziBCvhwCTW4hTo0gMIjPMrvCGFXtA7+pi3rqB85gj+CH3+AKwVjoU=AB83icbZBNS8NAEIYnftb6VfXoZbEI9VISEfRY9OKxgv2ANpTNdtMu3Wzi7kQsoX/DiwdFvPpnvPlv3LY5aOsLCw/vzDCzb5BIYdB1v52V1bX1jc3CVnF7Z3dv3Rw2DRxqhlvsFjGuh1Qw6VQvIECJW8nmtMokLwVjG6m9dYj10bE6h7HCfcjOlAiFIyitbrdIcXsYdITlaezXqnsVt2ZyDJ4OZQhV71X+ur2Y5ZGXCGT1JiO5yboZ1SjYJPit3U8ISyER3wjkVFI278bHbzhJxap0/CWNunkMzc3xMZjYwZR4HtjCgOzWJtav5X6QYXvmZUEmKXLH5ojCVBGMyDYD0heYM5dgCZVrYWwkbUk0Z2piKNgRv8cvL0DyvepbvLsq16zyOAhzDCVTAg0uowS3UoQEMEniGV3hzUufFeXc+5q0rTj5zBH/kfP4A0NmRhQ=AB83icbZBNS8NAEIYnftb6VfXoZbEI9VISEfRY9OKxgv2ANpTNdtMu3Wzi7kQsoX/DiwdFvPpnvPlv3LY5aOsLCw/vzDCzb5BIYdB1v52V1bX1jc3CVnF7Z3dv3Rw2DRxqhlvsFjGuh1Qw6VQvIECJW8nmtMokLwVjG6m9dYj10bE6h7HCfcjOlAiFIyitbrdIcXsYdITlaezXqnsVt2ZyDJ4OZQhV71X+ur2Y5ZGXCGT1JiO5yboZ1SjYJPit3U8ISyER3wjkVFI278bHbzhJxap0/CWNunkMzc3xMZjYwZR4HtjCgOzWJtav5X6QYXvmZUEmKXLH5ojCVBGMyDYD0heYM5dgCZVrYWwkbUk0Z2piKNgRv8cvL0DyvepbvLsq16zyOAhzDCVTAg0uowS3UoQEMEniGV3hzUufFeXc+5q0rTj5zBH/kfP4A0NmRhQ=AB83icbZBNS8NAEIYnftb6VfXoZbEI9VISEfRY9OKxgv2ANpTNdtMu3Wzi7kQsoX/DiwdFvPpnvPlv3LY5aOsLCw/vzDCzb5BIYdB1v52V1bX1jc3CVnF7Z3dv3Rw2DRxqhlvsFjGuh1Qw6VQvIECJW8nmtMokLwVjG6m9dYj10bE6h7HCfcjOlAiFIyitbrdIcXsYdITlaezXqnsVt2ZyDJ4OZQhV71X+ur2Y5ZGXCGT1JiO5yboZ1SjYJPit3U8ISyER3wjkVFI278bHbzhJxap0/CWNunkMzc3xMZjYwZR4HtjCgOzWJtav5X6QYXvmZUEmKXLH5ojCVBGMyDYD0heYM5dgCZVrYWwkbUk0Z2piKNgRv8cvL0DyvepbvLsq16zyOAhzDCVTAg0uowS3UoQEMEniGV3hzUufFeXc+5q0rTj5zBH/kfP4A0NmRhQ=AB83icbZBNS8NAEIYnftb6VfXoZbEI9VISEfRY9OKxgv2ANpTNdtMu3Wzi7kQsoX/DiwdFvPpnvPlv3LY5aOsLCw/vzDCzb5BIYdB1v52V1bX1jc3CVnF7Z3dv3Rw2DRxqhlvsFjGuh1Qw6VQvIECJW8nmtMokLwVjG6m9dYj10bE6h7HCfcjOlAiFIyitbrdIcXsYdITlaezXqnsVt2ZyDJ4OZQhV71X+ur2Y5ZGXCGT1JiO5yboZ1SjYJPit3U8ISyER3wjkVFI278bHbzhJxap0/CWNunkMzc3xMZjYwZR4HtjCgOzWJtav5X6QYXvmZUEmKXLH5ojCVBGMyDYD0heYM5dgCZVrYWwkbUk0Z2piKNgRv8cvL0DyvepbvLsq16zyOAhzDCVTAg0uowS3UoQEMEniGV3hzUufFeXc+5q0rTj5zBH/kfP4A0NmRhQ=AB8HicbZBNSwMxEIZn61etX1WPXoJF8FR2RdBj0YMeK9haUvJptk2NMkuyaxQlv4KLx4U8erP8ea/MW3oK0vB7emSEzb5hIYdH3v73Cyura+kZxs7S1vbO7V94/aNo4NYw3WCxj0wqp5VJo3kCBkrcSw6kKJX8IR9fT+sMTN1bE+h7HCe8qOtAiEoyisx47Q4rZzaQneuWKX/VnIsQ5FCBXPVe+avTj1mquEYmqbXtwE+wm1GDgk+KXVSyxPKRnTA2w41Vdx2s9nCE3LinD6JYuOeRjJzf09kVFk7VqHrVBSHdrE2Nf+rtVOMLruZ0EmKXLP5R1EqCcZkej3pC8MZyrEDyoxwuxI2pIYydBmVXAjB4snL0DyrBo7vziu1qzyOIhzBMZxCABdQg1uoQwMYKHiGV3jzjPfivXsf89aCl8cwh95nz/k6ZB0AB8HicbZBNSwMxEIZn61etX1WPXoJF8FR2RdBj0YMeK9haUvJptk2NMkuyaxQlv4KLx4U8erP8ea/MW3oK0vB7emSEzb5hIYdH3v73Cyura+kZxs7S1vbO7V94/aNo4NYw3WCxj0wqp5VJo3kCBkrcSw6kKJX8IR9fT+sMTN1bE+h7HCe8qOtAiEoyisx47Q4rZzaQneuWKX/VnIsQ5FCBXPVe+avTj1mquEYmqbXtwE+wm1GDgk+KXVSyxPKRnTA2w41Vdx2s9nCE3LinD6JYuOeRjJzf09kVFk7VqHrVBSHdrE2Nf+rtVOMLruZ0EmKXLP5R1EqCcZkej3pC8MZyrEDyoxwuxI2pIYydBmVXAjB4snL0DyrBo7vziu1qzyOIhzBMZxCABdQg1uoQwMYKHiGV3jzjPfivXsf89aCl8cwh95nz/k6ZB0AB8HicbZBNSwMxEIZn61etX1WPXoJF8FR2RdBj0YMeK9haUvJptk2NMkuyaxQlv4KLx4U8erP8ea/MW3oK0vB7emSEzb5hIYdH3v73Cyura+kZxs7S1vbO7V94/aNo4NYw3WCxj0wqp5VJo3kCBkrcSw6kKJX8IR9fT+sMTN1bE+h7HCe8qOtAiEoyisx47Q4rZzaQneuWKX/VnIsQ5FCBXPVe+avTj1mquEYmqbXtwE+wm1GDgk+KXVSyxPKRnTA2w41Vdx2s9nCE3LinD6JYuOeRjJzf09kVFk7VqHrVBSHdrE2Nf+rtVOMLruZ0EmKXLP5R1EqCcZkej3pC8MZyrEDyoxwuxI2pIYydBmVXAjB4snL0DyrBo7vziu1qzyOIhzBMZxCABdQg1uoQwMYKHiGV3jzjPfivXsf89aCl8cwh95nz/k6ZB0AB8HicbZBNSwMxEIZn61etX1WPXoJF8FR2RdBj0YMeK9haUvJptk2NMkuyaxQlv4KLx4U8erP8ea/MW3oK0vB7emSEzb5hIYdH3v73Cyura+kZxs7S1vbO7V94/aNo4NYw3WCxj0wqp5VJo3kCBkrcSw6kKJX8IR9fT+sMTN1bE+h7HCe8qOtAiEoyisx47Q4rZzaQneuWKX/VnIsQ5FCBXPVe+avTj1mquEYmqbXtwE+wm1GDgk+KXVSyxPKRnTA2w41Vdx2s9nCE3LinD6JYuOeRjJzf09kVFk7VqHrVBSHdrE2Nf+rtVOMLruZ0EmKXLP5R1EqCcZkej3pC8MZyrEDyoxwuxI2pIYydBmVXAjB4snL0DyrBo7vziu1qzyOIhzBMZxCABdQg1uoQwMYKHiGV3jzjPfivXsf89aCl8cwh95nz/k6ZB0AB6HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OJFaMF+QBvKZjtp1242YXcjlNBf4MWDIl79Sd78N27bHLT1hYWHd2bYmTdIBNfGdb+dwtr6xuZWcbu0s7u3f1A+PGrpOFUMmywWseoEVKPgEpuG4GdRCGNAoHtYHw7q7efUGkeywczSdCP6FDykDNqrNW475crbtWdi6yCl0MFctX75a/eIGZphNIwQbXuem5i/Iwqw5nAamXakwoG9Mhdi1KGqH2s/miU3JmnQEJY2WfNGTu/p7IaKT1JApsZ0TNSC/XZuZ/tW5qwms/4zJDUq2+ChMBTExmV1NBlwhM2JigTLF7a6EjaizNhsSjYEb/nkVWhdVD3LjctK7SaPowgncArn4MEV1OAO6tAEBgjP8ApvzqPz4rw7H4vWgpPHMfOZ8/pQ+M0Q=AB6HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OJFaMF+QBvKZjtp1242YXcjlNBf4MWDIl79Sd78N27bHLT1hYWHd2bYmTdIBNfGdb+dwtr6xuZWcbu0s7u3f1A+PGrpOFUMmywWseoEVKPgEpuG4GdRCGNAoHtYHw7q7efUGkeywczSdCP6FDykDNqrNW475crbtWdi6yCl0MFctX75a/eIGZphNIwQbXuem5i/Iwqw5nAamXakwoG9Mhdi1KGqH2s/miU3JmnQEJY2WfNGTu/p7IaKT1JApsZ0TNSC/XZuZ/tW5qwms/4zJDUq2+ChMBTExmV1NBlwhM2JigTLF7a6EjaizNhsSjYEb/nkVWhdVD3LjctK7SaPowgncArn4MEV1OAO6tAEBgjP8ApvzqPz4rw7H4vWgpPHMfOZ8/pQ+M0Q=AB6HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OJFaMF+QBvKZjtp1242YXcjlNBf4MWDIl79Sd78N27bHLT1hYWHd2bYmTdIBNfGdb+dwtr6xuZWcbu0s7u3f1A+PGrpOFUMmywWseoEVKPgEpuG4GdRCGNAoHtYHw7q7efUGkeywczSdCP6FDykDNqrNW475crbtWdi6yCl0MFctX75a/eIGZphNIwQbXuem5i/Iwqw5nAamXakwoG9Mhdi1KGqH2s/miU3JmnQEJY2WfNGTu/p7IaKT1JApsZ0TNSC/XZuZ/tW5qwms/4zJDUq2+ChMBTExmV1NBlwhM2JigTLF7a6EjaizNhsSjYEb/nkVWhdVD3LjctK7SaPowgncArn4MEV1OAO6tAEBgjP8ApvzqPz4rw7H4vWgpPHMfOZ8/pQ+M0Q=AB6HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OJFaMF+QBvKZjtp1242YXcjlNBf4MWDIl79Sd78N27bHLT1hYWHd2bYmTdIBNfGdb+dwtr6xuZWcbu0s7u3f1A+PGrpOFUMmywWseoEVKPgEpuG4GdRCGNAoHtYHw7q7efUGkeywczSdCP6FDykDNqrNW475crbtWdi6yCl0MFctX75a/eIGZphNIwQbXuem5i/Iwqw5nAamXakwoG9Mhdi1KGqH2s/miU3JmnQEJY2WfNGTu/p7IaKT1JApsZ0TNSC/XZuZ/tW5qwms/4zJDUq2+ChMBTExmV1NBlwhM2JigTLF7a6EjaizNhsSjYEb/nkVWhdVD3LjctK7SaPowgncArn4MEV1OAO6tAEBgjP8ApvzqPz4rw7H4vWgpPHMfOZ8/pQ+M0Q=AB6nicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6KXHivYD2lA2027dLMJuxOhhP4ELx4U8eov8ua/cdvmoK0vLDy8M8POvEihUHX/XYKG5tb2zvF3dLe/sHhUfn4pG3iVDPeYrGMdTeghkuheAsFSt5NKdRIHknmNzN650nro2I1SNOE+5HdKREKBhFaz0BmJQrhVdyGyDl4OFcjVHJS/+sOYpRFXyCQ1pue5CfoZ1SiY5LNSPzU8oWxCR7xnUdGIGz9brDojF9YZkjDW9ikC/f3REYjY6ZRYDsjimOzWpub/9V6KY3fiZUkiJXbPlRmEqCMZnfTYZCc4ZyaoEyLeyuhI2pgxtOiUbgrd68jq0r6qe5fvrSv02j6MIZ3AOl+BDerQgCa0gMEInuEV3hzpvDjvzseyteDkM6fwR87nDxdyjag=AB6nicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6KXHivYD2lA2027dLMJuxOhhP4ELx4U8eov8ua/cdvmoK0vLDy8M8POvEihUHX/XYKG5tb2zvF3dLe/sHhUfn4pG3iVDPeYrGMdTeghkuheAsFSt5NKdRIHknmNzN650nro2I1SNOE+5HdKREKBhFaz0BmJQrhVdyGyDl4OFcjVHJS/+sOYpRFXyCQ1pue5CfoZ1SiY5LNSPzU8oWxCR7xnUdGIGz9brDojF9YZkjDW9ikC/f3REYjY6ZRYDsjimOzWpub/9V6KY3fiZUkiJXbPlRmEqCMZnfTYZCc4ZyaoEyLeyuhI2pgxtOiUbgrd68jq0r6qe5fvrSv02j6MIZ3AOl+BDerQgCa0gMEInuEV3hzpvDjvzseyteDkM6fwR87nDxdyjag=AB6nicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6KXHivYD2lA2027dLMJuxOhhP4ELx4U8eov8ua/cdvmoK0vLDy8M8POvEihUHX/XYKG5tb2zvF3dLe/sHhUfn4pG3iVDPeYrGMdTeghkuheAsFSt5NKdRIHknmNzN650nro2I1SNOE+5HdKREKBhFaz0BmJQrhVdyGyDl4OFcjVHJS/+sOYpRFXyCQ1pue5CfoZ1SiY5LNSPzU8oWxCR7xnUdGIGz9brDojF9YZkjDW9ikC/f3REYjY6ZRYDsjimOzWpub/9V6KY3fiZUkiJXbPlRmEqCMZnfTYZCc4ZyaoEyLeyuhI2pgxtOiUbgrd68jq0r6qe5fvrSv02j6MIZ3AOl+BDerQgCa0gMEInuEV3hzpvDjvzseyteDkM6fwR87nDxdyjag=AB6nicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6KXHivYD2lA2027dLMJuxOhhP4ELx4U8eov8ua/cdvmoK0vLDy8M8POvEihUHX/XYKG5tb2zvF3dLe/sHhUfn4pG3iVDPeYrGMdTeghkuheAsFSt5NKdRIHknmNzN650nro2I1SNOE+5HdKREKBhFaz0BmJQrhVdyGyDl4OFcjVHJS/+sOYpRFXyCQ1pue5CfoZ1SiY5LNSPzU8oWxCR7xnUdGIGz9brDojF9YZkjDW9ikC/f3REYjY6ZRYDsjimOzWpub/9V6KY3fiZUkiJXbPlRmEqCMZnfTYZCc4ZyaoEyLeyuhI2pgxtOiUbgrd68jq0r6qe5fvrSv02j6
我的内容管理
展开
