主动通用域自适应中的标签集问题及其应用

8968主动通用域适配马新红1，2，高俊宇1，2，徐长胜1，2，31模式识别国家重点实验室，中国科学院自动化研究所2中国科学院大学（UCAS）人工智能学院3中国深圳鹏程实验室{xinhong.ma，junyu.gao，csxu} @ nlpr.ia.ac.cn摘要2 三个一个闭集DA31五 个开放集DA通用DA1五、四6大多数无监督域自适应方法依赖于1、2、3、4、54 6 二个31二 个分类一三四 6未知三六四关于源-目标标签集关系的丰富先验知识2三个一个五六四源标签6 4五个源标签它们不能识别源类之外的类别，这限制了它们在实际场景中的适用性。本文提出了一种新的范式部分集DA开集DA主动通用域自适应二三一一四六四无监督域自适应，称为Active Universe-五、六“已知”5 3个2域Oraclesal域自适应（AUDA），其去除所有标签集假设并且不仅旨在识别目标语义转移类？？什么 ？“未知”类？什么 ？7间隙？？7样本从源类，但也推断出那些从目标私有类通过使用主动学习注释通用标签集源数据目标数据样本源标签集目标标签集类别目标数据的小预算。对于AUDA来说，在大的域间隙和显著的语义转变下，联合地使模型适应目标域并选择用于注释的信息丰富的目标样本是具有挑战性的。为了解决这些问题，我们提出了一个主动通用自适应网络（AUAN）。具体来说，我们首先引入对抗性和多样化课程学习（ADCL），其渐进地对齐源域和目标域以分类目标样本是否来自源类。然后，我们提出了一种聚类不可转移梯度嵌入（CNTGE）策略，该策略利用可转移性、多样性和不确定性等线索对目标信息样本进行标注，使得推断目标私有类的目标样本标签成为可能最后，我们建议在目标督导下联合大量的实验表明，所提出的AUDA模型配备ADCL和CNTGE取得了显着的结果在四个流行的基准。1. 介绍深度神经网络的最新进展已经证明了在大型数据集上学习有效模型令人印象深刻的成就在很大程度上依赖于大量的标记训练实例，图1.主动通用域自适应和代表性域自适应设置在分类任务和目标标签集假设方面AUDA重新移动所有标签集假设，并且旨在不仅识别属于共享公共标签集的目标样本，而且通过使用主动学习来注释目标数据的小预算来推断属于目标私有标签集的那些目标样本的标签这需要昂贵且耗时的收集和注释劳动。一个合理的问题是，为什么不直接将现成的知识或模型从源领域回收到新的领域。由于来自不同域的数据是从不同的数据分布中采样的，因此可能存在较大的域间隙[60]，这可能会降低目标域[35，40]中的模型性能。解决这个问题的一种有吸引力的方法是无监督局部自适应（UDA）[44]，其目的是学习具有源标记数据和目标未标记数据的分类模型，以确保学习的模型可以在目标域中表现良好。大多数无监督域自适应方法可以分为四类，即闭集域自适应[25，42，47，52，57，23]，部分域自适应[25，42，47，52，57，23]，部分域自适应[25，42，47，52，57，23]。如图1的顶部所示，在一些实施例中，域自适应[4，5，6]、开集域自适应[36，46，65，28]和通用域自适应[61，11，45]是一种通用域自适应。具体而言，闭集域自适应[16，30，33]假设源和目标做8969电源共享相同的标签集。部分域适配[4，64，6]假设源标签集包含目标标签集。开集域自适应假设两个域之间的公共类是已知的[36]，或者源标签集是目标标签集的子集[46]。最近，通用域自适应[61，11，45]去除了关于源-目标标签集关系的所有假设，并将目标样本分类为包含在源标签集中的标签然而，新产品推荐或珍稀动植物识别。因此，对于实际的域自适应算法来说，推断属于“未知”类别的样本的为了实现这一目标，我们建议定义一个新的范例无监督域自适应，称为主动通用域自适应（AUDA）。如图1的底部所示，为模型训练提供了对类没有任何显式限制的标记源域和目标域。如果类属于源标签集，则将其定义为“已知”。否则，它们被定义为由于“未知”类的目标样本比“已知”类的目标样本然后，应针对“已知”和“未知”样本推断实际类别标签。然而，在没有任何标记的训练数据的情况下推断“未知”样本的标签几乎是不可能的。由于实际应用提供了标注少量目标实例的可能性，称为主动学习（AL），因此我们有动机从oracle中获取目标数据子集的标签，特别是目标“未知”样本的标签为了设计用于主动通用域自适应的算法，我们面临两个方面的技术挑战：（1）在没有源-目标标签集关系的任何先验知识的情况下，AUDA中存在大的域间隙和显著的语义转移问题。具体地，源数据和目标数据从不同的分布中采样此外，意想不到的语义转换意味着许多未知的类包含在目标域中，使得减少共享类之间的域间隙变得极其困难。如果不能很好地减少领域间隙和语义转移，那么对主动学习来说，标注信息实例以推断目标“未知”实例是具有挑战性的（2）在主动学习过程中，对信息量最大的目标实例进行标注，并用于学习，以推断目标“未知”实例。现有的大多数AL AP-方法更喜欢注释高度不确定[10，12，24，54]或多样化[49，15]的实例。由于这些方法执行主动学习而不考虑域间隙和语义转换，因此可能错误地估计不确定性和多样性[34]。因此，直接应用传统的AL方法容易导致选择离群值、冗余实例或无信息实例进行注释，这不利于进一步减少域间隙和语义偏移，并且损害推断目标“未知”样本的性能虽然在主动域适应[53]中的先前工作试图处理域间隙的问题，但是其没有考虑语义转移问题，使得其不适用于AUDA。因此，在设计主动学习策略时，应综合考虑领域差距和语义转换，使其能够解释出最丰富的目标实例。基于上述观察结果，我们提出了一个主动通用适应网络，它同时适应模型从源域到目标域，并对未知类别推理的目标信息实例具体地，我们首先提出了对抗性和多样性课程学习（ADCL），其设计了对抗性课程损失和多样性课程损失以对齐源域和目标域，并学习目标“已知”/“未知”实例识别的能力因此，在主动学习过程中，可以消除领域空缺和语义转移的负面影响，从而有助于选择更多的信息实例进行标注。然后，我们提出了一个主动学习策略命名为聚类不可转移梯度嵌入（CNTGE），它利用可转移性，多样性和不确定性的线索来注释目标私有类的目标样本，并分配伪标签高度自信的目标标记和伪标记的目标实例可以为ADCL提供更好的监督最后，与ADCL和CNTGE联合训练可以进一步加强适应过程，并学习推断目标“未知”实例的实际本文的主要贡献是：（1）提出了一种更实用的无监督域自适应方法--主动通用域自适应方法，该方法不需要对目标标签集进行任何假设，不仅可以识别共享标签集的目标样本，还可以通过主动学习来推断目标私有类的目标样本。(2)为了解决AUDA任务，我们提出了主动通用适应网络，这是一个端到端模型，它执行对抗性和多样化的课程学习和聚类不可转移的梯度嵌入，以协同促进领域适应和主动适应。在这里，我们将来自公共标签集合的目标样本定义为目标8970DC我CC\C我 i=1nsntnbii=1--{}DC C\CC C ∩ C学习 (3)大量 的实验 表明，建 议的AUDA 模型 配备ADCL和CNTGE取得了显着的分类结果。2. 相关工作域适配。根据对源-目标标签集的假设，大多数域自适应方法可以分为闭集自适应、部分域自适应、开集域自适应和泛域自适应。闭集域自适应假设源域和目标域共享相同的标签集，其关注于减轻源域和目标域之间的域间隙的影响。闭集域自适应的解决方案主要分为特征自适应[17，31，63，26，9]和生成模型[13、21、22、29、55、59、32]。部分域自适应假设源域的标签集应该足够大以包含目标标签集[4，5，6，8]。开放集域适配假设两个域共享的类是已知的[36]，或者源标签集是目标标签集[46]的子集，其可以将目标样本分类为源类别或“未知”类别。Al-然而，这些策略不适合深度网络的模型自适应。 最近，Suet al. [53]在深度卷积网络的上下文中研究此任务，并基于其不确定性和“目标性”选择实例。然而，这些标签获取策略是基于源域和目标域共享相同标签集的假设而设计的。在我们的工作中，我们设计了一种新的主动学习策略的挑战下的领域差距和语义转移，它不依赖于任何假设的源-目标标签集的关系。3. 我们的方法3.1. 问题设置在主动通用域自适应中，学习算法可以访问标记的源域S=（xs，ys）和未标记的靶结构域UT=（xt），它们分别从不同的分布ps和pt采样。在每个活动学习回合，学习算法可以查询oracle以从UT获得nr个实例的标签。 在R轮主动学习之后，将nb个标记的目标实例添加到预算中DLT={（xt，yt）}其中nb=R·nr。 再说我们尽管知识图被利用来进一步推断AC。使用Ci ii=1虽然“未知”样本的实际标签通用域自适应[61，11，45]采用了一个更生成的集合，它可以将目标样本分类为源标签集合中的任何类别，或者在没有目标标签集合的任何先验知识的情况下将它们标记为不幸的是，现有的无监督域自适应范式只能将样本分类为源类。至于其他的，只能标记为“未知”类。与现有的DA设置不同，我们的动机是通过领域自适应和主动学习之间的合作来推断所有目标实例的实际类，而无需对源-目标标签集关系进行任何主动学习。主动学习旨在通过对要由oracle标记的最具代表性的查询进行采样来开发标签高效算法[50]。目前的方法主要可以分为两类：不确定性和多样性。第一个目的是注释模型具有不确定预测的样本[12，10，54，48，58，43，18，3]。第二个重点是选择一组对整个数据集具有代表性和多样性的实例[49，15，51，14]。几种方法还提出了不确定性和多样性之间的权衡[20 ， 2] 。 近 年 来 ， 具 有 领 域 自 适 应 的 主 动 学 习（Active Do- main Adaptation）引起了人们极大的兴趣.然而，只有一点以前的工作解决了这个问题。初步工作[41]研究了应用于文本数据情感分类的主动适应任务Rita等人[7]通过求解最小化最大均值差异（MMD）的凸优化问题来选择目标样本以学习源实例的重要性权重。s表示源域的标签集，而目标域的标签集表示为t。c=s t是由两个域共享的公共标签集~s=s c和~t=tc分别表示源私有标签集合和目标专用标签集。请注意，目标标签集t在训练期间是不可接近的。AUDA的任务是为所有目标实例传入实际标签，无论它们是从Cc或C~t。3.2. 主动通用适配网络我们提出了一个主动通用适应网络（AUAN），以解决AUDA任务。AUAN由特征提取器Gf、分类器Gc、域鉴别器Gd和原型分类器Gp组成，它们分别由θf、θc、θd和θp 参 数 化. Gf被学习以生成源样本和目标样本的判别表示。Gc旨在将目标“已知”实例分类Gd被逆向训练以对齐源域和目标域。Gp被设计为将目标“未知”实例分类在训练期间，一旦具有目标私有类的实例被主动学习注释并且其原型未存储在Gp中，则新原型将被动态地添加到Gp中。学习过程主要由每个训练循环的三个主要部分组成，如图2所示。AUAN需要经过几个循环的训练。为了简单起见，我们以一个训练循环为例来介绍我们的算法。在对抗性和多样化的课程学习中，我们建议将Gc和Gd作为课程学习风格进行训练，以逐步使Gc适应目标领域。此外，模型还逐渐学习识别能力8971下一个训练循环分类器分类器聚类源域功能（t（迀移分数不对抗性和多样化的课程学习不可移转目标域梯度（嵌入特征提取器Oracle目标域（域鉴别器目标域（对抗性和多样化课程学习（ADCL）原型分类器联合训练与目标监督基于聚类的不可转移梯度嵌入我我我C我CC我CC我C不·我+Ext∈DUT1txt）wα（t）·log（Gd（Gf（xi）、不我阿尔法我我我我我由域鉴别器的输出估计，即，d（xt）=Gd（Gf（xt））。较高的值wt（xt）指示i i ixt似乎来自共享标签集Cc;否则xt我我可以是对抗性课程损失L_adv旨在渐进地对齐来自公共标签集C_c的源样本和目标样本，如等式（3）所示：S s图2. AUAN的三个阶段：对抗性和多样性课程-Ladv=Exs∈DS[ws（xi）·log（1−Gd（Gf（xi）））]lum learning，active learning via clustering non-transferable gra-ΣtΣ（3）目标“已知”/“未知”实例，这有助于在主动学习期间标注目标信息实例。在主动学习阶段，我们提出了一个聚类不可转移梯度嵌入策略，利用线索的可转移性，不确定性和多样性。选择目标信息实例进行注释。同时，高置信度的目标最后，所有标记和伪标记的目标数据用于进一步改进跨域比对中的Gc和学习目标私有类的Gp在三个阶段的若干训练循环之后，模型可以推断所有目标实例的实际标签。其中，Ladv中的指示符1wt（xt）wa（t）可以通过逐渐减小wa（t）的值，从易到难地选择属于c的目标样本xt。源权重ws（xs）旨在为来自c的源样本分配更高的值以及用于~s的源样本的较低值，这可以通过Gc首先，我们利用课程wt（xt）wα（t）从c中选择目标样本，这些目标样本应该在共享上具有更高的分类概率（由Gc预测）。类别而不是源私有类别。然后，我们可以得到Gc3.2.1对抗性和多样化的课程学习V= avgw（xt）w（t）Gc（Gf（xt））. 注意类别由于AUDA中的域间隙和语义转变，直接训练可靠的模型来识别目标实例的“已知”/“未知”标签并预先识别“已知”/“未知”标签是具有挑战性的V值较高的可能是共享类别，而值较低的可能是源私有类别。因此，V可以用来计算权重源样本（xs，ys）的，即，ws（xs）=Vys，其中ysdict目标“已知”实例的实际标签 此外-我我用作索引我我我由于Gc过拟合源域，Gc可以将目标为了巧妙地缓解上述问题，出于课程学习的动机[27]，我们从容易到困难地选择样本进行跨域对齐，同时减少Gc对目标“未知”实例的过度依赖具体而言，我们设计了两种课程损失，即对抗性课程损失Ladv和多样性课程损失Ldiv。ADCL的总体目标是：V.请注意，带有相同的类别标签被分配相同的权重。为了逐渐减少分类器Gc的过度依赖，在等式（4）中定义的多样课程损失Ldiv利用指示符Iwt（Xt）wa（t）来选择目标“未知”样本，并且通过最小化Gc的预测的负熵来强制这些所选择的样本在s中的 β的聚类，我们可以构造伪标记目标数据集P_LT，而不需要任何符号代价，即PLT=（xt，y~t）wt（ui）>β，y~t=arg maxGc（ui），i=1，nr，其中ui是聚类xt的质心 至于剩下的目标未标记sam-为了提高所有目标样本的实例级区分能力，我们被激励通过自监督聚类目标L_nc将UT中的目标特征与其邻居（标记的目标特征或原型）聚类。因此，相似的特征可以聚集在一起，Gp可以做出更可靠的预测。学习Gp的总体目标是：minLp+Lnc，（6）其中分类损失Lp被定义为等式（7）：ijΣt tΣ我我C~t，这些不可转移的实例将被用作查询候选人DNT积极学习的机会 D PLT =D UT我我+EttΣLc e（yt，Gp（Gf（xt）Σ，不确定性和多样性： 聚类梯度Em不可转让实例的床上用品。 共同为-针对NT中不可传递实例的不确定性和多样性，我们的目标是选择nr 个目标实例，从oracle中查询它们的标签，并将所选择的标签添加到NT中。目标标记数据集D在每个活动Lt其中Lce是交叉熵损失。对目标要素进行聚类的步骤#24315;有意义的，？bors，我们建议计算一个自我监督的集群损失Lnc。这里，有意义的邻居被标记为Gp中的目标样本或原型。首先，在小批量中，我们计算-在DUT中延迟未标记目标样本fut的相似性到所有标记的目标样本{lt|Lt我t t∈D}所有不可转移实例的ent嵌入[2]NT。请注意，梯度向量的幅度捕获了实例上模型的不确定性：如果模型对实例的标签高度确定，则实例和K原型W1，，w，k，，wK在Gp. 由于小批量数据不能包含所有标记的目标样本，我们构造一个内存库MR（nr+K）×d，以存储所有标记的目标样本和原型，即， 其中模型不确定的样本。然后，选择nr个不同的高幅度样本不可能确保LT中的所有实例都带有~t中的标签，并且其中一些可能带有C语言的标签。即便如此，它们也有助于促进适应进程。和wk是L2归一化的。 因为G f和G p是当M在每个训练步骤被更新时，通过用更新的数据替换较旧的数据来用小批量数据更新M设Mj表示M中的第j项.那么，D_UT中的目标特征f_ut是M_j的邻居的概率为：exp（MTfut/τ）Σ在主动学习过程之后，提供两种类型的目标监督：PLT和LT。这些注释的目标实例将被利用以进一步促进ADCL的功能并且学习用于推断目标“非-目标”的Gp不确定性和多样性。R学习过程中的记忆线索进一步完善Lce（y~i，Gp（Gf（xi）学习回合 首先，我们要计算出...pi，j=exp（MTfut/τ），（8）3.2.3 联合训练与目标监督ZiJMj∈M我8973我其中τ是温度参数。然后，基于熵的聚类损失被计算为：Lnc=Ext∈DUTΣΣj−pi，jlo g（pi，j）Σ。（九）8974DD--DDDDDDD D\DD D\DDC cCCCCC cCC cCy（x）=我我arg maxGp（Gf（xt））否则熵[58]：模型在其上具有的采样实例算法1：主动通用自适应网络1要求：特征提取器G f、分类器G c、域鉴别器G d和原型分类器Gp，分别由θf、θc、θd和θp参数化，标记源域S，未标记的靶结构域UT，总轮次R，每轮预算nr。2定义：目标标记数据集LT=，目标伪标记数据集PLT=. Gp在开始时不包含原型3预热：用下式求解方程（1）：S和UT.4 对于r= 0到R，5#AL：聚类不可转移梯度嵌入：6UT=UT LT7对于UT中的所有实例：8个1. 运行K-Means并计算nr个质心的转移分数九点二构造目标伪数据集PLT.103.在NT = UT P LT上计算梯度嵌入[2]，查询nr个实例的标签，最后将它们添加到LT，最后在G p中加入新的原型。11#通过对抗性和多样化课程联合培训AUAN学习：12用DS、DUT、DLT和DPLT求解等式（10）。13端部输出：模型参数：θf、θc、θd和θp。最后，学习主动通用自适应网络的总体目标如等式（10）minL~c+L~divL~adv，θf，θc表1.在Office-Home、Office- 31、VisDA和DomainNet数据集上，针对配备不同AL策略的不同DA方法的平均分类准确率（%）最好的结果是粗体。ALDA随机边缘Coreset徽章AVG办公室-家庭ResNet26.3228.0630.4228.3528.29UAN32.5832.5832.7733.8632.95ADCL47.1946.8645.7347.9447.33办公室-31ResNet75.6776.3777.9777.2976.83UAN64.5660.5665.4361.9663.13ADCL79.1578.5580.7980.5179.75VisDAResNet59.2761.9861.4361.9161.15UAN59.1172.4557.2862.8362.92ADCL63.1563.4962.5864.0063.31域名网ResNet27.4329.0728.9130.6829.02UAN34.1234.9135.4735.9035.10ADCL37.5437.3734.3437.0936.59班c、~s和~t的类号分别为150、50和145。在[11]之后，我们在DomainNet数据集中选择了3个域来相互传输。为了公平比较，所有数据集分区都遵循通用域自适应[61]。我们将每轮预算设置为：Office-Home为21美元，Office 31为10美元，VisDA为100美元，maxL~adv，θdminLp+Lnc，θf，θp（十）DomainNet，并执行15轮主动学习。比较方法。由于现有的UDA方法不能处理新的AUDA任务，我们扩展了两个域适配器-其中参数被优化为替代样式。算法1示出了训练和主动学习的过程。一旦模型被训练，我们就可以利用AUAN模型来根据等式（11）对所有目标实例进行分类：t.arg max G c（G f（xt））w t（xt）> w0我将基线设置为AUDA设置，即， ResNet [19]和UAN [61]配备了最先进的主动学习方法。为了比较四种类型的主动学习策略，我们选择了以下七种方法：（1）随机：随机选择几个在-4. 实验在本节中，我们首先说明数据集，比较方法，评估协议和实施细节。然后，我们展示了大量的实验结果和分析。由于篇幅有限，更多的结果和分析可在补充材料中找到。4.1. 设置数据集。第一个数据集Office-Home [56]包含四个域：艺术（Ar）、剪贴画（Cl）、产品（Pr）和真实世界（Rw），跨越65个类。按照字母顺序，我们用前10个类为c，接下来的5个类为~s，其余如t。 第二个数据集VisDA[39]包含12个类来自两个域：合成（S）和真实（R）图像。的类编号c、~s和~t分别为6、5和3. 第 三 个 数 据 集 是 Office-31[44] ， 它 包 含 三 个 域（Amazon（A），DSLR（D），Webcam（W））和31个域。班 c、~s和~t的类号分别为10、11和10。第四个数据集是DomainNet [38]，它包含六个域：剪贴画（C）、信息图（I）、绘画（P）、快速绘图（Q）、真实（R）和草图（S）跨越345（十一）我在每一轮注释标签的姿态（2）不确定性：a）8975高预测熵。b）裕度[43]：采样实例模型的前2个预测之间的得分最小。c）置信度[58]：预测置信度最低的采样实例。（3）多样性：a）K均值：在每一轮执行K均值，并且为每个聚类选择最接近其质心的一个样本。b）Coreset [49]：几何覆盖数据分布的采样实例。(4)不确定性和多样性的混合：BADGE[2]：当在幻觉梯度空间中呈现时，采样实例是不同的和高幅度的评价方案。我们报告的平均类的准确性进行比较。具体来说，我们首先计算目标区域中每个类别的分类准确率，最后对它们进行平均。此外，还绘制了平均分类准确率随标注轮数增加的曲线，以比较不同的主动学习策略。实施详情。我们使用Pytorch [37]来实现。在UAN[61]之后，ResNet-50 [19]用作特征提取器。在特征提取器之后添加具有256个单元的瓶颈层，随后是分类器和域鉴别器另一个瓶颈层8976→→→→第五名→→→→→不--D表2.在Office-Home，Office-31，VisDA和DomainNet数据集上第5，第10和第15轮注释的平均类别准确率（%），用于比较不同的主动学习策略。最好的结果是粗体。办公室-家庭AL战略月5ArClArPrArRwClArClPrClRw压力Ar月10第 15次第 15次第 15次第 15次第 15次第 15次月15随机21.36 26.34 29.33 50.58 54.09 60.05 42.67 46.03 48.32 34.48 41.51 47.27 48.53 53.06 56.53 42.10 45.99 47.20 39.10 45.63 52.78熵20.01 24.51 27.19 45.32 51.71 55.41 41.98 46.17 48.48 31.56 37.94 44.62 39.84 45.94 51.52 41.73 45.12 45.44 32.55 41.19 47.86置信度18.59 26.72 29.36 46.99 52.66 55.81 42.06 46.35 47.41 35.52 42.31 43.89 45.98 49.25 52.20 42.17 47.15 50.10 36.08 41.44 46.10K均值21.68 25.27 27.45 46.53 50.37 53.17 40.40 41.24 42.71 34.17 37.79 41.36 43.51 47.21 48.09 39.08 41.17 41.54 38.69 41.41 46.54保证金24.60 26.37 29.49 50.63 56.31 58.49 49.24 49.95 51.36 36.93 42.35 44.79 47.41 52.62 56.35 42.15 46.63 47.73 37.43 45.34 50.11Coreset25.04 26.58 26.94 49.94 53.44 56.77 45.97 46.99 48.89 39.11 42.01 44.29 47.78 48.45 52.94 44.09 45.30 48.50 40.33 46.33 51.47徽章22.28 28.45 30.53 51.03 55.81 58.44 43.41 48.05 49.79 32.60 39.66 44.59 49.07 54.25 58.63 42.20 45.58 48.0041.14 47.8654.68国家电网（我）27.25 32.44 36.51 56.02 63.58 67.96 48.39 57.56 61.02 40.89 50.20 53.75 51.57 61.58 65.82 46.49 56.03 61.8838.5049.49 54.26办公-家庭VisDAAL战略月5PRClPrRwRwArRwClRw平均压力月10第 15次第 15次第 15次第 15次第 15次月 15SR月10月15随机21.47 24.80 29.25 50.80 54.00 58.68 38.50 46.78 52.11 18.16 21.67 25.01 51.59 55.83 61.77 38.28 42.98 46.86熵17.01 21.58 22.95 45.15 50.11 54.75 33.31 38.93 45.95 17.12 20.47 22.38 45.18 49.82 53.01 34.23 39.46 43.30置信度19.72 23.47 24.54 47.95 53.59 57.96 35.34 43.32 45.51 17.41 19.43 23.74 48.21 52.51 57.44 36.34 41.52 44.50K均值22.97 27.58 28.95 44.68 47.44 49.68 37.88 40.96 46.13 20.01 22.76 22.94 45.27 51.35 53.49 36.24 39.55 41.84保证金23.84 28.26 30.02 50.74 56.72 60.89 39.19 44.74 49.26 19.98 22.64 22.73 56.16 59.34 61.06 39.86 44.27 46.86Coreset24.21 27.34 28.00 51.51 58.47 59.10 41.10 45.25 50.17 22.63 22.68 22.68 50.89 55.54 58.99 40.22 43.20 45.73徽章23.43 28.59 29.91 49.21 58.96 61.01 38.67 47.69 51.79 18.35 23.39 25.64 49.27 58.45 62.28 38.39 44.73 47.94国家电网（本公司）28.49 34.38 39.11 55.02 64.44 69.76 40.96 50.93 55.03 25.65 31.13 36.55 56.18 64.56 69.24 42.95 51.36 55.91办公室-3162.72 六三点一五六三点一五57.46 57.97 60.0658.77 60.64 61.1764.40 64.59 64.5962.05 六三点四九六三点四九62.24 62.24 62.5863.76 64.0071.32 73.23 73.91AL战略月5一DAWD 一 个DWW的WD平均值月10第 15次第 15次第 15次第 15次第 15次第 15次月 15随机80.75 82.78 85.23 71.58 79.30 84.22 59.80 63.01 64.90 81.65 88.06 91.35 58.69 61.38 62.84 83.29 84.09 86.33 72.63 76.43 79.15熵75.54 80.08 82.98 69.11 75.75 80.75 49.34 54.63 54.63 82.55 87.75 90.47 48.60 50.87 55.36 82.61 83.99 85.86 67.96 72.18 75.01置信度74.65 80.38 81.97 72.93 76.19 81.06 52.06 54.04 54.04 87.17 90.01 90.82 48.63 54.86 56.62 84.02 85.43 87.73 69.91 73.48 75.37K均值76.96 79.85 82.34 70.20 73.39 78.83 54.65 58.84 61.46 75.51 78.86 86.72 54.01 56.64 58.88 83.41 84.16 86.57 69.12 71.96 75.80保证金80.50 83.34 83.75 75.37 81.46 82.11 58.79 62.46 66.31 86.35 90.15 91.27 53.55 57.34 61.55 85.38 86.32 86.32 73.32 76.84 78.55Coreset81.0884.38 86.18 76.7783.64 86.10 57.19 61.84 66.33 85.8492.01 92.76 58.43 60.73 65.21 83.51 86.28 88.17 73.80 78.15 80.79徽章79.90 84.12 84.45 78.21 81.58 86.16 58.07 64.2868.77 87.77 90.43 91.34 58.12 62.16 65.74 84.49 85.27 86.59 74.43 77.97 80.51中企（本公司）79.8185.48 87.21 80.53 83.0586.19 61.91 67.50 68.1390.91 91.13 92.2662.20 65.50 65.67 86.38 86.95 87.60 76.96 79.94 81.18域名网AL战略月5PRRPPSSPRSSR平均值月10第 15次第 15次月10第15次第 15次第 15次第15次月 15随机38.57 43.46 48.56 29.92 34.03 36.24 24.72 28.11 29.53 28.86 32.16 33.98 24.51 28.09 29.49 42.0146.56 47.46 31.43 35.40 37.54熵8.92 11.05 11.05 25.61 27.99 29.29 22.23 24.90 26.85 23.99 25.63 27.64 21.82 24.98 26.96 28.69 29.66 30.43 21.88 24.04 25.37置信度32.83 45.38 46.69 29.99 33.29 36.57 25.4329.06 31.11 28.23 30.83 34.05 24.83 28.50 29.93 39.39 45.24 45.90 30.12 35.38 37.37K均值10.14 10.73 12.77 28.16 29.47 30.74 22.35 25.92 28.71 26.27 26.86 28.88 22.67 25.82 28.14 30.94 31.83 32.67 23.42 25.10 26.99保证金38.85 38.85 39.52 30.73 32.07 34.9226.47 27.98 29.43 28.78 30.07 32.31 24.70 26.36 28.26 40.11 44.25 46.42 31.60 33.26 35.14Coreset20.57 31.55 31.74 28.75 31.67 34.57 24.30 28.03 29.45 28.99 32.39 33.77 24.17 2