基于图的虚拟标签开发对抗性示例的半监督主动学习

2896转转半监督模型的半监督主动学习：利用基于图的虚拟标签开发对抗性示例Jianan Guo 1，2* Haochen Shi 3 *YangyangKang 2 KunKuang 1SiliangTang1† Zhuoren Jiang 1ChanglongSun 1，2FeiWu 1YuetingZhuang11ZhejiangUi versity2AlibabaGroup3Un i versi te´deMontr e´ al{建南，昆矿，思良，蒋卓仁，吴飞，于庄}@ zju.edu.cnyangyang. alibaba-inc.com，changlong.taobao.com，haochen. umontreal.ca摘要计算机视觉模型的性能随着标记数据的增加而显著提高。然而，标记数据的获取受到高成本的限制。为了减轻对大型标记数据集的依赖，经常采用主动学习（AL）尽管目前主流的方法开始结合SSL和AL（SSL-AL）来挖掘未标记样本的多样性表达此外，这些方法的SSL-AL框架遭受失配问题。在这里，我们提出了一个基于图的SSL-AL框架，以释放SSL任务模型的力量，并进行有效的SSL-AL交互。在该框架中，SSL利用基于图的标签传播将虚拟标签传递到未标记的样本，呈现AL样本AL在集群边界附近找到样本，以帮助SSL通过利用对抗性示例来执行更好的闭环中的信息交换实现了SSL和AL的相互增强。实验结果表明，我们的方法优于国家的最先进的方法对分类和分割基准。1. 介绍深度学习的发展为计算机视觉领域带来繁荣[23，39，3，5，57，53，54，55，56，26、25、27]。然而，这些数据饥饿的模型仍然需要提供大量的标记数据，其获取受到注释昂贵成本的限制[58]。这种性能和成本的两难选择使得在有限的标记数据下实现更高性能的任务模型具有广泛的研究和实用价值*同等贡献。†通讯作者。意识到这个问题，主动学习（AL）[52，50，29，34]被引入以释放预算有限注释的标记程序的潜力。尽管取得了进展，但大多数AL算法都存在数据浪费问题，因为它们忽略了在现实世界场景中使用AL意味着大部分数据仍然未标记，这可以通过以下三种方式进一步增强AL的半监督学习（SSL）：1）（SSL任务模型）当大量未标记的数据与一堆标记的数据结合使用时，通过SSL进一步提高任务模型的性能而不引入任何进一步的注释成本是非常自然和实用的。2)（SSLAL）SSL [20，41，4，42，46]的成功证明了通过用SSL对样本之间的关系（类内相似性和类间可区分性）进行建模来提高性能是可行的。因此，AL可以更准确地评估样本3)（AL SSL）由于SSL模型的初始样本关系很难完全正确。AL可以通过标记特定样本来确定精确关系并纠正错误关系。最后，在这样的循环中实现AL和SSL的相互增强。尽管一些作品结合了SSL和AL（SSL-AL）[52，19，40]，但这些方法存在两个问题：1）他们的完全监督任务模型受到数据浪费问题的影响。2)这些工作[40，19，52]基于VAE-GAN结构，并对样本的潜在表示进行AL，这是通过对样本的标记状态进行最小-最大博弈来学习的如图1所示，这种方法存在失配问题，这降低了AL基于上述见解，我们提出了一种新的基于gRaph-basE DVI的半监督模型的自适应学习（REVIVAL）框架。REVIVAL解决了上述两个不足，实现了AL和SSL的相互增强。该框架主要包括：2897样品潜在空间标记数据失配未标记数据正确图1：由于样本猫和鱼）到同一类（例如，标记或未标记），反之亦然。由三部分组成：1）标签传播器。为了在不失一般性的情况下对SSL推断的样本的关系进行显式建模，我们采用了充分探索的基于图的标签传播来进行SSL和提升AL。具体地说，标签传播器首先显式地将样本与它们的关系形成的聚类建模为图，然后在图上传播标签信息。最后，传递的消息合并成基于图的虚拟标签。因此，SSL通过渲染样本的结构分布和减少未标记池与虚拟标记的不确定性来增强AL2)虚拟对抗生成器为了通过细化图来提高SSL，我们引入对抗生成器来选择位于聚类边界上的样本作为注释候选者。具体地，由于标签传播器3) 边界限制器。为了识别未标记池中的困难情况，我们进一步提出了一个边界限制器，根据基于图的虚拟标签的熵对注释候选者进行重新排序我们进行分类和分割基准实验实验结果表明，REVIVAL导致一致的改进，超过以前的国家的最先进的（SOTA）的方法。本文的主要贡献概括如下：1. 我们提出了一种新的基于图的SSL-AL框架的SSL任务模型。该框架实现了SSL和AL之间的闭环相互增强，进一步释放了SSL任务模型的强大功能。2. 我们提出了增强的AL与虚拟对抗- ial生成器，它有效地利用SSL增强对抗的例子与SSL合作。3. 在标准基准上的大量实验证明了所提出方法的有效性与几种SOTA方法相比具有显著的改进（降低高达10%的标记需求2. 相关工作基于池的主动学习在实践中，很容易获得大量的未标记样本。因此，基于池的[24，52，50，36，40，9]场景中的AL比其他两个场景更受欢迎：基于蒸汽[7]和成员查询合成[2，49，44，59，29]。基于不确定性的抽样[17，13，8，10，21]和基于分布的采样[18，32，47，33]是基于池的场景中的常用方法。我们的方法同时考虑了不确定性和分布。 对于基于不确定性的框架，一些过去的启发式算法[35，38，16，28，37]已经为AL领域奠定了基础。在基于深度学习的主动学习时代，[50]预测每个样本的训练损失来衡量不确定性，并选择预测损失最大的样本。然而，所选样本的质量高度依赖于任务模型的损失信息，这是不稳定的早期选择阶段。在基于分布的方法[36，48]中，子集和整个集合之间的关系从几何的角度直观地示出。当缩放到大规模数据集或高维输入数据时，贪婪过程在计算上变得不可行。因此，这些算法将遭受低效计算。半监督主动学习最近，[40，19，52]利用VAE-GAN结构来学习潜在空间中标记和未标记样本的表示，以与鉴别器一起。鉴别器旨在通过与VAE-GAN的最小-最大博弈来然而，这些方法有一个问题，即它们不考虑类标签。具体地，具有不同真实标签的一些样品（例如，具有不同真实标签的样品）可以被检测。 鱼和猫）被分类为相同的类（标记的或未标记的），并且具有相同真实标记的样品可以落入相反的类。因此，学习过程可能会损害潜在空间中样本的语义分布。事实上，注释状态和特征表示是正交的，而特征表示与不同类的类标签高度相关。与这些基于VAE-GAN的方法相比，我们的方法考虑了类标签和特征表示之间的关系，以平滑地结合AL和SSL。最新的作品[43，11]基于预测一致性结合了AL和SSL，给出了然而，这些方法仅使用有限数量的数据增强方式来估计不一致性。相比之下，我们的方法可以探索未标记样本在特征空间中的连续局部分布，并获得更多的语义分布信息。此外，我们同时考虑了样本的不确定性和特征在潜空间中的分布2898第11章·MKK− KC（xl，yl），. . . ，（x l∈，yl和未标记池Du=Xu，.. .，xu（其中Nl和Nu是（l）1Nu是层l的激活函数，WGtrix，Dii=ΣjAij是A的度矩阵。 在本页中-1Nu半CC1Nl1Nu.Σ（l）是火车-1Nu3. 方法在本节中，我们制定了所提出的基于语法的虚拟自适应学习（REVIVAL）算法。我们首先在第3.1节中提供整个AL系统的概述，然后介绍REVIVAL的三个主要组件：第3.2节中的标签传播器，第3.3节中的虚拟对抗生成器和第3.4节中的边界限制器。3.1. 概述在本小节中，我们正式定义了基于池的构造最近邻图的距离矩阵即使对于大的n也是有效的[14]。基于S，我们得到邻接矩阵A，以通过未标记样本在潜在空间中的特征表示来探索未标记样本的类别标签。事实上，样本与它们的邻居自然地形成特征空间中的聚类，并且属于相同聚类的样本更可能共享相同的真实标签。给定该结构先验，我们进一步利用多层GCN来在邻接矩阵A的指导下将簇内样本的特征和标签信息传播到未标记的样本，使用建议的REVIVAL循环就像恶魔一样-H（1+1）（l）~−~−（l）（l）.如图2所示，初始标记池Dl==g（D）2AD2H W）（2）.ΣNl Nl其中l = 0，. . . ，L-1是当前GCN层的索引，标记的样本和未标记的样本）是给出算法将它们馈送到任务模型中以获得第l层的可加权矩阵，A~=A+I是邻接矩阵通过添加自环归一化的矩阵，I是单位矩阵。tain对应的表示Rl=. r 1，. . . ，r lΣ和~1NlRu=. r u，. . . ，r uΣ. 基于提取的表示，per，我们设置层数L= 2，g（0）=ReLU（·），构造图形结构和邻接矩阵然后，使用构建的图结构和邻接矩阵来训练基于图卷积网络（GCN）[20]的标签传播器以传播标签信息。一旦训练结束，我们将无标签喂养g（1）=softmax（），H（0）=R，并取最后一层作为由标签传播器推断的半监督后验概率：Y¯=H（2）。Y¯可以作为基于图的虚拟标签，这将进一步提高AL算法。样本的虚拟标签Y¯u={y¯u，. . . ，则由标签传播器到虚拟对抗生成器以生成对抗样本。然后，我们根据未标记样本与其对抗样本之间的差异此外，我们将边界限制器应用于这些候选者以选择具有最大不确定性的顶级候选者，并将它们提供给人类预言机进行注释。因此，标记池和未标记池的大小将分别更新为Nl+ 和Nu。循环将重复，直到任务模型的性能满足要求或注释的预算用完。通过聚合它们的邻居节点的特征。由于在GCN的推断过程中特征矩阵应该乘以邻接矩阵A~，所以标签和特征通过邻接矩阵A~ 流 入 未 标 记 的 样 本 。GCN将输出平滑的预测，其中邻近的特征对未标记样本的影响这些最后，我们在每个AL循环中训练该标签传播器以同化邻接关系并使用以下交叉熵损失执行正确的消息传递：C3.2. 标签传播器L=−ΣΣYllnY¯lx∈Dlc=1（三）从未标记的样本中获取类别标签信息辅助AL算法评估未标记样本的相关度量具体地，我们构造预提取的特征表示集R = rl，. . . ，rl，ru，.. . 其中ri是来自任务模型的特征提取器的隐藏状态。一个含元素的稀疏余弦相似距离矩阵SRn×n其中，1指示标记的样本，C是类别的数量，Y1表示样本具有真实标签c。3.3. 虚拟对抗生成器由于构造的SSL图很难是完美的，我们引入虚拟对抗生成器来细化图（即，确认SSL图中的精确关系并纠正错误关系），进一步提高性能。.1−riT·rj、如果i/=j∧r∈NN（r）SSL模型的管理 具体而言，模型预-sij=||×个||R J||我||i0，否则kj（1）在集群的边界上更清晰地指示使用R构造，其中NNk（rj）表示k的集合的最近邻，并且n=Nl+Nu。请注意，con-在簇内较强，但在簇边界和簇间较弱甚至矛盾）未标记的样本获取传播的标签信息我们提出了一个半监督标签传播器来执行112899我Adv我M|我我我我图2：我们的方法概述。它由三个模块组成：（a）标签传播器使用从任务模型提取的特征嵌入来构建相邻矩阵，并将虚拟标签传播到未标记的样本。（第3.2节）;（b）虚拟对抗生成器为未标记样本生成对抗样本，并测量未标记样本与其对抗样本之间的后验概率差异（第3.3节）;（c）边界限制器进一步对样本施加不确定性限制（第3.4节）。不自信和不恰当的模式化关系。因此，标记这些样本可以提高SSL模型为了找到边界附近的样本，虚拟对抗生成器通过计算对样本的预测与对对应对抗示例的预测之间的不一致性来估计模型对样本的预测的平滑度具体地，给定提取的表示ru原始类别标签并落入另一个集群。因此，生成器计算样本及其对抗样本的后概率的KL散度，由于radv的计算对于许多神经网络来说是棘手的，[30]提出使用二阶泰勒近似来近似radv，并通过幂迭代方法求解radv。具体来说，我们可以通过应用以下更新来近似radv对于未标记样本xu，我们首先将ru送入传播器ii u u u u u得到它的预测。 然后，我们将ru和y¯u同时输入生成器，得到对抗扰动ri。radv←∆rKL（p（y¯|r），p（y|r+∆r））（5）在哪里uu之后，我们将扰动表示uAdvuΔr是随机采样的单位向量r，p（y′）|R）是ri=ri+ri基于图的虚拟标签p（yu|ru+∆r）是扰动的再次进入标签传播器，以获得其扰动预测。tionyu.最后，生成器计算KL偏差预测，符号v表示v的单位向量。 的我KLDu=KL（yu，yu）之间游和yu . 样品可以使用一组我我更大的KLDu更接近对应的簇白羊座这里，对抗扰动被公式化为：神经网络的反向传播 一旦求解了r_adv，我们就可以通过计算KLD_u（i=l，. . . ，Nu）并选择前进 = arg max∆ r，||阿德尔||≤KL（p（y'u|ru，θ），p（yu|ru+∆r，θ））（4）top-以最大KLDu作为注释的候选人其中p（y x，θ）表示传播子的后验概率分布。在相同范数的扰动下，边界附近的未标记样本的对抗样本改变其3.4. 边界限制器尽管生成器选择聚类边界附近的注释候选，但是任务模型仍然保持针对这些注释候选的未标记样本池任务模型预测：标签传播器半监督训练分类器0 的情况。I. /=i00 的情况。表示③①、（（(标记合并液大炮蝴蝶四推理过程①、0 的情况。/=0②距离计算③（）⑭Oracle③⑦⑤⑧⑬顶部-选择虚拟对抗生成器扰动表示预测扰动预测顶部-选择####⑫⑪⑩##熵边界限位器KL-发散顶部-##++顶部-⑥扰动发生器⑨⑨KL Divergency计算器2900K我C我IC我为了进一步最大限度地提高有限注释预算的效果，我们引入了边界限制器，它限制了最终选择的样本具有高不确定性。这些最终选取的样本确实可以带来显著的模型不确定性降低和模型信息增益。在实践中，我们使用基于图的虚拟标签的熵来估计样本的不确定性，并选择具有最大熵的顶部样本进行人工注释。未标记样本的熵Xu可以用以下公式计算：Eu=−ΣP（y¯u|ru）lo gP（yūu|ru）（6）抽样算法选择一个子集来覆盖整个集合的分布。熵[37]通常用作基于不确定性的基线。它选择具有其预测概率的最大熵的样本随机抽样往往作为AL算法的下限。在分类的监督比较中，我们还考虑了其他三个基线。SRAAL [52]和VAAL [40]利用VAE-GAN结构来学习潜在空间中的嵌入，并找出更有可能落入未标记池的样本LLAL [50]选择具有最大训练损失的样本此外，我们采用当前最先进的方法CDAL [1]作为我们的基线之一。i ic iCIC I分段任务该方法考虑实例的空间邻域。它通过空间其中P（y'u|是实例的未标记样本同现和空间连续的概率。xu属于第c类。实现细节在分类下一方面，SSL标签传播器可以充分利用标记样本的特征，为人工智能提供基于图的虚拟标签，集成了标记样本的监督信息;另一方面，虚拟对抗生成器和边界限制器将让oracle注释集群边界附近的样本并且具有最大的不确定性。这些样本可以作为辅助的半监督标签传播提取正确的边界信息，更好地标签传播和减少未标记池的不确定性。因此，在闭环中的信息交换实现了SSL和AL之间的相互增强。此外，SSL任务模型还受益于标签传播，通过使用未标记的数据来提高性能，这就是为什么我们的SSL-AL框架可以释放SSL任务模型的力量。4. 实验在本节中，我们首先在不同设置（监督和半监督任务模型）下的几个基准上对不同任务（图像分类和语义分割）进行实验，然后通过对照实验讨论REVIVAL对于图像分类，我们使用CIFAR- 10 [22]和CIFAR-100 [22]作为我们的基准。它们都包含60，000个图像，其中50，000个图像用于训练。CIFAR-10有10个类别，每个类别6000张图像，而CIFAR-100有100个类别 ， 每 个 类 别 600 张 图 像 。 在 分 割 任 务 中 ， 在Cityscapes数据集[6]上评估用于像素级分割注释的方法。该数据集收集了3475张像素级标记的城市街景图片，2975张用于训练，500张用于测试。基线在SSL分类的比较中，我们考虑了四个基线。ICAL [11]选择sam-SSL，我们采用Mixmatch [4]作为我们的SSL任务模型，其中Wide ResNet-28 [31]是任务模型的骨干。我们保留了不同数据集的默认超参数[4]。初始训练集均匀分布在类上，并且我们通过随机采样来建立初始集。我们遵循[11]来设置初始训练集大小和AL预算。在监督分类任务和分割任务中，我们遵循[52]进行AL设置。我们分别使用ResNet-18 [12]和DRN [51]作为分类和分割任务模型的骨干。使用相同的初始训练集和模型参数训练不同的基线，以进行公平的比较。我们绘制了进行五次实验的图表：实线表示五次试验的平均结果我们采用了一个名为faiss的十亿级相似性搜索工具 [15] ， 以 低 成 本 构 建 KNN 图 结 构 ， 并 使 用 DeepGraph Library1进行快速GCN计算。4.1. 监督学习在本节中，我们进行实验来验证所提出的半监督AL框架在监督学习下的有效性，其中对任务模型的4.1.1CIFAR-10上的REVIVAL性能图3显示了我们的方法在CIFAR-10上的监督学习下的性能。我们可以观察到，我们的方法在所有选择周期中优于最先进的方法。使用整个数据集，Resnet-18可以产生93的最高准确率。5%，而我们的方法超过了完全监督训练的性能，只有使用35%的数据。可以解释说，我们的方法可以选择信息量最大的样本，这些样本集合上预测高度不一致的ples数据增强。核心集[36]是基于分布的1dgl.ai/2901随机复活LLAL VAALICAL SRAAL核心集p100随机LLALICAL核心集复兴VAAL斯拉尔准确度（%）60基于CIFAR-10的监督分类九四九四9292909088八六86十五二十二十五30 35 4084821、2、3个四五六七八标记的数据集%图3：在CIFAR-10上进行监督学习的性能比较。顶部的虚线（p100）表示整个训练集被标记的性能。基于CIFAR-100的监督分类标记的数据集%图5：CIFAR-10上半监督学习下的性能比较。底部的虚线（SL-REVIVAL）表示在具有8%标记数据的70浪费大量未标记的数据。 来验证我们的直觉65， 并 说 明 了 REVIVAL 的 有 效 性 ， 我 们 比 较 了REVIVAL与其他AL算法，并证明了SSL任务模型和SL之间的性能差距55任务模型（最多12。1%）。5045十五二十二十五30 35 404.2.1 CIFAR-10上的REVIVAL性能在图5中，所有仅使用标记的数据集%图4：在CIFAR-100上进行监督学习的性能比较。4.1.2 CIFAR-100上的REVIVAL性能图4显示了REVIVAL在数据集CIFAR-100上的监督性能。在图中，我们的方法在所有选择周期中击败了所有其他基线，保证金高达2。百分之三十八在没有SSL模块的情况下，ICAL相当于测量样本的预测稳定性。LLAL仅使用预测损失来估计不确定性。同样，核心集只考虑分布多样性来选择样本。样本信息的不完全考虑限制了LLAL、核心集和ICAL的性能。不同的是，我们的SSL-AL框架在SSL和AL的有效交互中同时考虑了不确定性和分布性。VAAL利用VAE-GAN在潜在空间中构建特征嵌入，并通过其标签状态区分未标记的数据。对样本是否被标记的估计不等于信息量。因此，该方法不能选择信息量最大的样本。与VAAL相比，我们的方法考虑了样本的类标签和它们的表示相似性之间的关系。4.2. 半监督学习大多数先前的AL方法集中在以完全监督的方式训练任务模型的设置上，留下0的情况。3%的标记数据优于使用8%标记数据的监督REVIVAL随着样本选择周期的进展，我们在半监督学习下的方法始终优于其他基线。值得注意的是，完全基于熵的方法而REVIVAL中的边界限制器在基于图的SSL和虚拟对抗生成器的指导下，可以利用熵来有效地估计不确定性。考虑到样本相反，REVIVAL选择靠近群集边界的样品4.2.2 CIFAR-100上的REVIVAL性能图6展示了半监督学习下REVIVAL在CIFAR-100上的性能结果。我们可以看到，在整个样本选择阶段，半监督REVIVAL的表现优于所有以前的基线。当使用25%标记数据时，半监督RE-VIVAL达到9。33%以上的准确性比监督的RE-VIVAL。与CIFAR-10上的性能相比，当类别的数量变大时，核心集的性能无效。ICAL采用几种数据扩充方法随机复活ICAL熵核心套件SL-REVIVAL准确度（%）准确度（%）2902KMMMM基于CIFAR-100的半监督分类72706866646210 12 14 16 18 20标记的数据集%图6：CIFAR-100上半监督学习下的性能比较。底部的虚线（SL-REVIVAL）表示在有25%数据被标记的监督学习下REVIVAL的性能%标记数据的准确度%方法. 15 25REVIVAL 67.91±0.16 71.63±0.20LP+VAG 67.71±0.18 71.28±0.20VAG+BL 67.27±0.18 70.73±0.19LP+BL 67.38±0.16 70.85±0.17随机66.61±0.22 69.82±0.22表1：在CIFAR-100上的半监督学习下的消融研究以测量不一致性损失并获得70的平均精度。上一个周期的98%。相比之下，REVIVAL达到了71的精度。63%，得益于未标记样本周围连续局部分布的探索和潜在空间中特征分布的考虑。5. 模型分析5.1. 消融研究表1显示了在半监督学习下评估REVIVAL关键模块对CIFAR-100数据集的贡献的消融研究。标签传播器（LP）的效果标签传播器聚合未标记样本的监督信息，并输出未标记样本的平滑预测概率如果没有平滑的信号从propa- gator，性能的REVIVAL从71降级。63%到VAG+BL的70。73%，标记数据为25%。Stan- dalone边界限制器甚至不如图5和图6中没有平滑信号的随机选择。标签传播算子充分利用了大量的未标记数据，充分挖掘了AL算法虚拟对抗发生器（VAG）的效果与所有消融结果相比，对抗发生器对算法做出显著贡献。生成器可以与传播器紧密合作结构信息和寻找聚类边界附近的样本。发电机将性能从70. 85%至71。63%在最后的选择阶段。边 界 限 制 器 （ BL ） 的 影 响 虽 然 半 监 督 AL 结 构LP+VAG 可 以 实 现 优 异 的 性 能 （ 67. 71% ， 71 。28%），确保所选样本的高不确定性仍然可以提高模型的性能（67。91%，71。63%）。烧蚀结果表明，我们的完整的方法具有最好的5.2. 超参数M对REVIVAL的影响图7（a）示出了参数对针对CIFAR-10数据集的RE-VIVAL的影响。此外，Top-不是超参数，因为它等于每个阶段的样本选择预算大小（整个集合的5%）。我们可以观察到，当=2500（预算大小）时，算法将退化为仅基于生成器来选择样本。随着生成器初始筛选的样本数量的增加，边界限制器对性能的贡献变得更大。在5500到14500之间的区间，性能稳定且对。超过14500后，算法优先选择熵较大的样本，逐渐忽略样本的特征分布，直至退化为仅基于边界限制器的样本选择在这个阶段，算法只考虑样本的不确定性。5.3. KNN图图7（b）中示出了KNN图中最近邻居的数量的影响当k=1时，SSL-AL算法退化为监督AL，因为在图中没有边将被构造，使得标签信息不能在样本之间流动，并且没有结构信息将被提供给AL模块。随着k的数量增加，SSL渲染的结构和标签信息增加，因此性能提高并在k=20时达到峰值。随着k继续增加，性能表现出下降趋势。这是因为太多的噪声被引入到太密集的图中。5.4. 邻接图的改进为了证明AL对SSL的增强效果如图7（c）所示，由REVIVAL构建的邻接图的准确性一致且显著地优于所有其他方法，证明了AL模块有效地加速了图本小节和5.1中的结果表明，在REVIVAL中实现了AL和SSL的相互增强。随机复活ICAL熵核心套件SL-REVIVAL准确度（%）2903M93.493.293.092.892.692.492.292.091.810000 20000 3000040000超参数M（一）93.693.493.293.092.892.65 20 40 60 80100数个最近邻居（b）第（1）款CIFAR-100上的邻接图精度757065605550454015 20 25 30 35 40标记的数据集%（c）第（1）款图7：（a）不同超参数下的性能。（b）不同超参数k下的（c）邻接图构造的分析结果。城市景观分割646260585654525048十五二十二十五30 35 40图8：CIFAR10数据集的tSNE嵌入和我们方法的选择行为。所选样品以黑色显示，其余未标记的样品以彩色显示。5.5. 可视化分析在图8中，我们通过tSNE嵌入可视化了我们的方法我们使用标记样本学习的提取特征计算所有样本的嵌入，并将我们的方法选择的样本可视化。该可视化表明，REVIVAL可以选择样本，这些样本靠近聚类的边界并且也具有最大的不确定性（两个聚类的重叠区域5.6. 算法通用性为了验证算法的通用性，我们还进行了实验上的语义分割任务。对于语义分割，我们考虑AL的像素级注释，并且图像级不确定性被定义为图像中所有像素的不确定性的总和。此外，本文采用的任务模型是一种有监督的任务模型.图9展示了性能。我们可以观察到，REVIVAL在不同的标记数据比率上显著优于当前最先进的方法 就每种方法所需的注释而言，REVIVAL需要25%的训练数据来帮助任务模型达到58的mIoU。9%，而其他方法需要多标记10%标记的数据集%图9：Cityscapes上的细分性能。数据实验结果表明，该算法具有较好的通用性，可以推广到其他任务。6. 结论本文提出了一个SSL-AL框架（REVIVAL），AL和SSL实现相互增强。SSL-AL框架释放了SSL任务模型的强大功能。该算法将类内相似性和类间可区分性之间的关系转化为图结构，并基于图进行标签传播传播的标签信息帮助AL发现聚类边界附近的未标记样本，这进一步改善了标签传播。实验结果表明，REVIVAL在分类和分割任务上显著击败了最先进的方法。致 谢 本 工 作 得 到 国 家 重 点 研 发 计 划（2018AAA0101900）、浙江省国家自然科学基金会（LR21F020004）、阿里巴巴-浙江大学前沿技术联合研究院、阿里巴巴集团通过阿里巴巴创新研究项目阿里巴巴研究员项目、浙江大学科大讯飞联合研究中心、中国工程科技知识中心（CKCEST）。30%的标记数据30%的标记数据REVIVAL LLALICAL随机核心集VAAL选定样本随机iCal核心集REVIVAL瓦尔SRAAL平均准确度（%）平均准确度（%）平均准确度（%）mIoU（%）2904引用[1] Sharat Agarwal、Himanshu Arora、Saket Anand和ChetanArora。积极学习的情境多样性。欧洲计算机视觉会议，第137-153页Springer，2020年。[2] 丹娜·安格鲁查询和概念学习。Machine learning，2（4）：319[3] Vijay Badrinarayanan Alex Kendall 和 Roberto CipollaSegnet：用于图像分割的深度卷积编码器-解码器架构。IEEE Transactions on pattern analysis and machineintelligence，39（12）：2481[4] David Berthelot 、 Nicholas Carlini 、 Ian Goodfellow 、Nicolas Papernot 、 Avital Oliver 和 Colin A Raffel 。Mixmatch：半监督学习的整体方法。在神经信息处理系统的进展中，第5049-5059页[5] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.使用深度卷积网络和全连接crf的语义图像分割arXiv预印本arXiv：1412.7062，2014。[6] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集在Proceedings of the IEEEconference on computer vision and pattern recognition，pages 3213[7] Ido Dagan和Sean P Engelson。训练概率分类器的基于委员会的在Machine Learning Proceedings 1995中，第150-157页。Elsevier，1995年。[8] Sayna Ebrahimi，Mohamed Elhoseiny，Trevor Darrell，Marcus Rohrbach. 贝叶斯神经网络不确定性引导的连续学习。arXiv预印本arXiv：1906.02425，2019。[9] 亚林·加尔和祖宾·加赫拉马尼。Dropout作为贝叶斯近似：在深度学习中表示模型的不确定性。在机器学习国际会议上，第1050-1059页[10] Yarin Gal、Riashat Islam和Zoubin Ghahramani。基于图像数据的深度贝叶斯主动学习。arXiv预印本arXiv：1703.02910，2017。[11] Mingf eiGao ， ZizhaoZhang ， GuoYu， SercanOüArık ，Larry S Davis，and Tomas Pfister.基于一致性的半监督主动学习：标签成本最小化。欧洲计算机视觉会议，第510-526页。Springer，2020年。[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[13] NeilHoulsby， FerencHusza'r， ZoubinGhahramani 和 Ma' te'Lengyel。分类和偏好学习的贝叶斯主动学习arXiv预印本arXiv：1112.5745，2011。[14] Ahmet Iscen 、 Giorgos Tolias 、 Yannis Avritis 、 TeddyFuron和Ondrej Chum。区域流形上的有效扩散：用压缩cnn表示法恢复小目标。在IEEE计算机视觉和模式识别会议论文集，第2077-2086页[15] Je f fJohnson，MatthijsDouze，andHer ve'Je'gou. 用gpu进行 十 亿 级 相 似 性 搜 索 。 arXiv 预 印 本 arXiv ：1702.08734，2017。[16] AjayJJoshi，FatihPorikli，andNikolaosPapanikolopoulos.图像分类的多类主动学习。在2009年IEEE计算机视觉和模式识别会议上，第2372-2379页。IEEE，2009年。[17] Ashish Kapoor，Kristen Grauman，Raquel Urtasun，andTrevor Darrell.用高斯过程进行主动学习的物体分类。2007年IEEE第11届计算机视觉国际会议，第1-8页。IEEE，2007年。[18] Mina Karzand和Robert D Nowak。超参数化和内插机制下的主动学习。arXiv，第arXiv-1905页[19] Kwanyoung Kim，Dongwon Park，Kwang In Kim，andSe Young Chun.任务感知变分对抗主动学习。arXiv预印本arXiv：2002.04709，2020。[20] Thomas N Kipf和Max Welling使用图卷积网络的半监督分类。arXiv预印本arXiv：1609.02907，2016。[21] Andreas Kirsch，Joost van Amersfoort，and Yarin Gal.Batchbald：深度贝叶斯主动学习的高效多样的批量获取。神经信息处理系统，第7026-7037页，2019年[22] Alex Krizhevsky，Geoffrey Hinton，等.从微小的图像中学习多层特征。2009年[23] Alex Krizhevsky，Ilya Sutskever，and Geoffrey E Hinton.使用深度卷积神经网络的图像网分类。Communicationsof the ACM，60（6）：84[24] David D Lewis和William A Gale。一种训练文本分类器的序贯算法。在SIGIRSpringer，1994年。[25] Juncheng Li ， Siliang Tang ， Fei Wu ， and YuetingZhuang.与心同行：心象增强具身质构。在第27届ACM国际多媒体会议论文集，第1211-1219页[26] 李俊成，唐思良，朱林超，石浩晨，黄旭安文，吴飞，杨毅，庄悦婷.视频和语言推理的具有语义一致性的自适应分层图推理。IEEE/CVF计算机视觉国际会议论文集，2021。[27] Juncheng Li，Xin Wang，Siliang Tang，Haizhou Shi，Fei Wu，Yueting Zhuang，and William Yang Wang.用于嵌入式导航的可转移元技能的无监督在IEEE/CVF计算机视觉和模式识别会议论文集，第12123[28] Wenjie Luo，Alex Schwing，and Raquel Urtasun.潜在结构化主动学习。神经信息处理系统进展，第728-736页，2013年[29] Christoph Mayer和Radu Timofte。主动学习的对抗性采样。在IEEE计算机视觉应用冬季会议上，第3071-3079页[30] Takeru Miyato、Shin-ichi Maeda、Masanori Koyama和Shin Ishii。虚拟对抗训练：用于监督和半监督学习的正则化方法。IEEE2905Transactionsonpatternanalysisandmachineintelligence，41（8）：1979[31] Avital Oliver、Augustus Odena、Colin Raffel、Ekin DCubuk和Ian J Goodfellow。 深度半监督学习算法的现实评估。arXiv预印本arXiv：1804.09170，2018。[32] Sujoy Paul ， Jawadul H Bappy ， and Amit K Roy-Chowdhury.结构化数据中主动学习的非均匀子集选择。在IEEE计算机视觉和模式识别集，第6846-6855页，2017年。[33] 罗伯特·平斯勒、乔纳森·戈登、埃里克·纳利斯尼克和何塞·米格尔·赫恩·南德斯·洛巴托。贝叶斯批处理作为稀疏子集近似。神经信息处理系统进展，第6359-