半监督学习中基于新的泰勒展开启发过滤框架的方法

14658半监督学习唐慧和奎佳*华南理工eehuitang@mail.scut.edu.cn，kuijia@scut.edu.cn摘要半监督学习（SSL）已经研究了很长时间，以解决数据高效应用场景中的视觉任务。SSL的目标是学习一个好的分类模型，使用一些标记的数据和大规模的未标记的数据。最近的进展通过组合多个SSL技术来实现该目标，自我训练和一致性调节。对于未标记的样本，通常采用置信度滤波器（CF）来选择具有高预测置信度的可靠样本。在这项工作中，我们研究了中等置信度的样本是否是无用的，以及如何选择有用的样本来改善模型优化。为了解决这些问题，我们提出了一种新的泰勒展开启发过滤（TEIF）框架，它允许具有相似特征或梯度的中等置信度的样本在标记和高度置信的未标记数据上进行平均。它能产生稳定的新信息诱导网络更新，从而更好地推广。两个新的过滤器来自这个框架，可以很自然地解释在两个角度。一种是梯度同步滤波器（GSF），它增强了全监督学习的优化动态，它选择梯度与类间多数梯度相似的样本。另一种是原型邻近过滤器（PPF），它在训练中使用更多的原型样本来学习更好的语义表示;它选择类方式原型附近的样本。它们可以通过CF集成到SSL方法中。我们使用最先进的Fix-Match作为基准。在SSL标准上的实验结果表明，本文的方法达到了新的水平.1. 介绍深度学习在计算机视觉任务中取得了巨大的成功，图像分类[9]是其中一个突出的例子。成功主要归功于大规模的标记数据。然而，大量的*通讯作者。用于所有感兴趣的任务的训练数据实际上是不可行的。为了降低标注成本，半监督学习（SSL）的主题已经被提出，并且已经有大量的研究工作在SSL [40]。SSL的目标是使用有限的标记数据和假设遵循相同分布的许多未标记数据来实现良好的模型泛化。在这项工作中，我们调查的经典主题，旨在推动SSL的限制。最近的SSL方法依赖于深度模型[47]来学习可以促进后续分类的特征表示。一种常见的策略是自训练[12，17，31]，其中伪标签迭代生成，然后用作监督以指导未标记样本的模型训练。另一种流行的范式是一致性正则化[29，33]，它约束模型为同一未标记样本的两个不同副本产生一致的预测。两个副本之间的差异可以通过随机数据增强[33]或网络参数的扰动[29]来实现。之后，提出了许多扩展[2，16，21，24，38，49]。正如[26]中所建议的，这两种技术都是有效的，但它们本身并不是最佳的目前SSL的最佳实践是技术组合，例如，结合自我训练和一致性正则化[4，5，18，37，44，48，48]。集群和平滑假设同时实施。前者[7]假设决策边界位于低密度区域，后者[40]假设相邻样本具有相似的标签。这种组合可以逐步提高模型性能，正如理论工作[42]中所验证的那样。请注意，如果模型预测，未标记样本的类均匀分布。为了解决这个问题，现有的方法采用置信度滤波[10，18，37]，它放弃了预测置信度（范围在[0，1]）低于预定义的高阈值（例如，0的情况。95[37]）。最不可信的样本是非常不可靠的，这是合理的。但是所有的适度自信的样本都是无用的吗，结果表明，在10~20岁的儿童中，95）？有没有办法挑选出有用的，以提高应用于模型的优化能力？14659在这项工作中，我们通过引入泰勒展开启发的过滤（TEIF）的新框架。给出了交叉熵损失函数的Tayor公式。真标签和伪标签样本的特征主要包括梯度乘项和有限阶特征为了使损失的变化在特征的邻域中一致，该框架选择中等置信度的样本，其特征或梯度类似于在标记和高度置信的未标记数据上平均的相应的特征或梯度，这是最可靠的。因此，最终的网络更新仍然接近于由最可靠的样本确定的网络更新，并且进一步包含在所选择的中等置信度的样本中包含的新信息，使得模型优化可以是稳定的和改进的。从这个框架中，两个新的过滤器推导出选择有用的样本从中等置信度的未标记的数据。然后将所选样本与高置信度样本一起用于训练分类模型。基于梯度的第一个过滤器假设一个中等置信度的样本是有用的，如果它遵循全监督学习的优化动态[1，50]。之前的研究[1]已经证实，深度神经元网络首先学习简单的模式，这些模式更适合简单的例子。这一事实意味着，如果这种优化动态得到加强，模式学习可以得到改善。另一方面，最近的方法[14]依赖于样本特征梯度来表征优化动态，即，约束局部和全局对准一致。由于基于梯度的过滤器的性质，我们因此可以通过类择大多数梯度来近似优化动态，所述类择大多数梯度是在标记样本和高度置信的未标记样本的特征上计算的，即，简单的例子。从这些中等置信度的样本中，我们选择具有与相应的多数梯度相似的特征梯度的样本 。 因 此 ， 我 们 称 这 种 方 法 为 梯 度 同 步 滤 波 器（GSF）。基于特征的第二个过滤器假设一个中等置信度的样本是有用的，如果它具有一定水平的亲典型性[36]。具体来说，类的原型表示，最好地表征特定的语义类（如[36]中所建议的），通过对每个类的样本特征取平均值来计算从中等置信度的未标记数据中选取原型附近的样本因此，我们把这种方法称为原型邻近滤波器（PPF）。我们的方法可以自然地集成到SSL框架中的置信度过滤器。为了挑战当前的技术水平，我们选择FixMatch [37]作为基线。在常用的SSL基准测试上的实验实证研究还回答了先前提出的问题：一些适度自信的样本是有用的，有办法把它们挑选出来。我们的主要贡献是总结-在下面。（1）我们介绍了SSL的新的和重要的问题，并为他们提供了初步的答案，即，是否所有的中等置信样本都是无用的，以及如何从中选择有用的样本。（2）针对上述问题，本文提出了一种新的基于泰勒展开的样本过滤（TEIF）框架，该框架通过对损失函数的泰勒展开来启发样本过滤的关键度量指标，即，梯度和有限阶的特征其中的原则是在加入所选择的中等置信样本后，使网络（3）在此基础上，提出了两种新的滤波器，分别从优化动力学和原型邻近性的角度出发，得到了梯度同步滤波器（GSF）和原型然后，GSF或PPF选择的中等置信度样本参与模型训练，这有助于学习更接近地面实况的决策边界。2. 相关作品我们简要回顾了最近的深度半监督学习（SSL）方法，重点是我们工作所基于的Fix-Match的组件。在[40]中提供了一个全面的调查，通过学习来学习的伪标签生成也是一个热门话题[13，19，20，28，30，41]。自我训练。这项工作[12]旨在加强决策边界应位于低密度区域的聚类假设;从技术上讲，它最小化了由模型为未标记数据预测的标记分布的信息熵。Lee [17]对每个未标记的样本选取最大预测概率类作为硬目标;然后使用伪标签对模型进行微调。为了改进，UPS [31]通过考虑网络预测的不确定性和置信度来选择更准确的伪标签。许多其他应用程序也采用自训练，例如自然语言处理[22]、对象检测[32]和域适应[6]。一致性正规化。该技术旨在通过强制相同输入的原始和扰动版本的模型输出之间的一致性来实现平滑假设它首先在[ 3 ]中介绍，它将伪系综的行为正则化，以使其对产生它的噪声过程具有鲁棒性。Rasmus等人。[29]和Sajjadi等人。[33]通过扰动网络参数，对图像应用随机变换或利用网络某些组件中涉及的随机性来开发它，例如，dropout和随机最大池。在[16]中，未标记样本的模型预测相应地，工作[38]将匹配对象转向平均教师的预测，即，以前模型的移动平均值在[49]中，施加14660KΣJ·联系我们英、法Σ−我StµBµByi我我 我 i=1uuu我我 i=1我我我我i=1unsµByi我yiu我1ΣµBi i2X·XµB{A}{A|联系我们网络的权重和结构，可以通过解决各自的优化问题与谱方法。PAWS [2]在锚视图和正视图之间强制执行一致的非参数预测。技术组合。 个别SSL技术他们无法达到更高的水平。最 高 分 的 类 别 作 为 标 签 （ one-hot 形 式 ） 。 设y=argmaxkpu是一个未标记的e样本xu的伪标记。[17]中自我训练的目标是µBJ=− logpu（x），（1）i=1在最近的研究中发现[26，44，48]。在那里-这是一个标准的跨部门损失。在这里，pyu（xu）indi-因此，更好的策略是将这些简单但有效的方法结合起来，技巧。 在[4]中，多个强增广ver-将概率向量的元素定位在预测的类yu，例如xu。优化方程（1）减少我我未标记样本的样本参与混合训练，其中它们使用样本的弱增强版本的锐化模型预测作为伪标签;引入分布对齐组件以使预测的标签分布接近于地面实况分布。最近，一个简化版本[37]用任何未标记样本的强增强版本训练模型，并使用其弱增强版本的最大预测概率类作为监督，其中仅选择高置信度样本。CoMatch [18]加强了伪标签和特征嵌入图之间的关系一致性。因此，我们通过提出一种新的Taylor扩展启发的过滤框架，该框架基于优化动态或原型接近性导出样本过滤器，从而朝着发现适度置信样本的有效性迈出了第一3. 方法目前的任务是假设区分K类，给定一小批B标记的示例Xl={（xl，y l）}B还有一大批未标记的µB样本Xu={xu}，其中y∈ {1，2，. . .，K}和μ∈ N+。未标记数据的预测不确定性，类似于[12]。一致性正则化基于平滑假设[40]。它通常通过匹配同一未标记示例的两个不同增强版本的模型预测来实现。在[33]µBJCR=||p（α（xu））− p（α（xu））||二、（二）i=1其中，我们注意到α（）是一个随机函数，因此会产生不同的数据增强。最小化CR有助于整个数据流形上模型预测的平滑性和稳定性[40]。一致性正则化的其他变体包括匹配示例及其虚拟对抗对应物的预测[24]，或匹配当前和时间集合预测[16]，仅举几例。最近的工作[4，24，37，44]也使用交叉熵来衡量预测的分歧。FixMatch [37]的最新方法结合了自训练和一致性正则化，如下所示。 它使用了弱增广ver的伪标签，Sionα（x），即，y=argmaxkpk（α（x）），作为超i i=1强增广对应物A（xu）的视觉。 Col-半监督学习（SSL）的目标是学习一个特征提取器E（·），它将输入图像x提升到选择性地，该模型用弱增强的标记数据{（α（xl），yl）}B和强增广的非特征空间，即，z=E（x），以及将标记数据我我i=1u将所学习的特征转换为概率向量p=F（z），其中每个元素p k（k1，2，. . .，K）表示将样本分配给类别k的可能性。我们也写p（resp）。p k）作为p（x）（resp. p k（x））。分类模型F（E（））是用l和u训练的，目的是在看不见的测试样本上很好地推广。在[37]之后，我们将两种类型的策略应用于未标记的训练样本，即，用α（·）和A（·）表示的弱增广和强增广都是关于i的.3.1. 预赛我们首先介绍流行的SSL技术，即，自我训练和一致性规则化。自我训练（（xu），y）µB。考虑到两个技术将是无信息的，如果模型预测遵循-在均匀分布的情况下，FixMatch采用典型的置信度过滤器来丢弃未标记的样本，最大类别概率）低于预定义的高阈值τ。因此，所选集合（（xu），y<$u）py<$u（α（xu））τ实际上是在训练中被忽视的。FixMatch的总体目标由监督损失Jsup和非监督损失Juns组成，minJsup+λuJuns，（3）其中λu是权衡超参数，B使用模型预测本身作为人工标签来指导未标记数据的模型训练[23，34]。的Jsup =1logpBi=1l（α（xl）），我通过两种代表性方法实例化想法，即，[17]和熵最小化，标签生成方式不同。 前者以J=−1<$I[pu（α（xu））≥τ] logp u（A（xu））。i=1y14661∈·JJJJ-J这里，I[ ]是一个指示函数。在FixMatch中，置信度过滤器的阈值τ[0，1）被设置为高值，例如，0的情况。95，因为最有信心的样本的伪标签被假设为大多数是正确的[51]。换句话说，FixMatch在每次训练迭代中放弃所有具有py<$u（α（xu））τ的样本 最不可信的样本实在是太不可靠了然而，是否所有具有中等置信度的样本都是无用的，例如，0的情况。75

下载后可阅读完整内容，剩余1页未读，立即下载