新泰勒展开法提升半监督学习中样本选择效率

半监督学习（SSL）是一种机器学习方法，旨在利用有限数量的标记数据和大量未标记数据来提升模型的性能和泛化能力。这种方法在深度学习领域尤其重要，尤其是在计算机视觉任务中，如图像分类，由于标记数据的获取成本高昂。近期的研究趋势是将多种SSL技术结合，例如自我训练（生成伪标签进行监督）和一致性正则化（确保模型对同一样本的不同版本输出一致）。 传统上，SSL中常用置信度滤波器（CF）来筛选出具有高预测置信度的样本，这些样本被认为是可靠的，可以用于模型的进一步训练。然而，这项研究质疑了中等置信度样本的价值，提出了一个新颖的泰勒展开启发过滤（TEIF）框架。TEIF框架的核心思想在于，即使这些样本的置信度不高，但如果它们在特征或梯度上具有相似性，也可以通过平均这些样本的信息，促进模型的稳定更新和泛化。这主要体现在两个新设计的过滤器： 1. 梯度同步滤波器（GSF）：这种滤波器关注样本的梯度特征，它挑选那些梯度与类别间多数梯度相匹配的样本，有助于保持优化过程的全局视角，增强全监督学习的优化动态。 2. 原型邻近过滤器（PPF）：这个滤波器更侧重于样本的语义表示，它会选择那些接近类别原型的样本，这样可以利用更多原型信息来提升模型的类别理解能力。 这两种滤波器都可以自然地融入到现有的SSL方法中，如最先进的Fix-Match算法。实验结果显示，通过应用TEIF框架，本文的方法能够在SSL的标准评估上达到新的高度，证明了中等置信度样本的有效利用对于提升SSL性能的重要性。 总结来说，这篇论文深入探讨了半监督学习中的样本选择策略，不仅关注高置信度样本，还挖掘了中等置信度样本的潜在价值，从而提出了一个创新的框架，为SSL领域的模型优化和泛化提供了新的可能。通过结合多种过滤器策略，该方法在实际应用中展现了强大的竞争力。