2008年Xiaojin Zhu的半监督学习综述：关键方法与进展

半监督学习（Semi-Supervised Learning Literature Survey）是计算机科学领域的一个重要研究方向，它关注在数据集中只有部分样本有标记的情况下，如何利用未标记数据提高模型的性能和泛化能力。这篇综述由Xiaojin Zhu在2008年撰写，针对的是当时的研究现状和主要方法论，旨在为读者提供一个深入理解半监督学习的框架。 首先，文章提出了半监督学习的常见问题（FAQ），涵盖了为何在数据标记不足时仍能有效学习、以及这种方法的优势和限制。关键在于如何利用未标记数据来克服标记数据的稀疏性。 接下来，讨论了生成模型（Generative Models），包括模型的可识别性（Identifiability）、模型的正确性（Model Correctness）和局部极大值（EMLocal Maxima）问题。这些模型试图通过构建数据的概率分布来理解和预测未标记样本，例如通过潜在类别变量进行聚类和标注。 鱼叉核函数（Fishер kernel）则被用于将半监督学习应用于更偏向于判别任务的学习方法中，这种技术能够将非线性特征转换为线性可分离的表示，从而提高分类性能。 自我训练（Self-Training）是一种常见的半监督策略，它通过初始模型对未标记数据进行预测，然后用这些预测结果作为新的训练样本来迭代提升模型。这种方法强调了模型的自我学习能力。 Co-Training和多视图学习（Co-Training and Multi-view Learning）是另一种协作学习的方法，通过不同视角对同一数据集进行分析，以增强模型的鲁棒性和准确性。Co-Training关注两个或多个互相独立的特征子集之间的联合学习，而Multi-view Learning则更广泛地探索数据的不同表现形式。 避免在稠密区域修改模型（Avoiding Changes in Dense Regions）是半监督学习中的一个重要挑战，文章探讨了如何在保持模型稳定的同时，有效地利用未标记数据。这包括转导支持向量机（Transductive SVMs，S3VMs）、高斯过程（Gaussian Processes）、信息正则化（Information Regularization）、熵最小化（Entropy Minimization）等策略，以及与图模型的关联。 图基方法（Graph-Based Methods）是半监督学习的另一大分支，它将数据视为图结构，通过节点间的相似性或关系进行建模。这些方法涉及图的正则化（如Mincut、Markov随机场、Gaussian随机场和Harmonic Functions）、局部和全局一致性、Tikhonov正则化、Manifold Regularization，以及基于谱理论的图核（Graph Kernels from the Spectrum of Laplacian）和谱图转换器（Spectral Graph Transducer）。 总结来说，这篇综述深入剖析了半监督学习的各种核心方法和技术，展示了在缺乏大量标记数据的情况下，如何巧妙利用未标记数据进行模型训练和优化，是研究者和实践者理解这一领域的重要参考资料。