少样本学习详解：从几个例子中概括—— Few-Shot Learning 深度调研

"这篇综述笔记探讨了 Few-Shot 学习的概念，即在只有少量标注数据的情况下，如何让机器学习模型快速泛化到新任务。作者来自香港科技大学和百度研究，以及4Paradigm公司，他们深入分析了 Few-Shot 学习的关键问题、方法和技术，并对这一领域进行了全面的调查。" 在现代机器学习领域，数据量往往是决定模型性能的重要因素，然而在某些情况下，获取大量标注数据并不现实。 Few-Shot Learning (FSL) 的出现就是为了应对这一挑战，它利用先验知识来应对小样本数据集的问题，使模型能在有限的监督信息下快速适应新任务。 首先，文章正式定义了 FSL，并将其与相关的机器学习问题如迁移学习、元学习等进行区分。核心问题在于，当样本数量有限时，经验风险最小化策略变得不可靠，可能导致过拟合或泛化能力下降。为了解决这一核心问题，作者将 FSL 方法从三个方面进行了分类： 1. 数据视角：利用先验知识扩充监督学习经验。这可能包括利用无标签数据、弱标签数据或相似任务的数据来增强模型的学习能力，如半监督学习和领域适应。 2. 模型视角：运用先验知识压缩假设空间。这可以通过多任务学习、嵌入式学习或外部记忆机制来实现，这些方法可以让模型在较少的样本上学习更有效的表示，例如通过共享参数或利用知识图谱。 3. 算法视角：优化已有参数和元参数。FSL 中的优化策略通常包括在训练阶段学习适应新任务的优化器，如模型-agnostic meta-learning (MAML) 和反向传播样例选择等方法，它们使得模型能快速适应新任务的需求。 接着，文章讨论了数据集的特点，包括有标签数据、弱标签数据和相似数据集的使用，以及如何在这些数据上构建和评估 Few-Shot 学习模型。同时，作者还介绍了不同类型的模型架构，如生成模型，它们可以合成新的训练样本，帮助模型学习更丰富的模式。 最后，展望部分探讨了 Few-Shot 学习在实际问题中的应用场景，如图像识别、自然语言处理和推荐系统等，并提出了未来的研究方向，包括理论上的深入理解、技术上的创新以及新方法的开发，以进一步提升在小样本情况下的学习效率和泛化能力。 这篇综述笔记为读者提供了一个全面了解 Few-Shot 学习的框架，对于研究人员和实践者来说，它是深入探索这一领域的宝贵资源。