Facebook Folly库中的传递式迁移学习：利用人类知识加速深度学习

本文主要介绍了"传递式迁移学习"这一概念，它是机器学习领域的一个重要分支，特别是在Facebook的C++基础库Folly中的futures库背景下探讨。在当前的机器学习实践中，尽管深度学习模型如AlphaZero展示了人工智能的自主学习能力，但完全依靠算法和数据进行无监督学习在很多情况下仍面临挑战，尤其是在缺乏显著相似性的领域之间。 传递式迁移学习的核心思想是通过发现不同领域之间的间接或传递式相似性来提升学习效率。它假设即使两个初始领域看似不相关，也可能存在一个或多个中间领域，这些领域与原领域具有较高的相似性。通过构建这样的相似性链条，知识可以从一个领域迁移到下一个领域，从而实现知识的传递。这种学习方法能够避免直接迁移时可能出现的负迁移现象，即学习过程中的知识干扰或误导。 文章引用了斯坦福大学研究人员在AAAI会议上的一项工作，他们利用人类的常识知识，如物理学原理（如抛物线运动），作为神经网络的先验知识，显著改进了模型的训练效果。这表明，在机器智能中融入人类经验和知识是提升迁移学习性能的有效途径。 香港科技大学杨强教授团队提出的Transitive transfer learning概念进一步扩展了这一理论，允许知识在多领域之间传递。这种方法不仅有助于解决传统迁移学习中难以处理的复杂问题，也符合人们对现实世界中事物关联性的理解。 本手册旨在为迁移学习的初学者提供入门指引，介绍迁移学习的基本概念、其必要性、各类划分标准（如按目标域、学习方法、特征和在线离线形式）以及应用领域（如计算机视觉、文本分类、时间序列和医疗健康）。此外，还讨论了迁移学习的问题建模、度量准则（包括距离、相似度、KL散度、JS距离和最大均值差异MMD等）以及总体思路。 手册强调了迁移学习的实用性，尤其是如何将理论应用于实践，通过实例和代码分享，帮助读者快速理解和掌握迁移学习的基本方法，为其后续研究和应用打下坚实的基础。迁移学习被认为是机器学习未来发展的重要趋势，这篇手册为推动这一领域的进步提供了有价值的教育资源。