迁移学习的总体思路可以概括为迁移学习的总体思路可以概括为 :开发算法来最⼤限度地利⽤有标注的领域的知识,来辅助⽬标领域的知识获取和学习。
迁移学习的核⼼是迁移学习的核⼼是:找到源领域和⽬标领域之间的相似性,并加以合理利⽤。这种相似性⾮常普遍。⽐如,不同⼈的⾝体构
造是相似的;⾃⾏车和摩托车的骑⾏⽅式是相似的;国际象棋和中国象棋是相似的;⽻⽑球和⽹球的打球⽅式是相似的。这
种相似性也可以理解为不变量。以不变应万变,才能⽴于不败之地。
**有了这种相似性后,下⼀步⼯作就是, 如何度量和利⽤这种相似性。**度量⼯作的⽬标有两点:⼀是很好地度量两个领域的
相似性,不仅定性地告诉我们它们是否相似,更定量地给出相似程度。⼆是以度量为准则,通过我们所要采⽤的学习⼿段,
增⼤两个领域之间的相似性,从⽽完成迁移学习。
⼀句话总结:⼀句话总结: 相似性是核⼼,度量准则是重要⼿段。相似性是核⼼,度量准则是重要⼿段。
11.1.7 迁移学习与其他概念的区别?
1. 迁移学习与多任务学习关系:
多任务学习多任务学习:多个相关任务⼀起协同学习;
迁移学习迁移学习:强调信息复⽤,从⼀个领域(domain)迁移到另⼀个领域。
2. 迁移学习与领域⾃适应:领域⾃适应领域⾃适应 :使两个特征分布不⼀致的domain⼀致。
3. 迁移学习与协⽅差漂移:协⽅差漂移协⽅差漂移 :数据的条件概率分布发⽣变化。
Reference:
1. 王晋东,迁移学习简明⼿册
2. Ben-David, S., Blit zer, J., Crammer, K., Kulesza, A., Pereira, F., & Vaughan, J. W. (2010). A t heory of learning
from dif f erent domains. Machine learning, 79(1-2), 151-175.
3. Tan, B., Song, Y., Zhong, E. and Yang, Q., 2015, August. Transit ive transfer learning. In Proceedings of the
21th ACM SIGKDD Int ernat ional Conf erence on Knowledge Discovery and Dat a Mining (pp. 1155-1164). ACM.
11.1.8 什么是负迁移?产⽣负迁移的原因有哪些?
负迁移(Negat ive Transfer)指的是,在源域上学习到的知识,对于⽬标域上的学习产⽣负⾯作⽤。
产⽣负迁移的原因主要有:
数据问题:源域和⽬标域压根不相似,谈何迁移?
⽅法问题:源域和⽬标域是相似的,但是,迁移学习⽅法不够好,没找到可迁移的成分。
负迁移给迁移学习的研究和应⽤带来了负⾯影响。在实际应⽤中,找到合理的相似性,并且选择或开发合理的迁移学习⽅
法,能够避免负迁移现象。
11.1.9 迁移学习的基本思路?
迁移学习的总体思路可以概括为:开发算法来最⼤限度地利⽤有标注的领域的知识,来辅助⽬标领域的知识获取和学习。
1. 找到⽬标问题的相似性,迁移学习任务就是从相似性出发,将旧领域(domain)学习过的模型应⽤在新领域上。
2. 迁移学习,是指利⽤数据、任务、或模型之间的相似性,将在旧领域学习过的模型,应⽤于新领域的⼀种学习过程。
3. 迁移学习最有⽤的场合最有⽤的场合是,如果你尝试优化任务B的性能,通常这个任务数据相对较少。
例如,在放射科中你知道很难收集很多射线扫描图来搭建⼀个性能良好的放射科诊断系统,所以在这种情况下,你可能
会找⼀个相关但不同的任务,如图像识别,其中你可能⽤ 1 百万张图⽚训练过了,并从中学到很多低层次特征,所以那
也许能帮助⽹络在任务在放射科任务上做得更好,尽管任务没有这么多数据。
4. 迁移学习什么时候是有意义的?它确实可以显著提⾼显著提⾼你的学习任务的性能学习任务的性能 ,但我有时候也见过有些场合使⽤迁移学习
时,任务实际上数据量⽐任务要少, 这种情况下增益可能不多。
什么情况下可以使⽤迁移学习?
假如两个领域之间的区别特别的⼤,不可以直接采⽤迁移学习不可以直接采⽤迁移学习,因为在这种情况下效果不是很好。在这种情况下,推荐使⽤
[3]的⼯作,在两个相似度很低的domain之间⼀步步迁移过去(踩着⽯头过河)。
1. 迁移学习主要解决⽅案有哪些?