没有合适的资源?快使用搜索试试~ 我知道了~
首页迁移学习入门与实践指南
迁移学习入门与实践指南
需积分: 10 20 下载量 159 浏览量
更新于2024-07-18
收藏 3.21MB PDF 举报
《迁移学习手册》是一份由王晋东编写的针对迁移学习的实用指南,旨在为初学者提供快速入门的教程。该手册详细介绍了迁移学习的基本概念,包括其定义、必要性以及与其他机器学习方法的关系,特别是强调了负迁移的概念。手册还涵盖了迁移学习的不同研究领域划分,如按目标域标签、学习方法、特征和离线在线形式等。 章节内容丰富,首先从迁移学习的历史发展和最新进展出发,阐述了为什么迁移学习被认为是机器学习领域的重要分支,因为它能够利用已有的知识和模型来加速新任务的学习过程,尤其是在数据稀缺或新任务与源任务有相似性的场景中。作者还通过实例展示了迁移学习在计算机视觉、文本分类、时间序列分析和医疗健康等领域的广泛应用。 手册深入浅出地将复杂的理论转化为实际操作,通过问题形式化的方式讲解了领域、任务和迁移学习的概念,以及度量准则的选择,如常见的距离度量和相似度计算方法,如KL散度与JS距离。特别地,手册的最后一部分提供了上手实践的章节,分享了实际的代码实现和作者的心得体会,以便读者可以直接应用于自己的研究和项目中。 这本书得到了机器学习权威学者杨强的高度评价,他认为该手册语言流畅,简明易懂,对于机器学习的初学者和进阶者来说都是极好的资源。无论是想要深入了解迁移学习原理,还是寻求实际应用的指导,这份手册都是一份不可多得的参考资料。
资源详情
资源推荐
迁移学习简明手册
迁移学习领域权威学者、香港科技大学杨强教授发表的迁移学习的综述文章 A survey
on transfer learning [Pan and Yang, 2010] 给出了负迁移的一个定义:
负迁移指的是,在源域上学习到的知识,对于目标域上的学习产生负面作用。
文章也引用了一些经典的解决负迁移问题的文献。但是普遍较老,这里就不说了。
所以,产生负迁移的原因主要有:
• 数据问题:源域和目标域压根不相似,谈何迁移?
• 方法问题:源域和目标域是相似的,但是,迁移学习方法不够好,没找到可迁移的成
分。
负迁移给迁移学习的研究和应用带来了负面影响。在实际应用中,找到合理的相似性,
并且选择或开发合理的迁移学习方法,能够避免负迁移现象。
最新的研究成果
随着研究的深入,已经有新的研究成果在逐渐克服负迁移的影响。杨强教授团队 2015 在
数据挖掘领域顶级会议 KDD 上发表了传递迁移学习文章 Transitive transfer learning [Tan et al., 2015],
提出了传递迁移学习的思想。传统迁移学习就好比是踩着一块石头过河,传递迁移学习就
好比是踩着连续的两块石头。
更进一步,杨强教授团队在 2017 年人工智能领域顶级会议 AAAI 上发表了远领域迁
移学习的文章 Distant domain transfer learning [Tan et al., 2017],可以用人脸来识别飞机!
这就好比是踩着一连串石头过河。这些研究的意义在于,传统迁移学习只有两个领域足够
相似才可以完成,而当两个领域不相似时,传递迁移学习却可以利用处于这两个领域之间的
若干领域,将知识传递式的完成迁移。这个是很有意义的工作,可以视为解决负迁移的有效
思想和方法。可以预见在未来会有更多的应用前景。
图 7对传递迁移学习给出了简明的示意。
图 7: 传递式迁移学习示意图
6
迁移学习简明手册
2 迁移学习的研究领域
依据目前较流行的机器学习分类方法,机器学习主要可以分为有监督、半监督和无监督
机器学习三大类。同理,迁移学习也可以进行这样的分类。需要注意的是,依据的分类准则
不同,分类结果也不同。在这一点上,并没有一个统一的说法。我们在这里仅根据目前较流
行的方法,对迁移学习的研究领域进行一个大致的划分。
图 8给出了迁移学习的常用分类方法总结。
图 8: 迁移学习的研究领域与研究方法分类
大体上讲,迁移学习的分类可以按照四个准则进行:按目标域有无标签分、按学习方法
分、按特征分、按离线与在线形式分。不同的分类方式对应着不同的专业名词。当然,即使
是一个分类下的研究领域,也可能同时处于另一个分类下。下面我们对这些分类方法及相
应的领域作简单描述。
2.1 按目标域标签分
这种分类方式最为直观。类比机器学习,按照目标领域有无标签,迁移学习可以分为以
下三个大类:
1. 监督迁移学习 (Supervised Transfer Learning)
2. 半监督迁移学习 (Semi-Supervised Transfer Learning)
3. 无监督迁移学习 (Unsupervised Transfer Learning)
显然,少标签或无标签的问题 (半监督和无监督迁移学习),是研究的热点和难点。这也
是本手册重点关注的领域。
2.2 按学习方法分类
按学习方法的分类形式,最早在迁移学习领域的权威综述文章 [Pan and Yang, 2010] 给
出定义。它将迁移学习方法分为以下四个大类:
1. 基于样本的迁移学习方法 (Instance based Transfer Learning)
2. 基于特征的迁移学习方法 (Feature based Transfer Learning)
7
迁移学习简明手册
3. 基于模型的迁移学习方法 (Model based Transfer Learning)
4. 基于关系的迁移学习方法 (Relation based Transfer Learning)
这是一个很直观的分类方式,按照数据、特征、模型的机器学习逻辑进行区分,再加上
不属于这三者中的关系模式。
基于实例的迁移,简单来说就是通过权重重用,对源域和目标域的样例进行迁移。就是
说直接对不同的样本赋予不同权重,比如说相似的样本,我就给它高权重,这样我就完成了
迁移,非常简单非常非常直接。
基于特征的迁移,就是更进一步对特征进行变换。意思是说,假设源域和目标域的特征
原来不在一个空间,或者说它们在原来那个空间上不相似,那我们就想办法把它们变换到一
个空间里面,那这些特征不就相似了?这个思路也非常直接。这个方法是用得非常多的,一
直在研究,目前是感觉是研究最热的。
基于模型的迁移,就是说构建参数共享的模型。这个主要就是在神经网络里面用的特
别多,因为神经网络的结构可以直接进行迁移。比如说神经网络最经典的 netune 就是模
型参数迁移的很好的体现。
基于关系的迁移,这个方法用的比较少,这个主要就是说挖掘和利用关系进行类比迁
移。比如老师上课、学生听课就可以类比为公司开会的场景。这个就是一种关系的迁移。
目前最热的就是基于特征还有模型的迁移,然后基于实例的迁移方法和他们结合起来
使用。
迁移学习方法是本手册的重点。我们在后续的篇幅中介绍。
2.3 按特征分类
按照特征的属性进行分类,也是一种常用的分类方法。这在最近的迁移学习综述 [Weiss et al., 2016]
中给出。按照特征属性,迁移学习可以分为两个大类:
1. 同构迁移学习 (Homogeneous Transfer Learning)
2. 异构迁移学习 (Heterogeneous Transfer Learning)
这也是一种很直观的方式:如果特征语义和维度都相同,那么就是同构;反之,如果特
征完全不相同,那么就是异构。举个例子来说,不同图片的迁移,就可以认为是同构;而图
片到文本的迁移,则是异构的。
2.4 按离线与在线形式分
按照离线学习与在线学习的方式,迁移学习还可以被分为:
1. 离线迁移学习 (Oine Transfer Learning)
2. 在线迁移学习 (Online Transfer Learning)
目前,绝大多数的迁移学习方法,都采用了离线方式。即,源域和目标域均是给定的,
迁移一次即可。这种方式的缺点是显而易见的:算法无法对新加入的数据进行学习,模型也
无法得到更新。与之相对的,是在线的方式。即随着数据的动态加入,迁移学习算法也可以
不断地更新。
8
迁移学习简明手册
3 迁移学习的应用
迁移学习是机器学习领域的一个重要分支。因此,其应用并不局限于特定的领域。凡是
满足迁移学习问题情景的应用,迁移学习都可以发挥作用。这些领域包括但不限于计算机
视觉、文本分类、行为识别、自然语言处理、室内定位、视频监控、舆情分析、人机交互等。
图 9展示了迁移学习可能的应用领域。
下面我们选择几个研究热点,对迁移学习在这些领域的应用场景作一简单介绍。
图 9: 迁移学习的应用领域概览
3.1 计算机视觉
迁移学习已被广泛地应用于计算机视觉的研究中。特别地,在计算机视觉中,迁移学习
方法被称为 Domain Adaptation。Domain adaptation 的应用场景有很多,比如图片分类、
图片哈希等。
图 10展示了不同的迁移学习图片分类任务示意。同一类图片,不同的拍摄角度、不同
光照、不同背景,都会造成特征分布发生改变。因此,使用迁移学习构建跨领域的鲁棒分类
器是十分重要的。
图 10: 迁移学习图片分类任务
计算机视觉三大顶会 (CVPR、ICCV、ECCV) 每年都会发表大量的文章对迁移学习在
视觉领域的应用进行介绍。
3.2 文本分类
由于文本数据有其领域特殊性,因此,在一个领域上训练的分类器,不能直接拿来作用
到另一个领域上。这就需要用到迁移学习。例如,在电影评论文本数据集上训练好的分类
9
迁移学习简明手册
器,不能直接用于图书评论的预测。这就需要进行迁移学习。图 11是一个由电子产品评论
迁移到 DVD 评论的迁移学习任务。
图 11: 迁移学习文本分类任务
文本和网络领域顶级会议 WWW 和 CIKM 每年有大量的文章对迁移学习在文本领域
的应用作介绍。
3.3 时间序列
行为识别 (Activity Recognition) 主要通过佩戴在用户身体上的传感器,研究用户的行
为。行为数据是一种时间序列数据。不同用户、不同环境、不同位置、不同设备,都会导致
时间序列数据的分布发生变化。此时,也需要进行迁移学习。图 12展示了同一用户不同位
置的信号差异性。在这个领域,华盛顿州立大学的 Diane Cook 等人在 2013 年发表的关于
迁移学习在行为识别领域的综述文章 [Cook et al., 2013] 是很好的参考资料。
图 12: 不同位置的传感器信号差异示意图
室内定位 (Indoor Location) 与传统的室外用 GPS 定位不同,它通过 WiFi、蓝牙等设
备研究人在室内的位置。不同用户、不同环境、不同时刻也会使得采集的信号分布发生变
化。图 13展示了不同时间、不同设备的 WiFi 信号变化。
10
剩余85页未读,继续阅读
EricAn
- 粉丝: 2586
- 资源: 86
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- JDK 17 Linux版本压缩包解压与安装指南
- C++/Qt飞行模拟器教员控制台系统源码发布
- TensorFlow深度学习实践:CNN在MNIST数据集上的应用
- 鸿蒙驱动HCIA资料整理-培训教材与开发者指南
- 凯撒Java版SaaS OA协同办公软件v2.0特性解析
- AutoCAD二次开发中文指南下载 - C#编程深入解析
- C语言冒泡排序算法实现详解
- Pointofix截屏:轻松实现高效截图体验
- Matlab实现SVM数据分类与预测教程
- 基于JSP+SQL的网站流量统计管理系统设计与实现
- C语言实现删除字符中重复项的方法与技巧
- e-sqlcipher.dll动态链接库的作用与应用
- 浙江工业大学自考网站开发与继续教育官网模板设计
- STM32 103C8T6 OLED 显示程序实现指南
- 高效压缩技术:删除重复字符压缩包
- JSP+SQL智能交通管理系统:违章处理与交通效率提升
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功