没有合适的资源?快使用搜索试试~ 我知道了~
首页论文 基于度量学习的小样本学习研究 阅读心得
论文主要工作: 本文提出带间隔的小样本学习, 提升了所学习嵌入表示的质量。 为引入间隔, 本文根据小样本场景特点提出了多路对比损失, 使得小样本学习模型可以学习到一个更加具有判别性的度量空间,同时泛化误差可以减小。带间隔的小样本学习是一个通用的框架,可以同各种基于度量的小样本学习模型结合。 本文将带间隔的小样本学习引入到两种已有模型中,分别是原型网络和匹配网络。 另外, 数据的分布往往都有内在结构,现有的基于度量的小样本学习算法在分类时没有考虑数据分布的特性, 阻碍了算法的效果。 本文使用基于图正则的关系传播框架, 通过结合样本分布的流形和已知的样本间关系,推断出未知的样本间关系。 该框架的目
资源详情
资源评论
资源推荐
论文论文 基于度量学习的小样本学习研究基于度量学习的小样本学习研究 阅读心得阅读心得
论文主要工作:论文主要工作:
本文提出带间隔的小样本学习, 提升了所学习嵌入表示的质量。 为引入间隔, 本文根据小样本场景特点提出了多路对比损失, 使得小样本学习模型可以学习到一个更加具有判别性
的度量空间,同时泛化误差可以减小。带间隔的小样本学习是一个通用的框架,可以同各种基于度量的小样本学习模型结合。 本文将带间隔的小样本学习引入到两种已有模型中,分
别是原型网络和匹配网络。 另外, 数据的分布往往都有内在结构,现有的基于度量的小样本学习算法在分类时没有考虑数据分布的特性, 阻碍了算法的效果。 本文使用基于图正则
的关系传播框架, 通过结合样本分布的流形和已知的样本间关系,推断出未知的样本间关系。 该框架的目标函数是一个凸优化问题,可以求得全局最优解。 利用该框架,本文提出
了基于图正则的小样本学习算法,将图正则融入到小样本学习的任务中。 由于图正则的存在,使得算法可以充分考虑每个类别数据分布的特点, 从而提升分类的准确率。
提出了一种带间隔的小样本学习方法,具体做法是引入多路对比损失(可以学习到一个更加具有判别性的度量空间,同时减小泛化误差),并将该方法引入到两种已有模型(原型网
络和匹配网络)。
另外,这篇文章使用基于图正则的关系传播框架,通过结合样本分布的流形和已知的样本间关系,推断出未知的样本间关系。(考虑数据分布)
小样本学习的发展历程与经典论文小样本学习的发展历程与经典论文
这篇论文在梳理小样本学习的发展历程方面写的真的很好。
根据方法特点,本文将小样本学习的发展分为三个阶段:早期阶段、贝叶斯学习阶段和神经网络阶段。上世纪 90 年代开始陆续出现一些小样本学习相关的论文[9,10,11],当时采用的
方法有稀疏表示[9]等,这个时期称之为早期阶段。 早期阶段的工作主要是一些探索性的工作,产生的影响力较为有限。
[9] YIP K, SUSSMAN G J. Sparse representations for fast, one-shot learning[C]. NationalConference on Artificial Intelligence. Rhode Island, USA, 1997.
[10] KOHONEN T. The self-organizing map[J]. Proceedings of the IEEE ICNN, 1990, 78(9):1464-1480.
[11] TAASAN S. One shot methods for optimal control of distributed parameter systems 1:
Finite dimensional control[J]. ICASE Report, 1991, 91(2): 1-20.
贝叶斯学习阶段是 2003 年到 2015 年这个时期,这个时期出现了一些代表性工作如贝叶斯规划学习[6]等[12-16],这些工作产生了很大的影响力。 贝叶斯学习阶段的主要特点是模型
所采用的方法往往都是基于贝叶斯理论,可以处理小样本问题并很好地融合先验知识。但是该阶段的工作也存在一个问题,即模型的通用性往往不够。换句话说,该阶段的模型往往
是为具体问题所设计的,当问题发生一些改变时,模型将不再有效。
贝叶斯方法在小样本问题上的应用起源于李飞飞等人的工作[12,13],该工作通过贝叶斯方法实现小样本物体识别。具体地说,该工作使用变分贝叶斯框架,将物体的类别表示为概率
模型,而模型的参数以概率密度函数的形式作为先验知识,物体类别的后验概率是通过学习类别样本调整先验得到的。该算法首先在背景数据集上进行学习,然后算法利用测试类别
的 1~5 个样本进行学习,实现小样本条件下的精准分类,注意到背景数据集中没有测试类别的样本。在 2012 年, Salakhutdinov等人提出使用层次无参贝叶斯模型实现小样本学习
[14]。该模型将类别表示为树状的层次结构,比如动物类有绵羊、马等,机动车类有小汽车、卡车等,而动物类和机动车类又同属于一个超类。每个类别通过均值和方差这两个参数
表示,不同类别之间通过迁移参数实现知识的迁移。
2015年以来,有诸多的深度学习方法先后被应用到小样本问题之上。 Koch 等人于 2015年提出将孪生网络用于小样本问题[17],掀开了神经网络处理小样本问题的序幕。 孪生网络最
早由 LeCun 等人于 1990 年代提出[31],用于判别两个签名是否来自同一个人。 Koch 等人将孪生网络用于判断两个样本是否属于相同的类别。孪生网络在小样本学习任务中取得了
较好的效果,但和 Lake 等人[6]相比仍有差距。
2016 年, Vinyals 等人提出匹配网络( Matching Networks) [18], 该网络利用注意力机制来推断样本的类别。同时,该网络修改模型训练的模式,实现训练过程和测试过程相匹
配。
2017 年, Snell 等人提出原型网络( Prototypical Networks) [19], 该网络在匹配网络的基础上进一步改进。 相比匹配网络,原型网络使用了簇中心点表示簇的方法,并且使用欧
氏距离替换了匹配网络中使用的余弦距离。 诸多改进使得原型网络在收敛速度等方面优于匹配网络, 也提高了其小样本学习任务上的表现。
这篇文章的主要工作这篇文章的主要工作
这篇文章在解决小样本问题上的主要理论创新是提出了一种带间隔的损失损失函数,即从损失函数的角度做了工作。
一系列度量学习的相关工作[39,52]显示带间隔的损失函数可以学习得到更加清晰的簇结构。 另一方面,间隔可以提升分类器的泛化能力。基于这些想法,本文提出带间隔的小样本学
习。通过在小样本学习中引入间隔这一概念,使得小样本学习模型可以学习得到一个更加具有判别性的度量空间,同时泛化误差可以减小。带间隔的小样本学习是一个通用的框架,
可以同各种基于度量的小样本学习模型结合,有效提升这些模型的表现。本文提出多路对比损失,该损失是一个基于间隔的损失函数。其特点是能够同时挖掘一个样本和多个样本之
间的关系,最小化同类样本之间的距离,同时最大化非同类样本之间的距离。本文还将该损失函数整合到两种代表性的小样本学习模型中。实验的结果显示本文提出的间隔损失可以
有效提升小样本学习模型的性能。
这篇文章的核心是提出的特殊的损失函数,这个损失函数有两部分组成,一个是推力、另一个是拉力,使相同的类之间尽可能产生拉力,而不同的类之间给定固定阈值而产生推力。
作者宣称,推力部分的损失函数,可以产生前文所言的间隔,进而优化整个模型。
weixin_38722944
- 粉丝: 3
- 资源: 889
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0