书书书
计算机研究与发展
ＤＯＩ
：
１
０．７５４４
?
ｉｓｓｎ１０００
－
１２３９ ．２０１５
．２０１４０１０７
Ｊｏｕｒｎａｌ
ｏｆ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｒｅｓｅａｒｃｈ
ａｎｄ
Ｄｅｖｅｌｏ
ｐ
ｍｅｎｔ
５２
（
１
）
：
１６
－
２
６
，
２０
１５
收稿日
期
：
２０１
４
－
１０
－
１３
；
修回日
期
：
２０１
４
－
１１
－
２２
基金项
目
：
国家
“
九七三
”
重点基础研究发展计划基金项目
（
２０１
３ＣＢ３２９４０３
，
２０１２ＣＢ３１６３０１
）；
国家自然科学基金项目
（
６１３２２３０８
，
６１３３２００７
）
贝叶斯机器学习前沿进展综述
朱
军
胡文波
（
智能技术与系统国家重点实验室
（
清
华大
学
）
北京
１０００８４
）
（
清华信息科学与技术国家实验室
（
筹
）
北
京
１０００８４
）
（
清华大学计算机科学技术系
北京
１０００８４
）
（
ｄｃｓｚ
ｊ
＠
ｍａｉｌ．ｔｓｉｎ
ｇ
ｈｕａ．ｅｄｕ．ｃｎ
）
Ｒｅｃ
ｅｎｔ
Ａｄｖａｎｃｅｓ
ｉｎ
Ｂａ
ｙ
ｅｓｉａｎ
Ｍａｃｈｉｎｅ
Ｌｅａｒｎｉｎ
ｇ
Ｚｈｕ
Ｊ
ｕｎ
ａｎｄ
Ｈｕ
Ｗｅｎｂｏ
（
Ｓａｔ
ｅ
Ｋｅ
ｙ
Ｌａｂ
ｏｒａｔｏｒ
ｙ
ｏ
ｆ
Ｉｎｔ
ｅｌｌｉ
ｇ
ｅｎｔ
Ｔｅｃ
ｈｎｏｌｏ
ｇｙ
ａｎｄ
Ｓ
ｙ
ｓｔｅ
ｍｓ
（
Ｔｓｉ
ｎ
ｇ
ｈｕａ
Ｕｎｉ
ｖｅｒｓｉｔ
ｙ
），
Ｂｅｉ
ｊ
ｉ
ｎ
ｇ
１００
０８４
）
（
Ｔ
ｓｉ
ｎ
ｇ
ｈｕａ
Ｎ
ａｔ
ｉｏｎａｌ
Ｌ
ａｂ
ｏｒａｔｏｒ
ｙ
ｆ
ｏｒ
Ｉ
ｎ
ｆ
ｏｒ
ｍａｔｉｏｎ
Ｓ
ｃｉ
ｅｎｃｅ
ａ
ｎｄ
Ｔ
ｅｃ
ｈｎｏｌｏ
ｇｙ
，
Ｂ
ｅｉ
ｊ
ｉ
ｎ
ｇ
１
００
０８４
）
（
Ｄｅ
ｐ
ａｒ
ｔｍｅｎｔ
ｏ
ｆ
Ｃｏｍ
ｐ
ｕ
ｔｅｒ
Ｓｃｉ
ｅｎｃｅ
ａｎｄ
Ｔｅｃ
ｈｎｏｌｏ
ｇｙ
，
Ｔｓｉ
ｎ
ｇ
ｈｕａ
Ｕｎｉ
ｖｅｒｓｉｔ
ｙ
，
Ｂｅｉ
ｊ
ｉ
ｎ
ｇ
１００
０８４
）
Ａｂｓ
ｔｒａｃｔ
Ｗｉｔｈ
ｔｈｅ
ｆａｓｔ
ｇ
ｒｏｗｔｈ
ｏｆ
ｂｉ
ｇ
ｄａｔａ
，
ｓｔａｔｉｓｔｉｃａｌ
ｍａｃｈｉｎｅ
ｌｅａｒｎｉｎ
ｇ
ｈａｓ
ａｔｔｒａｃｔｅｄ
ｔｒｅｍｅｎｄｏｕｓ
ａｔｔｅｎｔｉｏｎ
ｆｒｏｍ
ｂｏｔｈ
ｉｎｄｕｓｔｒ
ｙ
ａｎｄ
ａｃａｄｅｍｉａ
，
ｗｉｔｈ
ｍａｎ
ｙ
ｓｕｃｃｅｓｓｆｕｌ
ａ
ｐｐ
ｌｉｃａｔｉｏｎｓ
ｉｎ
ｖｉｓｉｏｎ
，
ｓ
ｐ
ｅｅｃｈ
，
ｎａｔｕｒａｌ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
，
ａｎｄ
ｂｉｏｌｏ
ｇｙ
．Ｉｎ
ｐ
ａｒｔｉｃｕｌａｒ
，
ｔｈｅ
ｌａｓｔ
ｄｅｃａｄｅｓ
ｈａｖｅ
ｓｅｅｎ
ｔｈｅ
ｆａｓｔ
ｄｅｖｅｌｏ
ｐ
ｍｅｎｔ
ｏｆ
Ｂａ
ｙ
ｅｓｉａｎ
ｍａｃｈｉｎｅ
ｌｅａｒｎｉｎ
ｇ
，
ｗｈｉｃｈ
ｉｓ
ｎｏｗ
ｒｅ
ｐ
ｒｅｓｅｎｔｉｎ
ｇ
ａ
ｖｅｒ
ｙ
ｉｍ
ｐ
ｏｒｔａｎｔ
ｃｌａｓｓ
ｏｆ
ｔｅｃｈｎｉ
ｑ
ｕｅｓ．Ｉｎ
ｔｈｉｓ
ａｒｔｉｃｌｅ
，
ｗｅ
ｐ
ｒｏｖｉｄｅ
ａｎ
ｏｖｅｒｖｉｅｗ
ｏｆ
ｔｈｅ
ｒｅｃｅｎｔ
ａｄｖａｎｃｅｓ
ｉｎ
Ｂａ
ｙ
ｅｓｉａｎ
ｍａｃｈｉｎｅ
ｌｅａｒｎｉｎ
ｇ
，
ｉｎｃｌｕｄｉｎ
ｇ
ｔｈｅ
ｂａｓｉｃｓ
ｏｆ
Ｂａ
ｙ
ｅｓｉａｎ
ｍａｃｈｉｎｅ
ｌｅａｒｎｉｎ
ｇ
ｔｈｅｏｒ
ｙ
ａｎｄ
ｍｅｔｈｏｄｓ
，
ｎｏｎ
ｐ
ａｒａｍｅｔｒｉｃ
Ｂａ
ｙ
ｅｓｉａｎ
ｍｅｔｈｏｄｓ
ａｎｄ
ｉｎｆｅｒｅｎｃｅ
ａｌ
ｇ
ｏｒｉｔｈｍｓ
，
ａｎｄ
ｒｅ
ｇ
ｕｌａｒｉｚｅｄ
Ｂａ
ｙ
ｅｓｉａｎ
ｉｎｆｅｒｅｎｃｅ．Ｆｉｎａｌｌ
ｙ
，
ｗｅ
ａｌｓｏ
ｈｉ
ｇ
ｈｌｉ
ｇ
ｈｔ
ｔｈｅ
ｃｈａｌｌｅｎ
ｇ
ｅｓ
ａｎｄ
ｒｅｃｅｎｔ
ｐ
ｒｏ
ｇ
ｒｅｓｓ
ｏｎ
ｌａｒ
ｇ
ｅ
－
ｓｃａ
ｌｅ
Ｂａ
ｙ
ｅｓｉａｎ
ｌｅａｒｎｉｎ
ｇ
ｆｏｒ
ｂｉ
ｇ
ｄａｔａ
，
ａｎｄ
ｄｉｓｃｕｓｓ
ｏｎ
ｓｏｍｅ
ｆｕｔｕｒｅ
ｄｉｒｅｃｔｉｏｎｓ．
Ｋｅ
ｙ
ｗｏｒｄｓ
Ｂａ
ｙ
ｅｓｉａｎ
ｍａｃｈｉｎｅ
ｌｅａｒｎｉｎ
ｇ
；
ｎｏｎ
ｐ
ａｒａｍｅｔｒｉｃ
ｍｅｔｈｏｄｓ
；
ｒｅ
ｇ
ｕｌａｒｉｚｅｄ
ｍｅｔｈｏｄｓ
；
ｌｅａｒｎｉｎ
ｇ
ｗｉｔｈ
ｂｉ
ｇ
ｄａｔａ
；
ｂｉ
ｇ
Ｂａ
ｙ
ｅｓｉａｎ
ｌｅａｒｎｉｎ
ｇ
摘
要
随着大
数据的快速发展
，
以概率统计为基础的机器学习在近年来受到工业界和学术界的极大关
注
，
并在视觉
、
语音
、
自然语言
、
生物等领域获得很多重要的成功应用
，
其中贝叶斯方法在过去
２０
多年也
得到了快速发展
，
成为非常重要的一类机器学习方法
．
总结了贝叶斯方法在机器学习中的最新进展
，
具
体内容包括贝叶斯机器学习的基础理论与方法
、
非参数贝叶斯方法及常用的推理方法
、
正则化贝叶斯方
法等
．
最后
，
还针对大规模贝叶斯学习问题进行了简要的介绍和展望
，
对其发展趋势作了总结和展望
．
关键词
贝叶斯
机器学习
；
非参数方法
；
正则化方法
；
大数据学习
；
大数据贝叶斯学习
中
图法
分类号
ＴＰ１８１
机器学习是人工智能及
模式识别领域的共同研
究热点
，
其理论和方法已被广泛应用于解决工程应
用和科学领域的复杂问题
．２０
１０
年的图
灵奖获得者
为哈佛大学的
Ｌｅｓ
ｌｉｅ
Ｖａｌｌｉａｎｔ
教授
，
其获
奖工作之
一是建 立 了 概 率 近 似 正 确
（
ｐ
ｒｏｂ
ａｂｌ
ｙ
ａ
ｐｐ
ｒｏｘｉｍａｔｅ
ｃｏｒｒｅｃｔ
，
ＰＡＣ
）
学习理
论
；
２０１
１
年的图灵奖获得者
为加州大学洛杉矶分校的
Ｊｕｄｅａ
Ｐｅａｒｌ
教授
，
其主
要
贡献为建立了以概率统计为理论基础的人工智能方
法
，
其研究成果促进了机器学习的发展和繁荣
．
机器学习的一个重要分支是贝叶斯机器学习
．
剩余10页未读，继续阅读
评论0