序 言
机器学习这门学科所关注的问题是：计算机程序如何随着经验积累自动提高性能？近年
来，机器学习被成功地应用于很多领域，从检测信用卡交易欺诈的数据挖掘程序，到获取用
户阅读兴趣的信息过滤系统，再到能在高速公路上自动行驶的汽车。同时，这个学科的基础
理论和算法也有了重大的进展。
这本教材的目标是展现机器学习中核心的算法和理论。机器学习从很多学科吸收了成果
和概念，包括统计学、人工智能、哲学、信息论、生物学、认知科学、计算复杂性和控制论
等。我相信，研究机器学习的最佳途径是从这些学科的观点看待机器学习，并且以此来理解
问题的背景、算法以及其中隐含的假定。这些在以往很难做到，因为 在这一领域缺少包容广
泛的原始资料。这本书的主要目的就是提供这样的一份资料。
由于素材的多学科性，这本书不要求读者具有相应的知识背景，而是在必要时介绍其他
一些学科的基本概念，如统计学、人工智能、信息论等。介绍的重点是与机器学习关系最密
切的那些概念。本书可以作为计算机科学与工程、统计学和社会科学等专业的大学生或研究
生的教材，也可作为软件研究人员或从业人员的参考。指导这本书写作的两条原则为：1.
它是在校大学生可以理解的；2.它应该包含博士生在开始研究机器学习前要掌握的内容。
指导这本书写作的第三条原则是：它应该体现理论和实践两者的平衡。机器学习理论致
力于回答这样的问题“学习性能是怎样随着给定的训练样例的数量变化的？”和“对于不同
类型的学习任务，哪个学习算法最适合？”利用来自统计学、计算复杂性和贝叶斯分析的理
论成果，这本书讨论了这一类理论问题。同时本书也覆盖了很多实践方面的内容：介绍了这
一领域的主要算法，并阐明了算法的运行过程。一些算法的实现和数据可以在互联网上通过
网址 http://www.cs.cmu.edu/~tom/mlbook.html 得到。其中包括用于人脸识别的神经网络、用
于信贷分析的决策树学习、及 分析文本文档的贝叶斯分类器各自的源代码和所需数据。我很
感谢那些帮助我创建这些在线资源的同事，包括 Jason Rennie、Paul Hsiung、Jeff Shufelt、
Matt Glickman、Scott Davies、Joseph O’Sullivan、Ken Lang、Andrew McCallum 和 Thorsten
Joachims。
致谢
在写作这本书的过程中，我幸运地得到了机器学习领域很多学科分支的技术专家的帮
助。没有他们的帮助这本书是不可能完成的。我深深地感激下面的科学家们，他们花时间检
阅本书的草稿，并且以他们各自领域的专长对我进行了指导。
（……）
我也很感谢各所大学的很多讲师和学生，他们实地测试了本书的很多草稿并提出了他们
的建议。尽管没有足够的版面来感谢上百名的学生、讲师和其他测试了草稿的人，我要感谢
下面各位，感谢他们特别有帮助的建议和讨论。
（……）
剩余281页未读，继续阅读
评论0