“机器学习与概率图模型 - 王立威 - 北京大学信息科学技术学院”
本PPT主要介绍了机器学习中的一个重要概念——概率图模型,并提供了对机器学习的一般性概述。由北京大学信息科学技术学院的王立威教授讲解,内容涵盖了机器学习的基本定义、概率图模型的表示、推理和学习等方面。
1. 机器学习简介:
机器学习是一种通过经验E提升任务T的性能P的方法。Tom Mitchell的定义强调了程序在经历E后,在T类任务上的性能(根据P度量)会得到提高。典型的机器学习任务包括分类、回归、排序和概率分布估计。
2. 机器学习任务:
- **分类**:如垃圾邮件过滤、人脸识别等,旨在将数据分配到预定义的类别中。
- **回归**:如胡克定律、开普勒定律,预测连续变量的关系。
- **排名**:如搜索引擎,对结果进行排序以满足用户需求。
- **概率分布估计**:估计数据的概率分布模式。
3. 机器学习算法:
- **分类**:支持向量机(SVM)、提升方法(Boosting)、随机森林(Random Forest)、袋装法(Bagging)以及(深度)神经网络。
- **回归**:套索回归(Lasso)和提升方法,用于预测连续数值。
4. 支持向量机(SVM):
SVM是一种寻找最大间隔分类器的算法,通过最小化 hinge 损失函数并进行正则化来实现。它在许多机器学习问题中表现出色,尤其在小样本和高维空间中。
5. 提升方法(Boosting):
Boosting是一种迭代算法,通过组合多个弱分类器形成一个强分类器。每个弱分类器试图改进前一轮的错误,从而实现隐含的大间隔分类。
概率图模型部分未在提供的内容中详细展开,但通常涉及如何用图形结构表示概率分布,以便进行推理和学习。这些模型包括贝叶斯网络、马尔科夫随机场(Markov Random Fields,MRF)和条件随机场(Conditional Random Fields,CRF)等。在机器学习中,概率图模型有助于处理不确定性,建模复杂的数据依赖关系,并进行有效的推断和参数学习。
总结来说,这个PPT深入浅出地介绍了机器学习的核心概念和典型算法,同时也引入了概率图模型这一重要工具,对于理解和应用机器学习有极大的帮助。