机器学习分为有监督学习、无监督学习、半监督学习和强化学习。
监督学习是一种机器学习任务，它从标记的训练数据中提取函数。在无监督学习中，
数据没有标记，更准确地说，我们有一个未标记的数据。半监督学习是有标记和无标记数
据的结合。在强化学习中，软件代理从与环境的交互中收集信息，以采取能够最大化回报
的行动。图 1 描述了机器学习系统的分类
SUPERVISED LEARNING
监督学习是一种机器学习任务，它从标记的训练数据中提取函数。在监督学习中，存
在输入变量（P）和输出变量（Q）。从输入变量开始，该算法的功能是研究到输出变量
Q=f（P）的映射函数。监督学习的目标是分析训练数据，生成一个完整的函数，用于映
射新实例。学习算法将能够从未观察到的实例中正确地分析和概括类中的标签。本节介绍
监督学习中使用的各种算法。
1、Decision Trees。决策树被称为有向树结构，其中根节点中没有传入边，而其余
节点由传入边组成。每个叶节点都有一个标签；非叶节点具有一个称为特征集的特征。决
策树根据特征集中的不同值分割属于非叶节点的数据。特征测试从叶节点开始，直到叶节
点到达为止。最优决策树算法有利于解决有限问题。解决这些问题需要启发式方法。启发
式 方 法 可 以 通 过 自 下 而 上 和 自 上 而 下 的 方 法 来 解 决 。 自 上 而 下 决 策 树 的 示 例 包 括
ID3，C4.5，CART。
2、Rule Based Classiers。Quinlan[1993]指出，通过将决策树转化为不同的规
则集，可以为规则集创建不同的路径。从树的根到树的叶，为每条路径创建不同的规则；
决策树被修改为一组规则。直接地，从训练数据中，可以通过应用这些规则的不同算法来
导入规则。其思想是构造熟悉训练数据的标称规则集。其主要目标是构造与训练数据相似
的最小规则集。
基于规则的分类器。Quinlan[1993]指出，通过将决策树转化为不同的规则集，可以
为规则集创建不同的路径。从树的根到树的叶，为每条路径创建不同的规则；决策树被修
改为一组规则。直接地，从训练数据中，可以通过应用这些规则的不同算法来导入规则。
其思想是构造熟悉训练数据的标称规则集。其主要目标是构造与训练数据相似的最小规则
集。
3、Naïve-Bayesian classier。朴素贝叶斯分类器是概率分类器，其关系与贝叶斯
定理有关，具有很强的朴素独立性假设。贝叶斯定理可以用数学术语表述：
