信息熵、纯度、信息增益

信息熵是用来衡量一个系统或者信源的不确定性的度量，它的值越大，代表不确定性越高。在决策树算法中，我们可以使用信息熵来衡量一个节点的混乱程度，从而选择最优的划分属性。

纯度是指一个节点中样本的类别比例，纯度越高，代表这个节点中的样本类别越单一。在决策树算法中，我们可以使用纯度来衡量一个节点的分类效果，从而选择最优的划分属性。

信息增益是指在决策树算法中，使用某个属性对数据进行划分后，整个系统信息熵减少的程度。信息增益越大，代表使用这个属性进行划分后，整个系统的不确定性减少的程度越大。