12.信息熵、信息增益

信息熵和信息增益都是数据挖掘和机器学习中的重要概念。

信息熵是用来衡量一组数据的不确定性的指标。在决策树算法中，我们需要选择一个最优的特征来作为分裂点，信息熵可以用来衡量每个特征作为分裂点带来的不确定性的减少程度。信息熵的值越小，表示数据集中的样本越趋向于同一类别，分裂后的子集纯度越高。

信息增益是指在进行决策树分裂时，选择某个特征作为分裂点所能带来的信息增加量。信息增益越大，表示该特征对于分类的作用越大，应该优先选择该特征作为分裂点。

在决策树算法中，我们通常选择信息增益最大的特征作为分裂点，以此来构建决策树模型。