id3算法信息增益和c4.5算法信息增益率计算方法
时间: 2023-04-28 16:01:31 浏览: 187
Decision-Tree-ID3-C4.5-implementation:实施Quinlan的ID3和C4.5决策树分类器并生成F1分数。 用于ID3和C4.5的方法-信息增益和增益比
id3算法信息增益计算方法:
1. 计算数据集的熵H(D);
2. 对每个特征A,计算其对数据集的条件熵H(D|A);
3. 计算信息增益Gain(A) = H(D) - H(D|A);
4. 选择信息增益最大的特征作为划分标准。
c4.5算法信息增益率计算方法:
1. 计算数据集的熵H(D);
2. 对每个特征A,计算其对数据集的条件熵H(D|A);
3. 计算信息增益Gain(A) = H(D) - H(D|A);
4. 计算特征A的固有值IV(A) = -∑(p(x)log2p(x)),其中p(x)为特征A的第x个取值在数据集中出现的概率;
5. 计算信息增益率GainRatio(A) = Gain(A) / IV(A);
6. 选择信息增益率最大的特征作为划分标准。
阅读全文