随机生成一组数据集,用id3算法进行训练(python代码)

时间: 2023-12-21 19:07:42 浏览: 26
好的,以下是一个简单的随机生成数据集并使用ID3算法进行训练的Python代码示例: ```python import numpy as np from collections import Counter import math class DecisionTree: def __init__(self): self.tree = {} def entropy(self, y): counter = Counter(y) entropy = 0.0 for label in counter.keys(): prob = counter[label] / len(y) entropy -= prob * math.log(prob, 2) return entropy def split_data(self, X, y, feature_index): splits = {} for idx, feature in enumerate(X[:, feature_index]): if feature not in splits: splits[feature] = ([], []) splits[feature][0].append(idx) splits[feature][1].append(y[idx]) return splits def information_gain(self, X, y, feature_index): splits = self.split_data(X, y, feature_index) entropy_total = self.entropy(y) entropy_feature = 0.0 for feature, (indices, sub_y) in splits.items(): prob = len(indices) / len(y) entropy_feature += prob * self.entropy(sub_y) return entropy_total - entropy_feature def get_best_feature(self, X, y): best_feature_index = -1 best_information_gain = 0.0 for feature_index in range(X.shape[1]): information_gain = self.information_gain(X, y, feature_index) if information_gain > best_information_gain: best_information_gain = information_gain best_feature_index = feature_index return best_feature_index def fit(self, X, y): self.tree = self.build_tree(X, y) def build_tree(self, X, y): if len(set(y)) == 1: return y[0] if X.shape[1] == 0: return Counter(y).most_common(1)[0][0] best_feature_index = self.get_best_feature(X, y) tree = {best_feature_index: {}} splits = self.split_data(X, y, best_feature_index) for feature, (indices, sub_y) in splits.items(): sub_X = X[indices] sub_tree = self.build_tree(sub_X, sub_y) tree[best_feature_index][feature] = sub_tree return tree def predict(self, X): return [self.predict_one(x) for x in X] def predict_one(self, x): tree = self.tree while isinstance(tree, dict): feature_index = list(tree.keys())[0] feature_value = x[feature_index] tree = tree[feature_index][feature_value] return tree # 生成随机数据集 X = np.random.randint(2, size=(100, 5)) y = np.random.randint(2, size=(100,)) # 使用ID3算法进行训练 dt = DecisionTree() dt.fit(X, y) # 预测结果 pred = dt.predict(X) print("Accuracy:", np.mean(pred == y)) ``` 代码中使用numpy库生成随机的二分类数据集,然后定义了一个DecisionTree类用于实现ID3算法。其中,entropy函数用于计算信息熵,split_data函数用于分割数据集,information_gain函数用于计算信息增益,get_best_feature函数用于选择最佳特征,fit函数用于训练模型,build_tree函数用于构建决策树,predict函数用于预测结果,predict_one函数用于递归预测单个样本的结果。最后输出预测准确率。

相关推荐

最新推荐

recommend-type

【K-means算法】{1} —— 使用Python实现K-means算法并处理Iris数据集

此处基于K-means算法处理Iris数据集 Kmeans.py模块: import numpy as np class KMeansClassifier(): """初始化KMeansClassifier类""" def __init__(self, k=3, initCent='random', max_iter=500): # 类的成员...
recommend-type

python 实现红包随机生成算法的简单实例

下面小编就为大家带来一篇python 实现红包随机生成算法的简单实例。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
recommend-type

python 随机森林算法及其优化详解

优化随机森林算法,正确率提高1%~5%(已经有90%+的正确率,再调高会导致过拟合) 论文当然是参考的,毕竟出现早的算法都被人研究烂了,什么优化基本都做过。而人类最高明之处就是懂得利用前人总结的经验和制造的...
recommend-type

python实现随机漫步算法

主要为大家详细介绍了python实现随机漫步算法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
recommend-type

Python3 A*寻路算法实现方式

今天小编就为大家分享一篇Python3 A*寻路算法实现方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB柱状图在信号处理中的应用:可视化信号特征和频谱分析

![matlab画柱状图](https://img-blog.csdnimg.cn/3f32348f1c9c4481a6f5931993732f97.png) # 1. MATLAB柱状图概述** MATLAB柱状图是一种图形化工具,用于可视化数据中不同类别或组的分布情况。它通过绘制垂直条形来表示每个类别或组中的数据值。柱状图在信号处理中广泛用于可视化信号特征和进行频谱分析。 柱状图的优点在于其简单易懂,能够直观地展示数据分布。在信号处理中,柱状图可以帮助工程师识别信号中的模式、趋势和异常情况,从而为信号分析和处理提供有价值的见解。 # 2. 柱状图在信号处理中的应用 柱状图在信号处理
recommend-type

帮我设计一个基于Android平台的便签APP的代码

很抱歉,我是一个语言模型AI,无法提供完整的Android APP代码。但是,我可以给您一些设计便签APP的建议和思路。 1. 界面设计 首先考虑APP的界面设计,便签APP通常需要一个主界面用于显示所有的便签,以及一个编辑界面用于编辑单个便签。主界面可以采用列表的形式,列出所有的便签,每个便签可以显示标题和摘要内容。在编辑界面中,用户可以输入标题和正文内容,并且可以设置提醒时间、标签、优先级等。 2. 数据存储 便签APP需要一个数据存储的方案,可以考虑使用SQLite数据库来存储便签数据。每个便签可以存储标题、正文内容、提醒时间、标签、优先级等信息。 3. 便签操作 便签APP
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。