model.feature_importances_

时间: 2023-04-25 15:04:27 浏览: 411
ZIP

template-decision-tree-feature-importance:用于实现特征重要性和连续分类特征的决策树的 PredictionIO 模板

model.feature_importances_是指机器学习模型中各个特征的重要性。在模型训练过程中,模型会对每个特征进行评估,计算出每个特征对模型预测结果的影响程度,从而得出每个特征的重要性。这个属性可以帮助我们了解哪些特征对模型的预测结果影响最大,从而优化特征选择和模型训练过程。
阅读全文

相关推荐

import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import confusion_matrix, classification_report, accuracy_score # 1. 数据准备 train_data = pd.read_csv('train.csv') test_data = pd.read_csv('test_noLabel.csv') # 填充缺失值 train_data.fillna(train_data.mean(), inplace=True) test_data.fillna(test_data.mean(), inplace=True) # 2. 特征工程 X_train = train_data.drop(['Label', 'ID'], axis=1) y_train = train_data['Label'] X_test = test_data.drop('ID', axis=1) scaler = StandardScaler() X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test) # 3. 模型建立 model = RandomForestClassifier(n_estimators=100, random_state=42) # 4. 模型训练 model.fit(X_train, y_train) # 5. 进行预测 y_pred = model.predict(X_test) # 6. 保存预测结果 df_result = pd.DataFrame({'ID': test_data['ID'], 'Label': y_pred}) df_result.to_csv('forecast_result.csv', index=False) # 7. 模型评估 y_train_pred = model.predict(X_train) print('训练集准确率:', accuracy_score(y_train, y_train_pred)) print('测试集准确率:', accuracy_score(y_test, y_pred)) print(classification_report(y_test, y_pred)) # 8. 绘制柱形图 feature_importances = pd.Series(model.feature_importances_, index=X_train.columns) feature_importances = feature_importances.sort_values(ascending=False) plt.figure(figsize=(10, 6)) sns.barplot(x=feature_importances, y=feature_importances.index) plt.xlabel('Feature Importance Score') plt.ylabel('Features') plt.title('Visualizing Important Features') plt.show() # 9. 对比类分析 train_data['Label'].value_counts().plot(kind='bar', color=['blue', 'red']) plt.title('Class Distribution') plt.xlabel('Class') plt.ylabel('Frequency') plt.show()

# 拆分训练集 验证集 from sklearn.model_selection import train_test_split x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3) # 网格调优(预剪枝) 通过自动调优找到最优参数值 from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import GridSearchCV parameters2={'max_depth':[15,17,20],'min_samples_leaf':[3,4,5],'min_samples_split':[7,9,10]} model2=DecisionTreeClassifier(random_state=42) grid_search=GridSearchCV(model2,parameters2,cv=5) grid_search.fit(x_train,y_train) i=grid_search.best_params_ print(i) # 4.模型训练与拟合 model = DecisionTreeClassifier(max_depth=15,min_samples_leaf=3,min_samples_split=10) model.fit(x_train, y_train) y_pred = model.predict(x_test) # 查看acc分数 from sklearn.metrics import accuracy_score score = accuracy_score(y_pred,y_test) print('Accuracy分数为:'+str(score)) from sklearn.metrics import precision_recall_fscore_support # 计算precision, recall, F1-score, support pre, rec, f1, sup = precision_recall_fscore_support(y_pred, y_test) print("precision:", pre, "\nrecall:", rec, "\nf1-score:", f1, "\nsupport:", sup) features=x.columns importances=model.feature_importances_ df=pd.DataFrame() df['特征名称']=features df['特征重要性']=importances f=df.sort_values('特征重要性',ascending=False) print(f) import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False import numpy as np sj = np.linspace(0.5, len(df['特征重要性']), len(df['特征重要性'])) plt.figure(figsize=(11, 8)) plt.bar(x=sj, height=df['特征重要性'], width=0.5, color='r') plt.xticks(rotation=340) xb = df['特征名称'] plt.xticks(sj, xb) plt.title('特征重要性柱图') plt.show() # 混淆矩阵 from sklearn import metrics metrics.plot_confusion_matrix(model, x_test, y_test) plt.show()

if not os.path.exists('model/easy_feature_select.csv'): df_importances = df_importances[:150] df_importances.to_csv('model/easy_feature_select.csv', encoding='gbk', index=False) # 根据筛选后的特征重新加载数据 x_train, x_test, y_train, y_test, df_ft = set_data(df_0, df_1, df_9, cfg_dict) # 相关系数,补充未被筛选为重要特征但与重要特征相关性较大的其他特征 feature_list = x_train.columns.tolist() df_corr = x_train.corr() df_corr = df_corr.replace(1, 0) # 筛选出相关系数大于0.85的特征 for i in range(len(df_corr.columns)): if i >= len(df_corr.columns): break column = df_corr.columns[i] names = df_corr[abs(df_corr[column]) >= 0.85].index.tolist() if names: print(column, '的强相关特征:', names) feature_list = [i for i in feature_list if i not in names] df_corr = x_train[feature_list].corr() continue #feature_list = list(set(feature_list + ['呼叫次数', '入网时长(月)', # 'MOU_avg', 'DOU_avg', '省外流量占比_avg'])) df_feature = pd.DataFrame(feature_list, columns=['features']) df_importances = pd.merge(df_feature, df_importances, on='features', how='left') df_importances.to_csv('model/easy_feature_select.csv', encoding='gbk', index=False) # 根据筛选后的特征重新加载数据 x_train, x_test, y_train, y_test, df_ft = set_data(df_0, df_1, df_9, cfg_dict) # 重新训练 bst = fit(cfg_dict, x_train, y_train, x_test, y_test) df_importances = feature_imp(model=bst, x_train=x_train, plot=True) df_importances.to_csv('model/easy_feature_select.csv', encoding='gbk', index=False) # 根据重新排序的特征训练模型 x_train, x_test, y_train, y_test, df_ft = set_data(df_0, df_1, df_9, cfg_dict) bst = fit(cfg_dict, x_train, y_train, x_test, y_test)

import pandas as pd from sklearn.datasets import load_wine from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.feature_selection import SelectKBest, f_classif from sklearn.decomposition import PCA from sklearn.metrics import accuracy_score, classification_report from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score from sklearn.ensemble import RandomForestClassifier from sklearn.neighbors import KNeighborsClassifier from sklearn.naive_bayes import GaussianNB from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC data = load_wine() # 导入数据集 X = pd.DataFrame(data.data, columns=data.feature_names) y = pd.Series(data.target) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0) # 构建分类模型 model = LogisticRegression() model.fit(X_train, y_train) # 预测测试集结果 y_pred = model.predict(X_test) #评估模型性能 accuracy = accuracy_score(y_test, y_pred) report = classification_report(y_test, y_pred) print('准确率:', accuracy) # 特征选择 selector = SelectKBest(f_classif, k=6) X_new = selector.fit_transform(X, y) print('所选特征:', selector.get_support()) # 模型降维 pca = PCA(n_components=2) X_new = pca.fit_transform(X_new) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X_new, y, test_size=0.2, random_state=0) def Sf(model,X_train, X_test, y_train, y_test,modelname): mode = model() mode.fit(X_train, y_train) y_pred = mode.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print(modelname, accuracy) importance = mode.feature_importances_ print(importance) def Sf1(model,X_train, X_test, y_train, y_test,modelname): mode = model() mode.fit(X_train, y_train) y_pred = mode.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print(modelname, accuracy) modelname='支持向量机' Sf1(SVC,X_train, X_test, y_train, y_test,modelname) modelname='逻辑回归' Sf1(LogisticRegression,X_train, X_test, y_train, y_test,modelname) modelname='高斯朴素贝叶斯算法训练分类器' Sf1(GaussianNB,X_train, X_test, y_train, y_test,modelname) modelname='K近邻分类' Sf1(KNeighborsClassifier,X_train, X_test, y_train, y_test,modelname) modelname='决策树分类' Sf(DecisionTreeClassifier,X_train, X_test, y_train, y_test,modelname) modelname='随机森林分类' Sf(RandomForestClassifier,X_train, X_test, y_train, y_test,modelname)加一个画图展示

最新推荐

recommend-type

精细金属掩模板(FMM)行业研究报告 显示技术核心部件FMM材料产业分析与市场应用

精细金属掩模板(FMM)作为OLED蒸镀工艺中的核心消耗部件,负责沉积RGB有机物质形成像素。材料由Frame、Cover等五部分组成,需满足特定热膨胀性能。制作工艺包括蚀刻、电铸等,影响FMM性能。适用于显示技术研究人员、产业分析师,旨在提供FMM材料技术发展、市场规模及产业链结构的深入解析。
recommend-type

【创新未发表】斑马算法ZOA-Kmean-Transformer-LSTM负荷预测Matlab源码 9515期.zip

CSDN海神之光上传的全部代码均可运行,亲测可用,直接替换数据即可,适合小白; 1、代码压缩包内容 主函数:Main.m; 调用函数:其他m文件;无需运行 运行结果效果图; 2、代码运行版本 Matlab 2024b;若运行有误,根据提示修改;若不会,可私信博主; 3、运行操作步骤 步骤一:将所有文件放到Matlab的当前文件夹中; 步骤二:双击打开除Main.m的其他m文件; 步骤三:点击运行,等程序运行完得到结果; 4、仿真咨询 如需其他服务,可私信博主或扫描博主博客文章底部QQ名片; 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法优化Kmean-Transformer-LSTM负荷预测系列程序定制或科研合作方向: 4.4.1 遗传算法GA/蚁群算法ACO优化Kmean-Transformer-LSTM负荷预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA优化Kmean-Transformer-LSTM负荷预测 4.4.3 灰狼算法GWO/狼群算法WPA优化Kmean-Transformer-LSTM负荷预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA优化Kmean-Transformer-LSTM负荷预测 4.4.5 萤火虫算法FA/差分算法DE优化Kmean-Transformer-LSTM负荷预测 4.4.6 其他优化算法优化Kmean-Transformer-LSTM负荷预测
recommend-type

WordPress作为新闻管理面板的实现指南

资源摘要信息: "使用WordPress作为管理面板" WordPress,作为当今最流行的开源内容管理系统(CMS),除了用于搭建网站、博客外,还可以作为一个功能强大的后台管理面板。本示例展示了如何利用WordPress的后端功能来管理新闻或帖子,将WordPress用作组织和发布内容的管理面板。 首先,需要了解WordPress的基本架构,包括它的数据库结构和如何通过主题和插件进行扩展。WordPress的核心功能已经包括文章(帖子)、页面、评论、分类和标签的管理,这些都可以通过其自带的仪表板进行管理。 在本示例中,WordPress被用作一个独立的后台管理面板来管理新闻或帖子。这种方法的好处是,WordPress的用户界面(UI)友好且功能全面,能够帮助不熟悉技术的用户轻松管理内容。WordPress的主题系统允许用户更改外观,而插件架构则可以扩展额外的功能,比如表单生成、数据分析等。 实施该方法的步骤可能包括: 1. 安装WordPress:按照标准流程在指定目录下安装WordPress。 2. 数据库配置:需要修改WordPress的配置文件(wp-config.php),将数据库连接信息替换为当前系统的数据库信息。 3. 插件选择与定制:可能需要安装特定插件来增强内容管理的功能,或者对现有的插件进行定制以满足特定需求。 4. 主题定制:选择一个适合的WordPress主题或者对现有主题进行定制,以实现所需的视觉和布局效果。 5. 后端访问安全:由于将WordPress用于管理面板,需要考虑安全性设置,如设置强密码、使用安全插件等。 值得一提的是,虽然WordPress已经内置了丰富的管理功能,但在企业级应用中,还需要考虑性能优化、安全性增强、用户权限管理等方面。此外,由于WordPress主要是作为内容发布平台设计的,将其作为管理面板可能需要一定的定制工作以确保满足特定的业务需求。 【PHP】标签意味着在实现该示例时,需要使用PHP编程语言。WordPress本身是由PHP语言开发的,因此开发者可能需要具备PHP开发能力,或至少能够理解PHP代码基础,以便对WordPress进行定制和扩展。 最后,【压缩包子文件的文件名称列表】中的"dctb-wp-as-admin-panel-master"暗示了这是一个存放所有相关文件的主目录,包括源代码、配置文件、模板文件、资源文件等,这些文件是安装和运行WordPress管理面板所必需的。在实际部署时,开发者需要上传这些文件到服务器,按照文档说明进行配置和安装。 总之,本示例提供了一个通过WordPress来搭建一个简单新闻或帖子管理系统的思路,展示了如何利用现有的开源工具来实现特定的业务需求。开发者需要有相应的PHP和WordPress知识,以及对网络安全和性能优化的基本了解。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

函数与模块化编程宝典:J750编程高效之路

![函数与模块化编程宝典:J750编程高效之路](https://github.blog/wp-content/uploads/2021/12/python-intermediate-update.png?resize=1024%2C494) 参考资源链接:[泰瑞达J750设备编程基础教程](https://wenku.csdn.net/doc/6412b472be7fbd1778d3f9e1?spm=1055.2635.3001.10343) # 1. 函数与模块化编程基础 ## 1.1 编程中的函数基础 函数是编程的基础构件,它允许将代码块组织成可重复使用的组件。在函数中封装特定的逻辑
recommend-type

用C语言求有4个圆塔,圆心分别为(2,2),(2,-2),(-2,2),(-2,-2)圆半径为1, 这4个塔的高度为10m 塔以外无建筑物接输入任意点的坐标 求该点的建筑高度(塔外的高度为零)的程序

在C语言中,你可以编写一个简单的函数来解决这个问题。首先,你需要确定每个圆是否包含了给定的点。如果包含,则返回塔高10米,如果不包含则返回0。这里提供一个基本的伪代码思路: ```c #include <stdio.h> #include <math.h> // 定义圆的结构体 typedef struct { double x, y; // 圆心坐标 int radius; // 半径 } Circle; // 函数判断点是否在圆内 int is_point_in_circle(Circle circle, double px, double py) { d
recommend-type

NPC_Generator:使用Ruby打造的游戏角色生成器

资源摘要信息:"NPC_Generator是一个专门为角色扮演游戏(RPG)或模拟类游戏设计的角色生成工具,它允许游戏开发者或者爱好者快速创建非玩家角色(NPC)并赋予它们丰富的背景故事、外观特征以及可能的行为模式。NPC_Generator的开发使用了Ruby编程语言,Ruby以其简洁的语法和强大的编程能力在脚本编写和小型项目开发中十分受欢迎。利用Ruby编写的NPC_Generator可以集成到游戏开发流程中,实现自动化生成NPC,极大地节省了手动设计每个NPC的时间和精力,提升了游戏内容的丰富性和多样性。" 知识点详细说明: 1. NPC_Generator的用途: NPC_Generator是用于游戏角色生成的工具,它能够帮助游戏设计师和玩家创建大量的非玩家角色(Non-Player Characters,简称NPC)。在RPG或模拟类游戏中,NPC是指在游戏中由计算机控制的虚拟角色,它们与玩家角色互动,为游戏世界增添真实感。 2. NPC生成的关键要素: - 角色背景故事:每个NPC都应该有自己的故事背景,这些故事可以是关于它们的过去,它们为什么会在游戏中出现,以及它们的个性和动机等。 - 外观特征:NPC的外观包括性别、年龄、种族、服装、发型等,这些特征可以由工具随机生成或者由设计师自定义。 - 行为模式:NPC的行为模式决定了它们在游戏中的行为方式,比如友好、中立或敌对,以及它们可能会执行的任务或对话。 3. Ruby编程语言的优势: - 简洁的语法:Ruby语言的语法非常接近英语,使得编写和阅读代码都变得更加容易和直观。 - 灵活性和表达性:Ruby语言提供的大量内置函数和库使得开发者可以快速实现复杂的功能。 - 开源和社区支持:Ruby是一个开源项目,有着庞大的开发者社区和丰富的学习资源,有利于项目的开发和维护。 4. 项目集成与自动化: NPC_Generator的自动化特性意味着它可以与游戏引擎或开发环境集成,为游戏提供即时的角色生成服务。自动化不仅可以提高生成NPC的效率,还可以确保游戏中每个NPC都具备独特的特性,使游戏世界更加多元和真实。 5. 游戏开发的影响: NPC_Generator的引入对游戏开发产生以下影响: - 提高效率:通过自动化的角色生成,游戏开发团队可以节约大量时间和资源,专注于游戏设计的其他方面。 - 增加多样性:自动化的工具可以根据不同的参数生成大量不同的NPC,为游戏世界带来更多的故事线和交互可能性。 - 玩家体验:丰富的NPC角色能够提升玩家的沉浸感,使得玩家在游戏中的体验更加真实和有吸引力。 6. Ruby在游戏开发中的应用: 虽然Ruby不是游戏开发中最常用的编程语言,但其在小型项目、原型设计、脚本编写等领域有其独特的优势。一些游戏开发工具和框架支持Ruby,如Ruby on Rails可以在Web游戏开发中发挥作用,而一些游戏开发社区也在探索Ruby的更多潜力。 7. NPC_Generator的扩展性和维护: 为了确保NPC_Generator能够长期有效地工作,它需要具备良好的扩展性和维护性。这意味着工具应该支持插件或模块的添加,允许社区贡献新功能,并且代码应该易于阅读和修改,以便于未来的升级和优化。 综上所述,NPC_Generator是一款利用Ruby编程语言开发的高效角色生成工具,它不仅提高了游戏开发的效率,而且通过提供丰富多样的NPC角色增加了游戏的深度和吸引力。随着游戏开发的不断发展,此类自动化工具将变得更加重要,而Ruby作为一种支持快速开发的编程语言,在这一领域有着重要的应用前景。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依
recommend-type

流程控制与循环结构详解:J750编程逻辑构建指南

![流程控制与循环结构详解:J750编程逻辑构建指南](https://d1g9li960vagp7.cloudfront.net/wp-content/uploads/2018/10/While-Schleife_WP_04-1024x576.png) 参考资源链接:[泰瑞达J750设备编程基础教程](https://wenku.csdn.net/doc/6412b472be7fbd1778d3f9e1?spm=1055.2635.3001.10343) # 1. 流程控制与循环结构的编程基础 编程中,流程控制和循环结构是构建有效程序逻辑的核心元素。本章将带你从基础概念出发,逐步深入理解
recommend-type

python实现生成一个窗口,其窗口题目为“二冷配水模型模型”,窗口中包含八个输入栏,三个按钮,每个按钮点击后会产生一个不同的页面

在Python中,尤其是使用Tkinter库可以方便地创建图形用户界面(GUI)。为了实现你所描述的功能,我们可以创建一个简单的窗口,并添加相应的组件。以下是一个基本的例子: ```python import tkinter as tk def button_click_1(): # 这里可以编写打开新页面的逻辑,这里仅作示例 new_window = tk.Toplevel() new_window.title("新页面1") # 添加其他元素到新窗口... def button_click_2(): new_window = tk.Toplev