import scorecardpy as sc import pandas as pd import numpy as np # 读取数据文件 df= pd.read_csv('D:\二次营销响应模型样本数据20230605.csv') def Calculate_IV(df,goal): ''' :param df: 要进行计算iv值的数据集 :param goal: 目标变量,取值0和1 :return:所有变量的woe、iv值详情信息 ''' features = list(df.columns) features.remove(goal) #把目标变量去掉,不参与变量的woe和iv计算 good,bad = df[goal].value_counts() #好坏标签,0代表好,1代表坏 Tab = pd.DataFrame() #接收每个变量的计算结果 for feature in features: dataset = df[[feature,goal]] table = pd.pivot_table(dataset,index=[feature],columns=[goal],aggfunc=np.alen, margins=True).fillna(0) table = pd.DataFrame(table) #每个特征分箱的好坏客户分组计数 table['bad%'] = table[1]/table['All'] #坏客户(标签为1)的占比 table['woe'] = np.log((table[0]*bad)/(table[1]*good)) #计算woe table['miv'] = table['woe']*(table[0]/good - table[1]/bad) #计算miv table['IV'] = table['miv'].sum() #计算IV table.insert(0,column='bining', value=table.index) table.insert(0,column='variable', value=feature) Tab = pd.concat([Tab,table]) Tab = Tab.round(decimals=4) return Tab
时间: 2024-04-06 18:34:53 浏览: 188
解决pandas使用read_csv()读取文件遇到的问题
这段代码的功能是计算数据集中每个变量的信息值(IV)。其中,函数 Calculate_IV 接收两个参数,一个是数据集 df,另一个是目标变量 goal,函数返回一个包含所有变量的woe、iv值详情信息的 Pandas DataFrame 对象 Tab。
在函数 Calculate_IV 中,首先获取变量名称列表 features,并将目标变量 goal 从中删除,然后统计好坏标签的数量,即 good 和 bad。接着,对于每个特征 feature,获取包含该特征和目标变量的子集,然后对子集进行透视,计算每个特征分箱的好坏客户分组计数,得到一个表格 table。
接下来,表格 table 中新增一列 bad%,表示坏客户(标签为1)的占比。然后,计算每个分箱的 woe 值、miv 值和 IV 值,并将这些值添加到表格 table 中。最后,将表格 table 中的变量名称和分箱名称作为新列插入表格 table 的最前面,然后将表格 table 连接到最终结果表格 Tab 中。最后,返回结果表格 Tab。
最后,对于读取数据文件,需要检查文件路径是否正确,并且需要确保数据集中存在目标变量列。
阅读全文