基于python等频分箱qcut问题的解决_python用箱平均值平滑 - CSDN文库

99 浏览量更新于2023-05-11 评论收藏 44KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

基于基于python 等频分箱等频分箱qcut问题的解决问题的解决

主要介绍了基于python 等频分箱qcut问题的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在python 较新的版本中，pandas.qcut()这个函数中是有duplicates这个参数的，它能解决在等频分箱中遇到的重复值过多引起报错的问题；

在比较旧版本的在比较旧版本的python中，提供一下解决办法：中，提供一下解决办法：

import pandas as pd

def pct_rank_qcut(series, n):

'''

series：要分箱的列

n：箱子数

'''

edages = pd.series([i/n for i in range(n)] # 转换成百分比

func = lambda x: (edages >= x).argmax() #函数：(edages >= x)返回fasle/true列表中第一次出现true的索引值

return series.rank(pct=1).astype(float).apply(func) #series.rank(pct=1)每个值对应的百分位数，最终返回对应的组数;rank()函数传入的数据类型若为object，结果会有问题，因此进行了astype

补充拓展：补充拓展：Python数据离散化数据离散化:等宽及等频等宽及等频

在处理数据时，我们往往需要将连续性变量进行离散化，最常用的方式便是等宽离散化，等频离散化，在此处我们讨论离散化的概念，只给出在python中

的实现以供参考

1. 等宽离散化等宽离散化

使用pandas中的cut()函数进行划分

import numpy as np

import pandas as pd

# Discretization: Equal Width #

# Datas: Sample * Feature

def Discretization_EqualWidth(K, Datas, FeatureNumber):

DisDatas = np.zeros_like(Datas)

for i in range(FeatureNumber):

DisOneFeature = pd.cut(Datas[:, i], K, labels=range(1, K+1))

DisDatas[:, i] = DisOneFeature

return DisDatas

2. 等频离散化等频离散化

pandas中有qcut()可以使用，但是边界易出现重复值，如果为了删除重复值设置 duplicates=‘drop'，则易出现于分片个数少于指定个数的问题，因此在此处

不使用qcut()

import numpy as np

import pandas as pd

# Discretization: Equal Frequency #

# vector: single feature

def Rank_qcut(vector, K):

quantile = np.array([float(i) / K for i in range(K + 1)]) # Quantile: K+1 values

funBounder = lambda x: (quantile >= x).argmax()

return vector.rank(pct=True).apply(funBounder)

# Discretization: Equal Frequency #

# Datas: Sample * Feature

def Discretization_EqualFrequency(K, Datas, FeatureNumber):

DisDatas = np.zeros_like(Datas)

w = [float(i) / K for i in range(K + 1)]

for i in range(FeatureNumber):

DisOneFeature = Rank_qcut(pd.Series(Datas[:, i]), K)

#print(DisOneFeature)

DisDatas[:, i] = DisOneFeature

return DisDatas

以上这篇基于python 等频分箱qcut问题的解决就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论0

weixin_38558186

粉丝: 4
资源: 879

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈