Python实现的随机森林算法与简单总结实现的随机森林算法与简单总结
本文实例讲述了Python实现的随机森林算法。分享给大家供大家参考，具体如下：
随机森林是数据挖掘中非常常用的分类预测算法，以分类或回归的决策树为基分类器。算法的一些基本要点：
*对大小为m的数据集进行样本量同样为m的有放回抽样；
*对K个特征进行随机抽样，形成特征的子集，样本量的确定方法可以有平方根、自然对数等；
*每棵树完全生成，不进行剪枝；
*每个样本的预测结果由每棵树的预测投票生成（回归的时候，即各棵树的叶节点的平均）
著名的python机器学习包scikit learn的文档对此算法有比较详尽的介绍: http://scikit-
learn.org/stable/modules/ensemble.html#random-forests
出于个人研究和测试的目的，基于经典的Kaggle 101泰坦尼克号乘客的数据集，建立模型并进行评估。比赛页面及相关数据
集的下载：https://www.kaggle.com/c/titanic
泰坦尼克号的沉没，是历史上非常著名的海难。突然感到，自己面对的不再是冷冰冰的数据，而是用数据挖掘的方法，去研究
具体的历史问题，也是饶有兴趣。言归正传，模型的主要的目标，是希望根据每个乘客的一系列特征，如性别、年龄、舱位、
上船地点等，对其是否能生还进行预测，是非常典型的二分类预测问题。数据集的字段名及实例如下：
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked
1 0 3 Braund, Mr. Owen Harris male 22 1 0 A/5 21171 7.25 S
2 1 1
Cumings, Mrs. John Bradley
(Florence Briggs Thayer)
female 38 1 0 PC 17599 71.2833 C85 C
3 1 3 Heikkinen, Miss. Laina female 26 0 0
STON/O2.
3101282
7.925 S
4 1 1
Futrelle, Mrs. Jacques Heath
(Lily May Peel)
female 35 1 0 113803 53.1 C123 S
5 0 3 Allen, Mr. William Henry male 35 0 0 373450 8.05 S
值得说明的是，SibSp是指sister brother spouse，即某个乘客随行的兄弟姐妹、丈夫、妻子的人数，Parch指parents,children
下面给出整个数据处理及建模过程，基于ubuntu+python 3.4（ anaconda科学计算环境已经集成一系列常用包，pandas
numpy sklearn等，这里强烈推荐）
懒得切换输入法，写的时候主要的注释都是英文，中文的注释是后来补充的:-)
# -*- coding: utf-8 -*-
"""
@author: kim
"""
from model import *＃载入基分类器的代码
#ETL:same procedure to training set and test set
training=pd.read_csv('train.csv',index_col=0)
test=pd.read_csv('test.csv',index_col=0)
SexCode=pd.DataFrame([1,0],index=['female','male'],columns=['Sexcode']) ＃将性别转化为０１
training=training.join(SexCode,how='left',on=training.Sex)
training=training.drop(['Name','Ticket','Embarked','Cabin','Sex'],axis=1)＃删去几个不参与建模的变量，包括姓名、船票号，船舱号
test=test.join(SexCode,how='left',on=test.Sex)
test=test.drop(['Name','Ticket','Embarked','Cabin','Sex'],axis=1)
print('ETL IS DONE!')
#MODEL FITTING
#===============PARAMETER AJUSTMENT============
min_leaf=1
min_dec_gini=0.0001
n_trees=5
n_fea=int(math.sqrt(len(training.columns)-1))
#==============================================
'''''
BEST SCORE:0.83
min_leaf=30
min_dec_gini=0.001
n_trees=20
'''
#ESSEMBLE BY RANDOM FOREST
FOREST={}
tmp=list(training.columns)
tmp.pop(tmp.index('Survived'))
feaList=pd.Series(tmp)
for t in range(n_trees):
# fea=[] feasample=feaList.sample(n=n_fea,replace=False)#select feature
评论0