数据处理，数据分析，特征处理

基本数据分析

1 stats=[]

2 forcolintrain.columns:

3 stats.append((col,train[col].nunique(),train[col].isnull().sum()*100/train.shape[0],t

rain[col].value_counts(normalize=True,dropna=False).values[0]*100,train[col].dtype))

4

5 stats_df=pd.DataFrame(stats,columns=['Feature','Unique_values','Percentageofmissingva

一般来说可以用均值填充，众数填充，中位数填充等多种填充方法。

2 

3 plt.figure(figsize=(8,6))

4 plt.scatter(range(train.shape[0]),np.sort(train[target_col].values))

5 plt.xlabel('index',fontsize=12)

6 plt.ylabel('yield',fontsize=12)

7 plt.show()

模仿操作代码

（2）

数据的模型化

将训练数据和测试数据的feature数据分布图像画出来进行分析

1 #Explorefeaturedistibution

2 #fig=plt.figure(figsize=(6,6))

3 forcolumnindata_all.columns[0:‐2]:

4 g=sns.kdeplot(data_all[column][(data_all["oringin"]=="train")],color="Red",shade=Tru

e)

结果图：

结果图：

1 fig=plt.figure(figsize=(10,10))

2 foriinrange(len(data_all.columns)‐2):

3 g=sns.FacetGrid(data_all,col='oringin')

4 g=g.map(sns.distplot,data_all.columns[i])

结果图：

从而可以适当的删除那些训练集合测试集数据分布不一致的feature

（6）观察feature数据的散点图和数据分布图

结果图：