pd.get_dummies(df,drop_first = True)
时间: 2024-05-21 17:15:21 浏览: 173
这是一个 pandas 库中的函数,用于将数据框中的分类变量转换为哑变量(dummy variables)。
参数中的 df 是需要转换的数据框,drop_first = True 表示需要删除第一个哑变量列,以避免多重共线性问题。
举个例子,如果有一个数据框 df 包含一个名为 color 的分类变量,其中包括红、绿、蓝三种颜色,那么 pd.get_dummies(df,drop_first = True) 将会生成以下三列哑变量:
- color_绿
- color_蓝
这些列将代替原来的 color 列。这种方法可以在机器学习建模中用来处理分类变量。
相关问题
pd.get_dummies用法
`pd.get_dummies()` 是 Pandas 库中的一个函数,用于将分类变量转换为哑变量(dummy variable),也称为指示变量(indicator variable)。
函数的语法为:
```python
pd.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=None)
```
其中,参数含义如下:
- `data`:要进行哑变量转换的 DataFrame 或 Series。
- `prefix`:新列名的前缀。
- `prefix_sep`:新列名前缀与分类名称之间的分隔符。
- `dummy_na`:是否为缺失值创建一个哑变量列。
- `columns`:要进行哑变量转换的列名列表,如果未指定,则将所有分类变量转换为哑变量。
- `sparse`:是否使用稀疏矩阵表示哑变量。
- `drop_first`:是否删除每个分类变量的第一个级别以避免共线性。
- `dtype`:哑变量的数据类型。
举个例子,如果有如下一个 DataFrame:
```python
import pandas as pd
df = pd.DataFrame({'A': ['x', 'y', 'z', 'x'], 'B': ['p', 'q', 'r', 'q']})
print(df)
```
输出:
```
A B
0 x p
1 y q
2 z r
3 x q
```
使用 `pd.get_dummies()` 将分类变量转换为哑变量:
```python
dummies = pd.get_dummies(df)
print(dummies)
```
输出:
```
A_x A_y A_z B_p B_q B_r
0 1 0 0 1 0 0
1 0 1 0 0 1 0
2 0 0 1 0 0 1
3 1 0 0 0 1 0
```
可以看到,`pd.get_dummies()` 将原始的 DataFrame 按照每个分类变量的取值转换为了哑变量。新列名的前缀为分类变量的名称,前缀和分类名称之间的分隔符默认为下划线。如果分类变量取值中存在缺失值,可以通过设置 `dummy_na=True` 创建一个哑变量列来表示缺失值。如果想要对指定列进行哑变量转换,可以通过设置 `columns` 参数来实现。如果想要使用稀疏矩阵表示哑变量,可以将 `sparse=True`。如果想要删除每个分类变量的第一个级别以避免共线性,可以将 `drop_first=True`。
import numpy as np import pandas as pd import matplotlib.pyplot as plt from decision_tree_classifier import DecisionTreeClassifier from random_forest_classifier import RandomForestClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score #读取数据 df = pd.read_csv('adult.csv',encoding='gbk') df.head() col_names=['age','workclass','fnlwgt','education','educational-num','marital-status','occupation','relationship','race','gender','capital-gain','capital-loss','hours-per-week','native-country','income'] df.columns = col_names categorical = ['workclass','education','marital-status','occupation','relationship','race','gender','native-country','income'] # print(f'分类特征:\n{categorical}') # for var in categorical: # print(df[var].value_counts()) #缺失值处理 df['occupation'].replace('?', np.NaN, inplace=True) df['workclass'].replace('?', np.NaN, inplace=True) df['native-country'].replace('?', np.NaN, inplace=True) df.isnull().sum() df['income'].value_counts() plt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] df.isnull().sum() df['workclass'].fillna(df['workclass'].mode()[0], inplace=True) df['occupation'].fillna(df['occupation'].mode()[0], inplace=True) df['native-country'].fillna(df['native-country'].mode()[0], inplace=True) df = pd.get_dummies(df,columns=categorical,drop_first=True) print(df.head()) y = df.loc[:,'income_>50K'] X = np.array(df.loc[:,['age', 'educational-num', 'hours-per-week']]) y = np.array(y) x = np.array(X) y = y.reshape(-1,1) X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state=1234) from sklearn.ensemble import RandomForestClassifier rtree = RandomForestClassifier(n_estimators=100,max_depth=5,max_features=0.2,max_samples=50,random_state=1234) X_train = np.array(X_train) rtree.fit(X_train, y_train) X_test = np.array(X_test) y_pred = rtree.predict(X_test) accuracy = accuracy_score(y_test,y_pred) print("accuracy={}".format((accuracy)))我这个代码如何更换特征向量
如果想更换特征向量,只需要修改以下代码段:
```
X = np.array(df.loc[:,['age', 'educational-num', 'hours-per-week']])
y = np.array(y)
```
将 `['age', 'educational-num', 'hours-per-week']` 替换为你想要的特征向量即可。注意要保证特征向量的格式正确,即为一个列表形式。另外,如果更换特征向量后发现模型表现不佳,可以再考虑增加或减少特征,或者对特征进行预处理等操作。
阅读全文