pycharm进行数据清洗的完整代码
时间: 2023-10-18 16:20:35 浏览: 441
pyCharm安装与配置.doc(python数据分析系列02)
5星 · 资源好评率100%
数据清洗的代码因数据类型、清洗需求等不同而异,下面是一个简单的数据清洗示例,供参考:
```python
import pandas as pd
# 读取数据
data = pd.read_csv('data.csv')
# 删除重复行
data.drop_duplicates(inplace=True)
# 删除缺失值
data.dropna(inplace=True)
# 去除无用列
data.drop(['id', 'name'], axis=1, inplace=True)
# 修改列名
data.rename(columns={'age': 'age_group'}, inplace=True)
# 修改数据类型
data['age_group'] = data['age_group'].astype('category')
# 去除异常值
data = data[(data['income'] > 0) & (data['income'] < 1000000)]
# 保存清洗后的数据
data.to_csv('cleaned_data.csv', index=False)
```
以上代码包括了常见的数据清洗步骤,包括删除重复行、删除缺失值、去除无用列、修改列名、修改数据类型和去除异常值等。根据实际数据情况,可以添加或修改清洗步骤。
阅读全文