参考上课讲授内容,使用 pandas 库读入一个数据文件 atacs DataFrame 对象展示内容如下所示: 01.012.0 3.0 Mick é y Mous é56.0 Donald Duck 34.0 Mini Mouse 16.0 4.0 Scrooge McDuck NaN 5.0 Pink Panther 54.0 6.0 Huey McDuck 52.0 67.0 Dewey McDuck 19.078.0 Scoopy Doo 32.0 8 NaN NaN NaN 9.0 Huey McDuck 52.0 1010.0 Louie McDuck 12.0 2 70kgs726971 154.89lbs NaN 78kgs 198.658lbs 189lbs 56kgs 78kgs NaN NaN NaN NaN NaN NaN NaN 189lbs 687572 45kgs 95 87 85 65 8476 69 72 7879 69NaN75687572 717875 787675 这是一家服装店统计的会员数据。最上面的行是列坐标,最左侧一列是行坐标。列坐标中,第0列代表的是序号,第1列代表的会员的姓名,第2列代表年龄,第3列代表体重,第4~6列代表男性会员的三围尺寸,第7~9列代表女性会员的三围尺寸。 (1)删除值全为 Nan 的行,删除序号列。(2)对 df 对象进行列索引标识。 (3)年龄中的 Nan 值用年龄的均值替换。 (4)将体重列中单位为 kgs 的数据全部变换成单位为 lbs 的数据(1kgs=2.21bs),再去除1bs后缀。 (5)将体重列中 Nan 值用体重的均值替换。 (6)剔除会员姓名列中的异常字符,再将会员的姓名划分为姓和名两列。 (7)将女性会员的腰围列中的 nan 用女性腰围的均值替换。 (8)在 df 对象中增加一个性别列,男性值为"1",女性值为"0"。
时间: 2024-02-22 18:55:08 浏览: 179
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
5星 · 资源好评率100%
以下是针对这个问题的代码实现及解释。
```python
import pandas as pd
# 读取数据文件
df = pd.read_csv('file.csv', header=None)
# 删除值全为 Nan 的行,删除序号列
df = df.dropna(how='all').iloc[:, 1:]
# 对 df 对象进行列索引标识
columns = ['姓名', '年龄', '体重', '男性胸围', '男性腰围', '男性臀围', '女性胸围', '女性腰围', '女性臀围']
df.columns = columns
# 年龄中的 Nan 值用年龄的均值替换
df['年龄'] = df['年龄'].fillna(df['年龄'].mean())
# 将体重列中单位为 kgs 的数据全部变换成单位为 lbs 的数据(1kgs=2.21bs),再去除1bs后缀
df['体重'] = df['体重'].apply(lambda x: x.replace('kgs', '') if isinstance(x, str) else x)
df['体重'] = df['体重'].apply(lambda x: float(x)*2.2046 if isinstance(x, str) else x)
df['体重'] = df['体重'].apply(lambda x: str(int(x)) if isinstance(x, float) else x)
# 将体重列中 Nan 值用体重的均值替换
df['体重'] = df['体重'].apply(lambda x: float(x) if isinstance(x, str) else x)
df['体重'] = df['体重'].fillna(df['体重'].mean())
df['体重'] = df['体重'].apply(lambda x: str(int(x)) if isinstance(x, float) else x)
# 剔除会员姓名列中的异常字符,再将会员的姓名划分为姓和名两列
df['姓名'] = df['姓名'].apply(lambda x: ''.join(filter(str.isalpha, x)))
df['姓'] = df['姓名'].apply(lambda x: x[0])
df['名'] = df['姓名'].apply(lambda x: x[1:])
# 将女性会员的腰围列中的 nan 用女性腰围的均值替换
avg_female_waist = df['女性腰围'].mean()
df['女性腰围'] = df['女性腰围'].fillna(avg_female_waist)
# 在 df 对象中增加一个性别列,男性值为"1",女性值为"0"
df['性别'] = df.apply(lambda x: 1 if x['男性胸围'] else 0, axis=1)
# 打印处理后的 DataFrame 对象
print(df)
```
代码实现的具体解释如下:
- 第1行:导入 pandas 库。
- 第3行:使用 pandas 库的 `read_csv()` 函数读取数据文件,`header=None` 参数表示数据文件中没有列名,因此需要手动添加列名。
- 第6行:使用 pandas 库的 `dropna()` 函数删除值全为 Nan 的行,`iloc[:, 1:]` 表示删除序号列。
- 第9行:使用 `columns` 列表存储数据文件中的列名,并使用 `columns` 列表为 DataFrame 对象添加列索引标识。
- 第12行:使用 DataFrame 对象的 `fillna()` 函数将年龄中的 Nan 值用年龄的均值替换。
- 第16行:使用 DataFrame 对象的 `apply()` 函数和 `lambda` 表达式将体重列中单位为 kgs 的数据全部变换成单位为 lbs 的数据(1kgs=2.21bs),再去除1bs后缀。
- 第21行:使用 DataFrame 对象的 `fillna()` 函数将体重列中 Nan 值用体重的均值替换。
- 第22行:使用 DataFrame 对象的 `apply()` 函数和 `lambda` 表达式将体重列中的浮点数转换为整型,并转换为字符串类型。
- 第27行:使用 DataFrame 对象的 `apply()` 函数和 `lambda` 表达式剔除会员姓名列中的异常字符,只保留姓名中的字母。
- 第28行:使用 DataFrame 对象的 `apply()` 函数和 `lambda` 表达式将会员的姓名划分为姓和名两列。
- 第31行:使用 DataFrame 对象的 `mean()` 函数计算女性腰围的均值,并将其存储在 `avg_female_waist` 变量中。
- 第32行:使用 DataFrame 对象的 `fillna()` 函数将女性会员的腰围列中的 nan 用女性腰围的均值替换。
- 第35行:使用 DataFrame 对象的 `apply()` 函数和 `lambda` 表达式在 df 对象中增加一个性别列,男性值为"1",女性值为"0"。
- 第38行:使用 `print()` 函数打印处理后的 DataFrame 对象。
阅读全文