去除一列空值大于80%的列

在数据分析或数据清洗过程中，如果某列的缺失值占比超过80%，通常意味着该列的信息量非常有限，可能对后续分析造成较大影响。要去除这样的列，你可以按照以下步骤操作：

1. **计算缺失值比例**：首先，使用编程语言如Python（Pandas库）或R（dplyr包）计算每列的空值占比。

import pandas as pd
df_null_counts = df.isnull().sum() / df.shape[0]

2. **筛选条件**：确定阈值为80%，即所有占比超过这个数值的列。

highly_missing_columns = df_null_counts[df_null_counts > 0.8].index.tolist()

3. **删除列**：基于筛选出的结果，从原始DataFrame中删除这些列。

df = df.drop(columns=highly_missing_columns)

4. **验证结果**：最后检查处理后的数据，确认已无空值占比超过80%的列。

print(df.info())

相关问题

1.现有一个职业人群体检数据testdata.xls文件，请完成以下数据分析任务。 （1）用read_excel()方法读取testdata.xls文件到变量df中。 （2）用df.dtypes查看每列的数据类型。 （3）用df.info()查看表结构。 （4）用isnull().sum()统计各字段空缺值。 （5）用dropna()方法删除全为空的列。 （6）用dropna()方法删除“身份证号”为空的行，并用isnull().sum()再次统计空值。 （7）将“开始从事某工作年份：2009年”中的“年”去掉，并用rename()将列名改为“参加工作时间”。将“体检年份：2009年”中的“年”去掉。 （8）用dropna()方法删除“参加工作时间”、“体检年份”为空的行. （9）用astype()方法将“参加工作时间”、“体检年份”数据类型改为int64. （10）增加一列“工龄”，工龄=体检年份-参加工作时间；新增一列“年龄” （11）用groupby()统计不同性别的白细胞计数均值，并用plot()方法绘制柱状图 （12）统计不同年龄段的白细胞计数，并绘制柱状图。年龄划分：小于等于30岁，31~40岁，41~50岁，大于50岁

以下是对应的Python代码：

# （1）读取testdata.xls文件到变量df中
import pandas as pd

df = pd.read_excel('testdata.xls')

# （2）查看每列的数据类型
print(df.dtypes)

# （3）查看表结构
print(df.info())

# （4）统计各字段空缺值
print(df.isnull().sum())

# （5）删除全为空的列
df.dropna(axis=1, how='all', inplace=True)

# （6）删除“身份证号”为空的行，并再次统计空值
df.dropna(subset=['身份证号'], inplace=True)
print(df.isnull().sum())

# （7）将“开始从事某工作年份：2009年”中的“年”去掉，并将列名改为“参加工作时间”；
# 将“体检年份：2009年”中的“年”去掉
df.rename(columns={'开始从事某工作年份：2009年': '参加工作时间', '体检年份：2009年': '体检年份'}, inplace=True)
df['参加工作时间'] = df['参加工作时间'].str.replace('年', '')
df['体检年份'] = df['体检年份'].str.replace('年', '')

# （8）删除“参加工作时间”、“体检年份”为空的行
df.dropna(subset=['参加工作时间', '体检年份'], inplace=True)

# （9）将“参加工作时间”、“体检年份”数据类型改为int64
df['参加工作时间'] = df['参加工作时间'].astype('int64')
df['体检年份'] = df['体检年份'].astype('int64')

# （10）增加一列“工龄”，工龄=体检年份-参加工作时间；新增一列“年龄”
df['工龄'] = df['体检年份'] - df['参加工作时间']
df['年龄'] = df['出生年'].apply(lambda x: 2021 - x)

# （11）统计不同性别的白细胞计数均值，并用plot()方法绘制柱状图
df.groupby('性别')['白细胞计数'].mean().plot(kind='bar')

# （12）统计不同年龄段的白细胞计数，并绘制柱状图。年龄划分：小于等于30岁，31~40岁，41~50岁，大于50岁
bins = [0, 30, 40, 50, 100]
labels = ['<=30', '31~40', '41~50', '>50']
df['年龄段'] = pd.cut(df['年龄'], bins=bins, labels=labels)
df.groupby('年龄段')['白细胞计数'].mean().plot(kind='bar')

我如何查看full中Age列中非空列与指定其他列的corr

如果你想查看 `full` 数据框中 `Age` 列与其它列之间的非空值相关性（即去掉了缺失值后的关联度），你可以按照以下步骤操作：

1. 首先，过滤出 `Age` 列中有值的数据行。可以使用 `pandas` 的 `dropna()` 函数或者条件筛选，例如：

   non_empty_df = full[full['Age'].notnull()]

2. 然后选择 `Age` 列与其他你想计算相关性的列（假设是 `column_name`）。如果有多列，可以将它们放在列表里：

   cols_to_correlate = ['column_name', 'other_column_name', ...]

3. 使用 `DataFrame.corr()` 函数计算相关系数矩阵。传入 `'age'` 作为 `Age` 列的别名，因为之前我们处理的是 `Age` 列的非空部分：

   corr_matrix = non_empty_df[['age'] + cols_to_correlate].corr()

这将会返回一个对角线为1的矩阵，其中 `corr_matrix.loc['age', cols_to_correlate]` 子矩阵包含 `Age` 与其他列的相关系数。

4. 可能还需要调整输出格式，例如只保留绝对值大于某个阈值的部分，或者按降序排列：

   correlation_results = corr_matrix.abs().sort_values('age', ascending=False)

5. 最后，你可以打印整个结果，或者仅仅输出 `Age` 列与特定列的对应值：

   print(correlation_results['age'])