python数据清洗代码演示

好的，以下是一个用Python进行数据清洗的简单示例：

假设我们有一个包含一些脏数据的CSV文件，我们需要清洗数据并将其保存为一个新的CSV文件。示例数据如下：

name,age,gender
John,25,M
Emily,32,F
Mike,,M
,,F
Samantha,40,F

我们可以编写以下代码来清洗数据：

import csv

# 打开文件
with open('dirty_data.csv', 'r') as input_file:
    # 读取CSV文件
    reader = csv.DictReader(input_file)

    # 创建一个字典列表来保存清洗后的数据
    cleaned_data = []

    # 遍历每一行数据
    for row in reader:
        # 检查数据是否合法
        if row['age'] and row['gender']:
            # 如果数据合法，添加到清洗后的数据列表中
            cleaned_data.append(row)

# 保存清洗后的数据为一个新的CSV文件
with open('cleaned_data.csv', 'w', newline='') as output_file:
    # 定义CSV文件的列名
    fieldnames = ['name', 'age', 'gender']

    # 创建一个CSV写入器
    writer = csv.DictWriter(output_file, fieldnames=fieldnames)

    # 写入列名
    writer.writeheader()

    # 遍历清洗后的数据列表并写入文件
    for row in cleaned_data:
        writer.writerow(row)

以上代码会打开存储脏数据的CSV文件，遍历每一行数据，检查数据是否合法，然后将合法数据保存到一个新的字典列表中。最后，使用CSV写入器将清洗后的数据写入到一个新的CSV文件中。