spark数据预处理代码

Apache Spark是一个强大的大数据处理框架，其在数据预处理阶段提供了丰富的工具和API。在Spark中，数据预处理主要包括数据清洗、转换、整合等步骤。以下是一个简单的例子，展示如何使用Spark进行数据预处理：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.appName("DataPreprocessing").getOrCreate()

# 假设你有一个DataFrame，名为df，包含原始数据
raw_df = spark.read.format("csv") \
        .option("header", "true") \
        .option("inferSchema", "true") \
        .load("path_to_your_data.csv")

# 数据清洗（去除缺失值）
cleaned_df = raw_df.dropna()  # 删除含有缺失值的行
# 或者用fillna方法填充缺失值
# cleaned_df = raw_df.na.fill(value_to_fill)

# 数据转换
# 示例：将字符串类型转换为日期类型
cleaned_df = cleaned_df.withColumn("date_column", 
                                   F.to_date(cleaned_df["date_column"], "yyyy-MM-dd"))

# 数据整合（如有多个数据源）
merged_df = cleaned_df.union(other_cleaned_df)  # 合并两个DataFrame

# 将DataFrame写入文件或数据库
cleaned_df.write.format("parquet") \
    .save("output_path.parquet")  # 以Parquet格式保存结果

# 释放资源
spark.stop()