Spark根据Key多目录多文件输出

Spark可以使用`partitionBy()`方法来按照指定的Key对数据进行分区，然后将每个分区输出到不同的目录或文件中。具体步骤如下：

1. 使用`groupBy()`方法按照指定的Key进行分组，然后使用`partitionBy()`方法按照同样的Key进行分区。

val data = Seq(("apple", 2), ("banana", 3), ("orange", 4), ("apple", 5), ("banana", 6))
val rdd = spark.sparkContext.parallelize(data)
val df = rdd.toDF("fruit", "count")
val grouped = df.groupBy("fruit").agg(sum("count").as("total_count"))
val partitioned = grouped.repartition(col("fruit"))

2. 使用`write.partitionBy()`方法将数据按照分区写入到指定的目录或文件中。可以使用`save()`方法或者`insertInto()`方法来执行写入操作。

partitioned.write.partitionBy("fruit").parquet("output_dir")

这样会生成多个目录，每个目录的名称为分区键的值，目录中包含该分区键值相应的数据文件。例如，使用上面的示例数据，生成的目录结构如下：

output_dir/
|-- fruit=apple/
|   |-- part-00000-12345678-abcdefg.snappy.parquet
|-- fruit=banana/
|   |-- part-00000-12345678-abcdefg.snappy.parquet
|-- fruit=orange/
|   |-- part-00000-12345678-abcdefg.snappy.parquet

其中，`part-00000-12345678-abcdefg.snappy.parquet`是数据文件的名称，具体的名称会根据具体的存储格式和压缩方式而有所变化。