spark转换操作方法

Spark 提供了一套强大的数据转换（Transformation）操作，它们允许你在分布式环境下对数据集进行各种操作，例如筛选（filter）、映射（map）、聚合（reduceByKey）等，这些都是DataFrame和RDD（弹性分布式数据集）的核心功能。

1. **筛选（Filtering）**：`filter()`方法用于从数据集中选择满足特定条件的行。它接受一个函数作为参数，该函数返回一个布尔值，如果为真，则保留该行。

2. **映射（Mapping）**：`map()`方法将每个元素应用一个用户提供的函数，生成一个新的数据集。这可以用来改变数据的结构或者计算新的属性。

3. **聚合（Aggregation）**：`reduceByKey()`或`aggregate()`方法用于对数据按键分组，然后对每个组内的值应用一个累积函数，如求和、平均等。还有其他类似的操作，比如`groupby()`用于创建分区，`countByValue()`用于计数每个值的数量。

4. **联合（Joins）**：`join()`用于合并两个数据集基于某个共同的字段，如INNER JOIN、LEFT JOIN等。

5. **分区和排序（Partitioning and Sorting）**：`repartition()`用于调整数据集的分区数目，`sortBy()`用于对数据进行排序。

6. **扁平化（Flattening）**：`flatMap()`方法可以对每个元素展开成零个或多个新元素，常用于处理数组或序列。