常见的spark高级算子有哪些，分别举例5个并说明其用法？

Apache Spark 提供了许多高级算子，这些算子允许开发者在分布式环境下高效地处理数据。以下是Spark中常见的五个高级算子及其简单用法：

1. **Map**: 这是一个一对一转换操作，对每个输入元素应用给定的函数生成新的元素。例如：

   val words = Seq("Hello", "World")
   val mappedWords = words.map(word => word.toUpperCase) // 输出 ["HELLO", "WORLD"]

2. **Reduce**: 将一系列值通过指定的函数合并成单个值，通常用于求和、求平均或其他聚合操作。如：

   val numbers = Array(1, 2, 3, 4, 5)
   val sum = numbers.reduce(_ + _) // 输出 15

3. **Filter**: 根据给定的条件筛选出数据集中的元素。比如：

   val numbers = (0 to 10).toList
   val evenNumbers = numbers.filter(_ % 2 == 0) // 输出 [0, 2, 4, 6, 8, 10]

4. **Join**: 合并两个数据集，基于特定键关联它们的数据。例如：

   val df1 = spark.createDataFrame(Seq(("Alice", 1), ("Bob", 2)), "name age")
   val df2 = spark.createDataFrame(Seq(("Alice", 99), ("Charlie", 33)), "name score")
   val joinedDF = df1.join(df2, Seq("name")) // 结果包括 name, age 对应的 score

5. **Union**: 汇总两个或更多数据集，返回不包含重复元素的新数据集。示例：

   val df1 = Seq(("A", 1), ("B", 2)).toDF("letter", "number")
   val df2 = Seq(("A", 3), ("C", 4)).toDF("letter", "number")
   val unionDF = df1.union(df2) // 返回 [(A, 1), (B, 2), (A, 3), (C, 4)]