spark的共享变量的基本原理和用途

Spark的共享变量包括广播变量和累加器。默认情况下，如果在一个算子的函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中，此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是做不到的。因此，Spark提供了两种共享变量，一种是Broadcast Variable（广播变量），另一种是Accumulator（累加变量）。

广播变量会将用到的变量仅仅为每个节点拷贝一份，即每个Executor拷贝一份，更大的用途是优化性能，减少网络传输以及内存损耗。广播变量适用于只读的数据，例如配置信息、字典等。广播变量的使用方法如下：

# 定义广播变量
broadcastVar = sc.broadcast([1, 2, 3])

# 在算子中使用广播变量
rdd.map(lambda x: x + broadcastVar.value)

累加器则可以让多个task共同操作一份变量，主要可以进行累加操作。累加器适用于多个task需要对同一个变量进行累加的场景。累加器的使用方法如下：

# 定义累加器
accum = sc.accumulator(0)

# 在算子中使用累加器
rdd.foreach(lambda x: accum.add(x))

# 获取累加器的值
accum.value