spark读取广播变量、hdfs路径下文件、addFile原理机制区别

Spark中有三种常见的方式来读取数据：广播变量、HDFS路径下文件和addFile。

1. 广播变量：广播变量是Spark用于在大规模集群上分配只读数据的机制。在Spark中，广播变量是从驱动程序向所有工作节点广播的只读变量，可以在Spark作业中使用。广播变量适用于小型数据，因为它们可以在每个节点上存储一份拷贝，而不是在每个任务上重复多次读取。广播变量的使用方法如下：

broadcastVar = sc.broadcast(var)

2. HDFS路径下文件：HDFS是Hadoop分布式文件系统，Spark可以直接读取HDFS文件。HDFS是一种高容错性、高可靠性和高可扩展性的分布式文件系统，它能够处理超大规模数据集。使用HDFS路径下文件的方式，可以通过SparkContext的textFile方法读取HDFS路径下的文件。使用方法如下：

rdd = sc.textFile("hdfs://...")

3. addFile：addFile方法可以将本地文件或者HDFS文件添加到Spark的classpath中，这样可以将文件分发到所有的工作节点上。因此，addFile适用于需要在所有节点上使用的文件，如序列化类、参数配置等。使用方法如下：

sc.addFile(path)

这三种方式的作用不同，广播变量适用于小型数据，HDFS路径下文件适用于大型数据，addFile适用于分发文件到所有节点上。