2.2 使用hdfs文件创建RDD

在Apache Spark中，Hadoop Distributed File System (HDFS) 是一个分布式文件系统，用于存储大量数据。Spark通过Hadoop的API，如`org.apache.hadoop.fs.FileSystem`，可以读取和写入HDFS中的数据。创建RDD（Resilient Distributed Dataset，弹性分布式数据集）时，你可以使用`sc.textFile()`或`sc.binaryFiles()`等方法，这些方法接受HDFS路径作为参数。

例如，如果你想要创建一个基于HDFS文本文件的RDD，你可以这样做：

from pyspark import SparkContext

# 创建SparkContext
sc = SparkContext("local", "HDFS RDD Example")

# 读取HDFS文件路径
hdfs_path = "hdfs://<your_hdfs_cluster>/path/to/your/file.txt"

# 使用textFile读取并创建RDD
text_rdd = sc.textFile(hdfs_path)

# 现在text_rdd是一个包含HDFS文件每一行内容的RDD

如果你想处理二进制文件，可以使用`sc.binaryFiles()`：

binary_rdd = sc.binaryFiles(hdfs_path, minPartitions=10)

在这个例子中，`binary_rdd`将是一个 `(key, value)` 对的RDD，其中`key`是文件的路径，`value`是文件的内容。