python如何读取hdfs上文件夹中的全部文件并存储至rdd中

可以使用PySpark中的`SparkContext`和`hadoopFile`函数来读取HDFS上的文件夹中的全部文件，并将它们存储到RDD中。

以下是一个示例代码：

from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName("ReadHDFSFolder")
sc = SparkContext(conf=conf)

folder_path = "hdfs://path/to/folder"

# 使用hadoopFile函数读取文件夹中的全部文件，创建一个RDD
rdd = sc.hadoopFile(folder_path, 
                    "org.apache.hadoop.mapred.TextInputFormat", 
                    "org.apache.hadoop.io.LongWritable", 
                    "org.apache.hadoop.io.Text")

# 输出RDD中的内容
for line in rdd.collect():
    print(line)

这个代码使用`hadoopFile`函数读取HDFS文件夹中的所有文件，并将它们存储为一个RDD。然后使用`collect`函数输出RDD中的所有内容。请注意，这可能会导致内存问题，因此在实际使用时应该谨慎。