python如何将hdfs上的多个文件读成一个rdd并对每个文件执行逻辑并获取返回值

在Python中，可以使用PySpark来读取HDFS上的文件，并将它们转换成一个RDD。具体步骤如下：

1. 导入必要的PySpark模块

from pyspark import SparkContext, SparkConf

2. 创建SparkContext

conf = SparkConf().setAppName("ReadHDFSFiles").setMaster("local")
sc = SparkContext(conf=conf)

3. 读取HDFS上的多个文件

hdfs_path = "hdfs://path/to/files/*"
rdd = sc.textFile(hdfs_path)

这里使用了通配符“\*”，表示读取路径下所有的文件。

4. 对每个文件执行逻辑并获取返回值

def process_file(file_content):
    # 在这里执行逻辑，比如对文件内容进行处理
    processed_content = file_content.upper()
    return processed_content

result_rdd = rdd.map(process_file)

这里定义了一个名为process_file的函数，用于对每个文件进行处理。在map函数中，每个文件内容都会被传递给process_file函数进行处理，并将处理后的结果返回。最后，所有处理后的结果将会组成一个新的RDD，即result_rdd。

5. 关闭SparkContext

sc.stop()

完整代码如下：

from pyspark import SparkContext, SparkConf

def process_file(file_content):
    # 在这里执行逻辑，比如对文件内容进行处理
    processed_content = file_content.upper()
    return processed_content

conf = SparkConf().setAppName("ReadHDFSFiles").setMaster("local")
sc = SparkContext(conf=conf)

hdfs_path = "hdfs://path/to/files/*"
rdd = sc.textFile(hdfs_path)

result_rdd = rdd.map(process_file)

print(result_rdd.collect())

sc.stop()

其中，collect函数用于获取RDD中的所有元素。如果处理后的结果很大，可以使用其他函数如foreach等将结果输出到外部存储介质。