在spark udf中读取hdfs上的文件

在Spark UDF中读取HDFS上的文件，可以使用Spark的API来实现。首先，需要创建一个SparkSession对象，然后使用该对象的read方法来读取HDFS上的文件。例如，以下代码可以读取HDFS上的一个文本文件：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("ReadHDFSFile").getOrCreate()

df = spark.read.text("hdfs://path/to/file.txt")

读取完成后，可以将数据转换为DataFrame或RDD，然后进行后续的处理。需要注意的是，读取HDFS上的文件需要确保Spark集群和HDFS集群之间的连接正常，同时需要确保Spark应用程序的运行用户对HDFS上的文件有读取权限。