在idea利用spark读取来自hdfs的文件

首先，需要确保你已经安装了 Spark 和 Hadoop，并且已经成功启动了 Hadoop 服务。

接下来，可以使用以下代码来读取来自 HDFS 的文件：

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

public class ReadFromHDFS {
    public static void main(String[] args) {
        // 创建 SparkConf 对象
        SparkConf conf = new SparkConf().setAppName("ReadFromHDFS");

        // 创建 JavaSparkContext 对象
        JavaSparkContext jsc = new JavaSparkContext(conf);

        // 读取 HDFS 文件
        JavaRDD<String> lines = jsc.textFile("hdfs://localhost:9000/path/to/file");

        // 处理数据
        lines.foreach(line -> {
            // 处理每一行数据的逻辑
            System.out.println(line);
        });

        // 关闭 JavaSparkContext 对象
        jsc.close();
    }
}

其中，`hdfs://localhost:9000/path/to/file` 表示 HDFS 中文件的路径，需要根据实际情况进行修改。如果需要读取多个文件，可以使用通配符 `*`，例如 `hdfs://localhost:9000/path/to/directory/*`。