java spark从hdfs-site和core-site连接hdfs，并读取hdfs文件

在Java Spark中，你可以通过以下步骤从HDFS连接到HDFS并读取文件：

1. 首先，你需要导入必要的Spark和Hadoop依赖项。确保你的项目中包含了以下依赖项：

<dependencies>
    <!-- Spark dependencies -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.4.7</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.4.7</version>
    </dependency>

    <!-- Hadoop dependencies -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.3.0</version>
    </dependency>
</dependencies>

2. 创建一个`SparkSession`对象，并设置相关的Hadoop配置。你可以使用`set`方法来设置以下配置：

import org.apache.spark.sql.SparkSession;

SparkSession spark = SparkSession.builder()
    .appName("Read from HDFS")
    .master("local") // 设置为本地模式，你也可以根据实际情况设置为集群模式
    .config("spark.hadoop.fs.defaultFS", "hdfs://localhost:9000") // 设置HDFS的默认文件系统
    .getOrCreate();

3. 使用`spark.read()`方法读取HDFS文件。你需要传递文件路径作为参数，并且可以通过链式调用其他方法来进一步处理数据，例如`csv()`、`json()`等。

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;

String filePath = "hdfs://localhost:9000/path/to/file";
Dataset<Row> data = spark.read().csv(filePath);

4. 对数据进行操作和处理。你可以使用Spark的DataFrame API或Spark SQL来操作读取的数据。

5. 最后，记得关闭SparkSession以释放资源：

spark.close();