Java API访问HDFS：配置与操作详解

在本文中，我们将深入探讨如何利用Java API访问Hadoop分布式文件系统（HDFS）中的文件和目录。首先，理解并配置核心配置文件`core-site.xml`至关重要。这个XML文件存储着Hadoop集群的关键配置信息，如临时目录设置`hadoop.tmp.dir`，以及用于连接HDFS的主要配置`fs.default.name`。`fs.default.name`属性指定的是命名节点的IP地址和端口号，默认为`file:///`，但在使用Java API时，必须替换为实际的HDFS URL，如`hdfs://linux-zzk-113:9000`，这样Java客户端才能正确连接到HDFS。 为了利用Java API进行文件操作，你需要导入相关的类，如`Configuration`、`FileSystem`和`InputStream`、`OutputStream`等。`Configuration`类用于加载和管理配置信息，`FileSystem`接口提供了访问HDFS文件系统的抽象层，而`InputStream`和`OutputStream`则用于读取和写入文件。 下面是一段示例代码，展示了如何创建一个`Configuration`对象，并使用它来实例化`FileSystem`，进而操作HDFS文件： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HdfsAccessExample { public static void main(String[] args) throws IOException { // 创建配置对象，读取core-site.xml中的配置信息 Configuration conf = new Configuration(); conf.addResource(new Path("hadoop-0.20.2/conf/core-site.xml")); // 建立与HDFS的连接 FileSystem fs = FileSystem.get(conf); // 操作HDFS文件和目录 try (OutputStream out = fs.create(new Path("/path/to/your/file.txt"))) { out.write("Hello, HDFS!".getBytes()); } try (InputStream in = fs.open(new Path("/path/to/your/file.txt"))) { byte[] buffer = new byte[1024]; int bytesRead; while ((bytesRead = in.read(buffer)) != -1) { System.out.println(new String(buffer, 0, bytesRead)); } } // 关闭连接 fs.close(); } } ``` 这段代码首先加载配置，然后创建一个`FileSystem`对象，接着创建一个新的文件并写入文本，最后打开文件读取内容并打印。在实际应用中，还需要处理可能出现的异常，如`FileNotFoundException`和`IOException`。 总结起来，利用Java API访问HDFS的关键在于配置管理和正确使用`FileSystem`接口。确保配置文件正确无误，并且对文件和目录的操作符合HDFS的规则，这样才能高效、稳定地进行文件操作。