如何通过Java API有效地与Hadoop HDFS进行交互和文件操作？

在Java中与Hadoop HDFS进行有效交互和文件操作通常会使用Apache Hadoop自身的API，特别是Hadoop File System (HDFS) API。以下是基本步骤：

1. **添加依赖**:
首先，在你的项目中添加Hadoop的jar包到构建路径，例如Maven的pom.xml文件中添加`<dependency>`标签：

   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-client</artifactId>
       <version>版本号</version>
   </dependency>

2. **创建FileSystem实例**:
使用`Configuration`对象配置HDFS连接信息，然后创建`FileSystem`实例:

   Configuration conf = new Configuration();
   FileSystem fs = FileSystem.get(conf);

3. **文件和目录操作**:
- **读取文件**:

     DataInputStream in = fs.open(new Path("/path/to/file"));
     byte[] buffer = new byte[1024];
     int bytesRead;
     while ((bytesRead = in.read(buffer)) != -1) {
         // 处理读取的数据
     }
     in.close();

- **写入文件**:

     DataOutputStream out = fs.create(new Path("/path/to/output"), true); // 'true'表示追加
     out.writeBytes("Hello, HDFS!");
     out.close();

- **创建/删除目录**:

     boolean mkdirs = fs.mkdirs(new Path("/path/to/directory"));
     fs.delete(new Path("/path/to/directory"), true); // 删除整个目录及其中内容

4. **关闭资源**:
确保在完成后关闭所有`DataInputStream`, `DataOutputStream`, 和 `FileSystem` 对象。

5. **处理异常**:
HDFS API可能会抛出各种异常，如IOException，因此你需要妥善捕获并处理这些异常。