使用java连接访问hdfs

在Java中连接和访问Hadoop分布式文件系统 (HDFS) 可以通过Hadoop自身的API来完成，通常使用的是`org.apache.hadoop.fs.FileSystem` 和 `org.apache.hadoop.conf.Configuration` 类。以下是基本步骤：

1. **添加依赖**:
首先需要在项目中添加Hadoop HDFS的jar包，如果你使用Maven，可以在pom.xml中添加以下依赖：

   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-client</artifactId>
       <version>${hadoop.version}</version>
   </dependency>

确保替换`${hadoop.version}`为实际的Hadoop版本。

2. **配置**:
创建一个`Configuration`对象并设置相关的HDFS属性，如`fs.defaultFS`（指定默认的HDFS地址），以及其他的Hadoop配置项。例如：

   Configuration conf = new Configuration();
   conf.set("fs.defaultFS", "hdfs://your-hdfs-cluster-name:9000");

3. **初始化FileSystem**:
使用`Configuration`实例创建`FileSystem`对象，如：

   FileSystem fs = FileSystem.get(conf);

4. **操作HDFS**:
现在你可以使用`FileSystem`对象执行各种HDFS操作，比如读取、写入文件、列出目录等：
- 读取文件: `FileStatus[] statuses = fs.listStatus(new Path("/path/to/file"));`
- 写入文件: `FSDataOutputStream out = fs.create(new Path("/output/path"), true);`
- 删除文件: `fs.delete(new Path("/path/to/file"), true);`

5. **关闭资源**:
当所有操作完成后，别忘了关闭打开的流和文件系统：

   if (out != null) {
       out.close();
   }
   fs.close();