使用Java程序创建Hadoop-Client操作Hadoop

在Java中，通过Hadoop的API创建客户端来操作Hadoop分布式文件系统（HDFS）以及运行MapReduce任务，通常需要以下几个步骤：

1. **添加依赖**：首先，你需要在项目中引入Hadoop的相关库。如果你的项目使用Maven，可以在pom.xml文件中添加Hadoop Core依赖，例如：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.x.x</version>
</dependency>

记得替换版本号为你实际使用的Hadoop版本。

2. **配置**：配置Hadoop环境变量，包括HADOOP_HOME、JAVA_HOME等，并确保`hadoop-conf.xml`文件存在，其中包含集群相关的配置信息，如名称节点地址（namenode_uri）。

3. **连接HDFS**：使用`Configuration`类加载配置，然后创建`FileSystem`实例，用于与HDFS交互。示例代码如下：

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://namenode-uri");
FileSystem fs = FileSystem.get(conf);

4. **读取/写入文件**：你可以使用`FileSystem`对象来上传（`create`、`append`）、下载（`open`、`read`）或删除文件。例如：

Path filePath = new Path("/path/to/file");
OutputStream out = fs.create(filePath);
// 写入数据...
out.close();

InputStream in = fs.open(filePath);
byte[] data = new byte[1024];
while (fs.read(in, data, 0, 1024) > 0) {
    // 处理数据...
}
in.close();

5. **执行MapReduce任务**：使用`Job`类创建MR作业，设置Mapper、Reducer和分片数。提交任务并获取结果。示例：

Job job = Job.getInstance(conf, "job-name");
FileInputFormat.addInputPath(job, new Path("/input/path"));
FileOutputFormat.setOutputPath(job, new Path("/output/path"));

// 设置Mapper和Reducer类...
job.waitForCompletion(true);

Path output = new Path("/output/path");
FileSystem outputStreamFs = FileSystem.get(output.toUri(), conf);
// 从output路径读取结果...