在Hadoop中用ecplise编写程序实现“合并本地小文件，将合并后的文件上传到HDFS”

在Hadoop中使用Eclipse编写程序实现"合并本地小文件并将合并后的文件上传到HDFS"通常涉及到以下几个步骤：

1. **设置环境**:
- 首先确保已经安装了Hadoop和Hadoop的集成开发环境如Hadoop Eclipse插件（Hadoop-Eclipse-Plugin）。
- 启动Hadoop守护进程，包括NameNode和DataNodes。

2. **创建新项目**:
- 在Eclipse中新建一个Hadoop MapReduce项目。

3. **编写Mapper和Reducer**:
- 创建Mapper类负责读取本地小文件，对数据进行处理并生成中间键值对。例如，可以使用`FileInputFormat`读取文件，并通过`context.write()`输出键值对。
- 创建Reducer类接收Mapper的输出，进行进一步处理，如合并结果。

4. **编写主类Driver**:
- 在Driver类中配置JobConf，指定输入路径、输出路径以及Mapper和Reducer的类名。例如：

     Job job = Job.getInstance(conf, "MergeFiles");
     FileInputFormat.addInputPath(job, new Path("local/input/directory"));
     FileOutputFormat.setOutputPath(job, new Path("hdfs/output/directory"));
     job.setMapperClass(Mapper.class);
     job.setReducerClass(Reducer.class);

- 添加资源管理器（Resource Manager）URI到配置中，以便作业可以在集群上运行。

5. **提交任务**:
- 调用`job.waitForCompletion(true)`来提交作业并等待其完成。如果成功，合并后的文件就会保存在指定的HDFS路径下。

6. **验证结果**:
- 你可以使用Hadoop命令行工具`hadoop fs -cat`来检查HDFS目录中的文件内容。