Ubuntu环境下Eclipse运行首个MapReduce程序指南

"这篇文档详细记录了在Eclipse环境下编写并运行第一个MapReduce程序的步骤，主要面向Hadoop初学者。作者的开发环境是Windows下通过wubi安装的Ubuntu 10.10，使用的Hadoop版本为hadoop-0.20.2，Eclipse版本为eclipse-jee-helios-SR1-linux-gtk。教程选择了在‘伪分布式模式’下进行Hadoop的开发。" 在开始编写MapReduce程序之前，首先需要启动Hadoop守护进程。启动过程通常包括格式化NameNode，启动DataNode，TaskTracker以及JobTracker等服务，但文档并未在此详述具体步骤。 接下来，为了让Eclipse支持Hadoop开发，需要安装hadoop-plugin。具体操作包括将`hadoop-0.20.2-eclipse-plugin.jar`复制到Eclipse的plugins目录，并重启Eclipse。然后，在Eclipse的“Window”菜单中找到“Preferences”，设置Hadoop installation directory为Hadoop的实际安装路径。 安装插件后，需配置Map/Reduce Locations。在“Window”菜单选择“Show View”，打开“Map/Reduce Locations”。在这里创建一个新的Hadoop Location，命名如“myubuntu”，并分别输入Map/Reduce Master和DFSMaster的Host和Port，这些信息应与`mapred-site.xml`和`core-site.xml`配置文件中设定的地址和端口一致。例如，Map/Reduce Master和DFSMaster的Host和Port都设为“localhost”，对应端口分别为9001和9000。正确配置后，通过DFSLocations查看“myubuntu”应能显示文件系统的内容。 最后，创建Map/Reduce项目。在Eclipse的“File”菜单中选择“New”->“Other”，然后找到并选择“Map/Reduce Project”。为项目命名（例如“hadoop_first_mapreduce”），这样就创建了一个用于编写MapReduce程序的工程。 在创建的项目中，开发者通常会创建一个包含Mapper和Reducer类的Java文件，实现自己的业务逻辑。Mapper类处理输入数据，Reducer类则负责聚合和处理Mapper输出的结果。此外，还需要编写一个Driver类来设置输入输出路径，并提交作业到Hadoop集群执行。 总结来说，这个文档提供了一个清晰的指南，帮助初学者在Eclipse环境中配置Hadoop开发环境，创建并运行他们的第一个MapReduce程序。整个过程包括启动Hadoop服务、安装Eclipse插件、配置Hadoop连接以及创建Map/Reduce项目。通过遵循这些步骤，读者可以快速入门Hadoop的编程。