成功搭建eclipse3.3+hadoop-0.20.0环境及hadoop-eclipse-plugin配置指南

"这篇文档详细记录了如何在eclipse3.3环境下成功搭建hadoop-0.20.0的开发环境，同时提到了在eclipse3.7及更高版本中，hadoop-0.21.0-eclipse-plugin插件存在兼容性问题。作者通过分享自己的经验，推荐使用eclipse3.3和hadoop-0.20.0的组合，以避免编译插件的复杂过程。" 本文档的核心内容是关于在Eclipse集成开发环境中设置Hadoop开发环境的步骤，主要涉及以下几个知识点： 1. **Eclipse与Hadoop插件兼容性**： - Eclipse 3.3版被选择是因为它与hadoop-0.20.0的hadoop-eclipse插件兼容，而更新的Eclipse版本（如3.7）与官方提供的插件可能不兼容，需要自行编译，增加了搭建的复杂性。 2. **Hadoop版本选择**： - 选择了hadoop-0.20.2版本，因为其他版本可能会遇到兼容性问题。这个版本被认为与Eclipse 3.3搭配更稳定。 3. **Hadoop的安装与配置**： - 下载hadoop-0.20.2并解压到指定目录，例如`/home/yinux/Hadoop/`。 - 配置`JAVA_HOME`环境变量，这在`hadoop-env.sh`文件中进行，指向JDK的安装路径。 4. **Hadoop配置文件修改**： - 需要修改三个关键配置文件：`core-site.xml`, `hdfs-site.xml`, 和 `mapred-site.xml`，这些文件位于`/home/yinux/Hadoop/hadoop-0.20.2/conf`目录下。 - `core-site.xml`通常包含Hadoop集群的基本配置，如HDFS的默认文件系统。 - `hdfs-site.xml`配置HDFS的相关参数，比如副本数量、数据节点等。 - `mapred-site.xml`则涉及MapReduce框架的设置，如作业调度器类型等。 5. **Hadoop-eclipse-plugin安装**： - 需要下载适用于Eclipse 3.3和Hadoop-0.20.0的hadoop-eclipse-plugin，并将其安装到Eclipse中。这个插件允许开发者直接在Eclipse中创建、运行和调试Hadoop MapReduce程序。 6. **Cygwin（未明确提及，但可能用于Windows环境）**： - 在Windows环境下，可能需要Cygwin来模拟Linux环境，以便于运行和管理Hadoop服务。 总结来说，该文档提供了一套详细的步骤，帮助开发者在Eclipse 3.3环境下配置和测试Hadoop-0.20.0项目，这对于那些想要避免复杂插件编译的初学者尤其有用。遵循这些步骤，可以确保一个顺利的Hadoop开发体验。