详尽指南:Hadoop-1.2.1在RedHat上的安装与Eclipse集成

4星 · 超过85%的资源 需积分: 9 2 下载量 66 浏览量 更新于2024-09-10 收藏 410KB DOCX 举报
"史上最详尽的Hadoop-1.2.1安装与配置指南,包括JDK安装、SSH无密码登录设置、Hadoop环境配置、Eclipse集成及WordCount示例运行" 本文档详细介绍了如何在RedHatEnterpriseLinux 6.0系统上安装Hadoop-1.2.1版本,以及如何进行Eclipse的集成,以便进行MapReduce程序的开发和测试。以下是安装过程的详细步骤: 首先,确保你有两台虚拟机作为硬件基础,并已安装了JDK。JDK是运行Hadoop所必需的,因为Hadoop是用Java编写的。安装JDK时,解压缩下载的二进制包,然后配置环境变量,使得系统能够找到Java的路径。 接着,为了在集群中的节点间进行无密码SSH登录,你需要在第一台机器(M01)上生成RSA密钥对。通过`ssh-keygen -t rsa`命令创建密钥,然后将公钥(id_rsa.pub)复制到authorized_keys文件中,并通过`scp`命令将其发送到第二台机器(M02)。记得在两台机器上都设置authorized_keys文件的权限为600,以便安全访问。 接下来是Hadoop的安装。解压缩Hadoop-1.2.1的安装包后,需要对配置文件进行一系列的修改。这些文件包括`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。`hadoop-env.sh`中主要设置JAVA_HOME环境变量;`core-site.xml`定义了Hadoop的默认存储位置;`hdfs-site.xml`配置了HDFS的相关参数,如副本数量;`mapred-site.xml`则设置了MapReduce框架的相关配置。 完成配置后,执行`./hadoop namenode -format`对NameNode进行格式化,然后通过`./start-all.sh`启动Hadoop的所有服务。在M01和M02上运行`jps`命令,检查Hadoop进程是否正确启动。 为了验证Hadoop安装成功,可以通过浏览器访问NameNode的Web界面(http://10.108.37.199:50070)和JobTracker的Web界面(http://10.108.37.199:50030)。 最后,为了在Eclipse中开发Hadoop应用,你需要在M01上安装Eclipse,并将hadoop-eclipse-plugin-1.2.1.jar添加到Eclipse的plugins目录。然后在Eclipse中配置Hadoop的安装路径,并开启Map/Reduce透视图。创建新的Hadoop Location,这样你就可以在Eclipse中编写、运行和调试MapReduce程序,例如经典的WordCount示例。 这个详尽的安装文档不仅覆盖了Hadoop的基础安装,还涵盖了集群配置和开发环境的搭建,对于初学者和有经验的开发者来说都是宝贵的参考资料。