HADOOP单机到多节点安装教程：从VMware到部署Wordcount

本文档详细介绍了Hadoop的安装过程，针对单机环境和多节点集群环境分别给出了详细的步骤。首先，你需要准备的工具包括VMware Workstation 8、Ubuntu 10.04 LTS操作系统以及JDK和SSH服务器。10.04 LTS版本的选择是因为其具有长期支持，稳定性较高。 1. **安装Ubuntu和JDK**: 在Ubuntu上安装JDK，首先创建Java文件夹，将下载的JDK拷贝至该目录，然后设置权限和执行安装。确保JDK环境变量配置正确，以便后续Hadoop的运行。 2. **Hadoop安装与配置**: 下载Hadoop并解压到/usr/local目录下，将目录重命名以包含版本号，然后创建hadoop用户组并添加用户，给予必要的权限。接着配置Java环境变量，确保Hadoop能够识别Java安装路径。 3. **SSH服务器设置**: 安装SSH服务器，并生成RSA密钥对，将其添加到信任列表，这对于节点间通信至关重要。 4. **单机环境与多节点集群配置**: 对于单机环境，核心配置文件(core-site.xml)中的`<name-node>`应指向本地主机名或`localhost`，而mapred-site.xml中`<job-tracker>`也应做相应调整。对于多节点集群，需要配置每个节点的IP地址作为master和slave，确保网络连通性。 5. **公钥交换与权限设置**: 在slave节点上复制master节点的公钥，并在JobTracker上添加master的公钥，以实现安全的远程访问。这一步确保了节点间的互信。 6. **启动Hadoop和测试**: 完成上述步骤后，启动Hadoop服务，并通过运行WordCount程序来验证Hadoop集群是否安装和配置成功。WordCount是Hadoop的一个基础示例，用于演示分布式计算功能。 本文档提供了一个全面且实用的Hadoop安装指南，不仅包括基础的系统配置，还涵盖了多节点集群环境下的配置细节，为读者提供了清晰的实践指导。