Fedora19下Hadoop1.2.1伪分布模式配置教程

"在Linux环境下部署Hadoop的伪分布模式，主要针对Hadoop 1.2.1版本，操作系统为Fedora 19，并且使用hadoop用户进行安装。在这个过程中，首先需要配置SSH本地登录证书，因为即使在伪分布模式下，Hadoop也会依赖SSH进行节点间的通信。配置步骤包括生成RSA密钥对，即私钥id_rsa和公钥id_rsa.pub，并将公钥添加到authorized_keys文件中，以便实现无密码SSH登录。" 在部署Hadoop伪分布模式前，我们需要了解一些基础概念： 1. **Hadoop**：Hadoop是一个开源的分布式计算框架，由Apache软件基金会维护。它允许在廉价硬件上运行大规模数据处理应用，提供了高可靠性和高容错性。 2. **伪分布模式**：在这种模式下，一个单一节点模拟了Hadoop分布式环境的所有组件，包括NameNode、DataNode、ResourceManager、NodeManager等，主要用于开发和测试环境，便于快速验证Hadoop集群的功能。 3. **SSH**（Secure Shell）：SSH是一种网络协议，用于安全地远程登录到另一台机器，进行命令行操作。在Hadoop中，SSH用于节点间的安全通信。 4. **RSA**：RSA是一种非对称加密算法，常用于生成SSH密钥对。私钥保密，公钥可公开，私钥用于解密公钥加密的信息，反之亦然。 5. **SSH本地登录证书**：在Hadoop环境中，配置SSH免密码登录是必要的，这涉及到生成SSH密钥对（id_rsa和id_rsa.pub），并将公钥添加到每个节点的`~/.ssh/authorized_keys`文件中。 下面是详细部署步骤： **第一步：生成SSH密钥对** 1. 使用`ssh-keygen -t rsa`命令生成RSA密钥对，通常默认保存在`~/.ssh/`目录下，私钥名为`id_rsa`，公钥名为`id_rsa.pub`。 2. 在提示输入密码时，如果希望无密码登录，可以直接按回车不设置密码。 **第二步：配置SSH免密码登录** 1. 将`id_rsa.pub`中的内容追加到`~/.ssh/authorized_keys`文件中，可以使用`cat id_rsa.pub >> authorized_keys`命令完成。 2. 确保`.ssh`目录和`authorized_keys`文件的权限设置正确，一般应为`chmod 700 ~/.ssh`和`chmod 644 ~/.ssh/authorized_keys`。 **第三步：配置Hadoop** 1. 解压缩Hadoop的安装包到合适的位置，例如`/usr/local/hadoop`。 2. 设置环境变量，编辑`~/.bashrc`或`~/.bash_profile`，添加Hadoop相关的路径。 3. 初始化Hadoop配置，如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`，设置HDFS和MapReduce的相关参数，比如NameNode和DataNode的数据存储位置。 **第四步：格式化NameNode** 执行`hadoop namenode -format`命令，首次部署时需要对NameNode进行格式化。 **第五步：启动Hadoop服务** 通过执行`start-dfs.sh`和`start-yarn.sh`脚本启动Hadoop的所有服务。 **第六步：验证部署** 可以通过Web界面或命令行检查Hadoop服务是否正常运行，例如，NameNode的Web界面通常在`http://localhost:50070`，DataNode的Web界面在`http://localhost:50075`。 至此，Hadoop伪分布模式已在Linux环境下成功部署。这个过程对于理解Hadoop的工作原理非常有帮助，也是进一步学习和掌握Hadoop集群部署的基础。在实际生产环境中，通常会采用完全分布式模式，涉及多个物理节点和更复杂的网络配置。