CentOS上Hadoop伪分布式安装与SSH配置详解

本篇文章详细介绍了在CentOS系统上进行Hadoop伪分布式安装的步骤，主要包括以下几个关键知识点： 1. **CentOS网络配置**: - 在虚拟机设置中，将网络连接模式更改为自定义VMnet8（NAT模式），确保虚拟机能够获取正确的IP地址。 - 使用`ifconfig`或`ipaddr`命令检查网络接口，如果无法看到IP，需检查`/etc/sysconfig/network-scripts/ifcfg-ens33`配置，确保`ONBOOT`为`yes`，然后重启网络服务。 2. **开启SSH远程连接**: - 修改`/etc/ssh/sshd_config`文件，设置监听端口为22，启用远程登录功能，并允许使用用户名和密码进行验证。 - 启动sshd服务：`systemctl start sshd`。 3. **Hadoop伪分布式环境准备**: - 首先确认系统中是否有默认的JDK，通过`java-version`命令查看。 - 卸载已有的Java环境，如OpenJDK，通过`rpm`命令并使用`--nodeps`参数进行卸载。 - 安装自定义的JDK8，将其解压到`/usr/local`目录下，然后配置环境变量，添加到`/etc/profile`中，并使更改生效。 - 检查新安装的Java版本以确保成功。 4. **Hadoop伪分布式搭建**: - 创建一个名为`hadoop`的文件夹，用于存放Hadoop文件。 - 下载Hadoop的tar压缩包，解压到`hadoop`文件夹中。 - 设置SSH免密登录，生成一个`id_dsa`密钥对，将公钥添加到`~/.ssh/authorized_keys`以实现无密码登录。 这些步骤详细描述了如何在CentOS环境中进行Hadoop伪分布式安装，包括网络配置、SSH服务的管理和配置，以及Hadoop环境的搭建和安全设置，对于理解和实践Hadoop在分布式环境中的应用具有重要的参考价值。