Hadoop分布式搭建教程：从配置网络到伪分布式部署

本文档主要介绍了如何进行Hadoop分布式环境的搭建，包括了两个关键步骤：配置动态网络和伪分布式（HDFS）环境的设置。 1. **配置动态网络** 首先，用户需要确保网络连接的稳定性。进入网卡配置文件（如ifcfg-ens33），将onboot属性从no改为yes，表示开机自启动。接着，保存并重启网络服务，通过ping百度网站验证网络连通性。确认网络正常后，检查网卡是否获取到了IP地址，确保系统可以接入互联网。 2. **伪分布式HDFS环境搭建** - **配置Hadoop与JDK**：首先，解压下载的JDK和Hadoop包到指定目录，并将它们添加到系统路径中。通过编辑/etc/profile文件，设置JAVA_HOME、HADOOP_HOME等环境变量，并使用source命令使更改生效。接着，通过java-version和hadoopversion命令验证Java和Hadoop的安装情况。 - **设置SSH免密登录**：生成SSH密钥对，将公钥添加到~/.ssh/authorized_keys文件中，以便实现本地主机的免密登录。通过ssh localhost测试免密登录功能，并退出。 - **关闭防火墙**：由于Hadoop分布式环境需要开放某些端口进行通信，所以需要临时关闭firewalld服务，并设置开机不启动。使用systemctl命令来控制防火墙状态，确保Hadoop服务能顺畅运行。 - **配置HDFS伪分布式集群**：配置核心配置文件hadoop-env.sh以及HDFS相关的配置文件hdfs-site.xml，这是伪分布式模式下必要的步骤，它们定义了HDFS的运行参数和环境变量。 通过这些步骤，用户成功地搭建了一个Hadoop的伪分布式环境，可以在本地单机上模拟分布式系统的部分功能。这为学习和理解Hadoop的基本原理提供了基础实践平台。实际部署时，可能还需要根据具体需求调整配置，并在多节点环境中扩展到真正的分布式模式。