Hadoop 3.2.1 单机伪分布集群快速部署教程

本文档详细介绍了如何在Linux虚拟机（CentOS 7.x 64位）上安装Hadoop 3.2.1的单机伪分布集群，以便进行HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）的初步学习和实践。以下是安装过程中的关键步骤： 1. **准备环境**： - 使用一台具有IPv4地址（例如192.168.2.100）的CentOS 7虚拟机，并将其hostname设置为hadoop100。设置主机名是集群配置的重要步骤，分为临时和永久两种方式： - 临时设置：`hostname hadoop100` - 永久设置：编辑`/etc/sysconfig/network`，将`HOSTNAME`设置为"hadoop100"。 2. **hosts文件配置**： - 在`/etc/hosts`文件中添加主机名与IP的映射，如`192.168.2.100 hadoop100`，确保与虚拟机的实际IP对应。 3. **关闭防火墙**： - 临时关闭防火墙：`service iptables stop` - 永久关闭防火墙：使用`chkconfig iptables off`确保防火墙不再自动启动。 4. **SSH免密登录**： - 生成并配置SSH密钥对，通过命令`ssh-keygen -t rsa`完成，生成的密钥通常存储在`/root/.ssh/id_rsa`。 5. **安装Hadoop**： - 在单机伪分布模式下，Hadoop的安装通常仅需下载Hadoop发行版包，并解压至适当的目录，然后配置环境变量，如`export HADOOP_HOME`，以及修改`core-site.xml`、`hdfs-site.xml`等核心配置文件。 6. **启动服务**： - 启动HDFS服务：`sbin/start-dfs.sh` - 启动YARN服务：`sbin/start-yarn.sh` - 确认服务是否启动成功，可以通过命令`jps`查看进程列表。 7. **验证安装**： - 可以通过HDFS的命令行工具如`hadoop fs -ls`来测试文件系统的操作，或者通过YARN的Web UI（默认端口8088）查看集群状态。 8. **注意事项**： - 由于这是单机伪分布环境，所有节点功能由单一节点模拟，不能完全体现分布式计算的特性，适用于学习和测试环境。 这些步骤详细描述了Hadoop 3.2.1单机伪分布集群的安装过程，包括基础环境配置、安全设置和系统服务的启动与验证。通过这个过程，读者能够了解Hadoop的基本架构和部署方法。