vmware虚拟机启动Hadoop集群

设置和启动 Hadoop 集群
准备工作
为了在 VMware 中成功设置并启动 Hadoop 集群，需准备三台虚拟机：hadoop01, hadoop02, 和 hadoop03. 已经完成了一台虚拟机 (hadoop01) 的安装，剩余两台可以利用已有的虚拟机通过克隆功能快速创建[^1].
创建额外节点
对于未建立的节点 (即 hadoop02, hadoop03)，推荐采用已有虚拟机实例进行复制。具体操作是在 VMware Workstation 或 Player 中选中源虚拟机，在菜单栏找到【管理】-> 【克隆】选项来执行此过程。
网络配置调整
确保所有虚拟机能正常访问外网以及相互间通信至关重要。为此，编辑 VMnet8 NAT 设置下的子网 IP 地址范围使之不与其他物理网络冲突；另外确认每台机器上的 /etc/hosts 文件含有集群内各成员对应的主机名到IP映射记录[^2].
# Example of /etc/hosts entry on each node.
192.168.x.1 hadoop01
192.168.x.2 hadoop02
192.168.x.3 hadoop03
登录后复制
SSH无密码登录配置
为了让 Master 节点无需输入密码即可向 Slave 发送指令，需要生成SSH密钥对并将公钥分发给其他节点：
ssh-keygen -t rsa # On master machine only
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub user@slave:/tmp/
ssh slave "cat /tmp/id_rsa.pub >> ~/.ssh/authorized_keys && chmod 600 ~/.ssh/authorized_keys"
登录后复制
修改Hadoop配置文件
更新 $HADOOP_HOME/etc/hadoop/core-site.xml, $HADOOP_HOME/etc/hadoop/yarn-site.xml, 及 $HADOOP_HOME/etc/hadoop/slaves 文件中的必要参数以适应多节点环境需求.
最后一步就是格式化 NameNode 并启动整个分布式系统:
hdfs namenode -format
start-dfs.sh
start-yarn.sh
jps # Verify processes running correctly across nodes
登录后复制