手动配置HDFS高可用(HA)集群教程

本资源主要介绍了如何手动搭建高可用性（HA）的HDFS（Hadoop Distributed File System）集群，适合想要学习大数据Hadoop环境搭建的初学者。集群配置包括两个NameNode（crxy1和crxy2），多个DataNode（crxy3至crxy6）以及三个JournalNode（crxy1、crxy2和crxy3）。以下是对搭建过程的详细步骤解析： 1. 理解HA HDFS： 高可用性HDFS允许在主NameNode故障时，能无缝切换到备用NameNode，确保服务不中断。 2. 网络环境检查与配置： - 使用`ping`命令测试所有节点间的连通性，例如`ping 192.168.1.181`。 - 通过`hostname`命令确认主机名，并通过编辑`/etc/sysconfig/network`文件设置主机名。 - 更新`/etc/hosts`文件，确保所有节点间的主机名解析正确。 3. 关闭防火墙服务： 停止`iptables`服务并禁止开机启动，以允许集群内各节点间的通信，命令如下： ``` service iptables stop chkconfig iptables off ``` 4. 配置SSH免密登录： 在所有节点上生成SSH密钥对，并使用`ssh-copy-id`命令将公钥复制到其他节点，以实现无密码登录，例如： ``` ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop0 ``` 5. 安装与配置JDK： 配置环境变量`JAVA_HOME`指向JDK安装路径，例如： ``` export JAVA_HOME=/usr/local/jdk1.7.0-45 ``` 并更新Hadoop配置文件如`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`和`slaves`。 6. 配置Hadoop核心站点（core-site.xml）： 设置默认文件系统为HA HDFS，例如： ``` <property> <name>fs.defaultFS</name> <value>hdfs://cluster1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> ``` 7. 配置HDFS站点（hdfs-site.xml）： - 设置副本因子为3： ``` <property> <name>dfs.replication</name> <value>3</value> </property> ``` - 定义NameNode的名称服务和地址： ``` <property> <name>dfs.nameservices</name> <value>cluster1</value> </property> <property> <name>dfs.ha.namenodes.cluster1</name> <value>crxy1,crxy2</value> </property> <property> <name>dfs.namenode.rpc-address.cluster1.crxy1</name> <value>crxy1的IP:端口</value> </property> ... <property> <name>dfs.namenode.http-address.cluster1.crxy1</name> <value>crxy1的IP:端口</value> </property> ... （同样配置crxy2的地址） ``` 8. 启动与管理HDFS集群： 初始化NameNode并启动相关服务，包括NameNode、DataNode、JournalNode等。同时，需要配置Zookeeper以监控NameNode的状态并进行故障切换。 通过以上步骤，一个手工切换的HA HDFS集群就搭建完成了。在实际操作中，还需确保所有节点间的服务同步、日志同步以及故障检测机制的正常运行，以保证整个HDFS集群的稳定性和可靠性。