本篇文档是关于CDH (Cloudera Distribution Hadoop) 5.16.1的部署指南,主要针对一个Hadoop集群的安装与配置步骤。以下是详细的知识点:
1. **系统环境准备**:
首先,文档提到设置主机名和IP地址,通过修改`/etc/hostname`和`/etc/hosts`文件,将三台节点(hadoop001、hadoop002、hadoop003)分别配置了各自的IP。同时,通过SCP(Secure Copy)命令将`/etc/hosts`文件复制到其他节点上,确保网络环境下的主机名解析一致性。
2. **防火墙管理**:
文档提到了禁用防火墙服务`firewalld`,通过`systemctl stop firewalld`和`systemctl disable firewalld`来关闭防火墙,以及清理iptables规则(`iptables -F`),这有助于确保Hadoop集群内部的通信不受防火墙限制。
3. **SELinux配置**:
SELinux(Security-Enhanced Linux)是一个强大的安全模块,文中提到将SELinux设置为disabled状态,以避免可能由于安全策略带来的潜在问题。在`/etc/selinux/config`文件中更改`SELINUX`变量值为`disabled`。
4. **时间同步**:
对于时间管理,文档强调了集群内的时间同步,通过`date`命令设置统一的时间,以及使用`hwclock`命令校准硬件时钟,并检查时间和时区设置。此外,还涉及到了通过NTP(Network Time Protocol)服务进行跨主机时间同步,确保所有节点的时间保持一致。
5. **文件系统挂载和软件包安装**:
文档中提到了使用`yum install -y ntp`来安装NTP服务,并且建议挂载外部介质(如/dev/sr0)到mnt目录下,以便进行必要的软件包安装或配置文件更新。
6. **NTP配置**:
在hadoop001节点上,通过编辑`/etc/ntp.conf`文件,设置了NTP服务器地址为127.127.1.0,使用`burst`选项加速时间同步,并指定了本地时钟作为优先源。
7. **集群时间同步目标**:
文档明确指出,hadoop001作为时钟同步的基准,而hadoop002和hadoop003应与之保持时间同步。
这篇文档详细描述了如何在CDH 5.16.1环境中部署和配置一个Hadoop集群,包括基础网络设置、防火墙管理、SELinux安全设置、时间同步和NTP配置,确保集群环境的稳定性和一致性。对于Hadoop管理员或想要部署此类集群的读者来说,这是非常实用的参考资料。