本篇文档是关于CDH (Cloudera Distribution Hadoop) 5.16.1的部署指南，主要针对一个Hadoop集群的安装与配置步骤。以下是详细的知识点：
1. **系统环境准备**：
首先，文档提到设置主机名和IP地址，通过修改`/etc/hostname`和`/etc/hosts`文件，将三台节点（hadoop001、hadoop002、hadoop003）分别配置了各自的IP。同时，通过SCP（Secure Copy）命令将`/etc/hosts`文件复制到其他节点上，确保网络环境下的主机名解析一致性。
2. **防火墙管理**：
文档提到了禁用防火墙服务`firewalld`，通过`systemctl stop firewalld`和`systemctl disable firewalld`来关闭防火墙，以及清理iptables规则（`iptables -F`），这有助于确保Hadoop集群内部的通信不受防火墙限制。
3. **SELinux配置**：
SELinux（Security-Enhanced Linux）是一个强大的安全模块，文中提到将SELinux设置为disabled状态，以避免可能由于安全策略带来的潜在问题。在`/etc/selinux/config`文件中更改`SELINUX`变量值为`disabled`。
4. **时间同步**：
对于时间管理，文档强调了集群内的时间同步，通过`date`命令设置统一的时间，以及使用`hwclock`命令校准硬件时钟，并检查时间和时区设置。此外，还涉及到了通过NTP（Network Time Protocol）服务进行跨主机时间同步，确保所有节点的时间保持一致。
5. **文件系统挂载和软件包安装**：
文档中提到了使用`yum install -y ntp`来安装NTP服务，并且建议挂载外部介质（如/dev/sr0）到mnt目录下，以便进行必要的软件包安装或配置文件更新。
6. **NTP配置**：
在hadoop001节点上，通过编辑`/etc/ntp.conf`文件，设置了NTP服务器地址为127.127.1.0，使用`burst`选项加速时间同步，并指定了本地时钟作为优先源。
7. **集群时间同步目标**：
文档明确指出，hadoop001作为时钟同步的基准，而hadoop002和hadoop003应与之保持时间同步。
这篇文档详细描述了如何在CDH 5.16.1环境中部署和配置一个Hadoop集群，包括基础网络设置、防火墙管理、SELinux安全设置、时间同步和NTP配置，确保集群环境的稳定性和一致性。对于Hadoop管理员或想要部署此类集群的读者来说，这是非常实用的参考资料。
我的内容管理
展开
