Redhat 7.6 CDH 6.3.3 集群部署详述

本文档详细介绍了在Red Hat 7.6操作系统环境下安装CDH 6.3.3大数据集群的步骤。由于CDH 6.3.3是2020年2月4日发布的版本，自此以后，Cloudera不再提供免费的CDH版本，用户需通过试用或购买许可证来获取安装包和使用权。 首先，操作环境设定为Red Hat 7.6操作系统，集群类型为CDH 6.3.3，主要由root用户进行操作。在安装前，有以下关键步骤： 1. **网络设置**：为了确保通信顺畅，文档建议修改网络接口的IP地址，设置为静态IP，通过编辑`/etc/sysconfig/network-scripts/ifcfg-ens192`文件来实现。 2. **Yum源配置**：为了从官方或第三方源获取CDH的相关软件包，首先需要挂载系统镜像文件，这需要确保镜像文件与系统版本匹配。例如，通过`cat /etc/redhat-release`命令确认系统版本，然后在`/media/DVD`目录下挂载镜像，通过`mount -oloop dev/cdrom/media/DVD/`命令执行挂载，并通过`df -h`检查挂载是否成功。 3. **安装Apache httpd**：在某些步骤中，可能需要一个Web服务器作为基础服务，因此会安装httpd。 4. **准备交互式脚本**：为了自动化安装过程，可能会创建交互式脚本来指导用户进行操作，如输入数据库信息等。 5. **主机名和Selinux管理**：文档提及了主机名的设置以及如何禁用Selinux，这是为了优化系统安全和性能。 6. **防火墙、透明大页面和swappiness设置**：关闭防火墙以允许必要的网络通信，同时调整内存相关设置以提高性能。 7. **安装NTP时间同步**：确保所有节点的时间同步对于集群管理至关重要。 8. **安装数据库**：根据需求，可能需要安装数据库，如Hadoop的HBase等。 9. **集群部署安装**：文档的核心部分是集群的部署，包括安装和启动Cloudera Manager Server，通过Cluster Manager安装工具引导用户完成CDH组件的安装。具体步骤包括登录CM，选择试用期，指定安装主机，配置存储库，安装JDK，以及后续的SSH登录和主机配置验证。 10. **组件安装**：根据需求安装具体的CDH组件，如HDFS、YARN、Hive、Pig等。 11. **数据库连接测试**：安装完成后，对数据库连接进行测试，确保集群组件能正常通信。 12. **总结**：最后，文档对整个安装过程进行了总结，强调了每个阶段的重要性，并提醒读者在正式环境中可能需要的额外步骤和注意事项。 本文档是一份实用的指南，详细记录了在Red Hat 7.6系统中安装CDH 6.3.3集群的完整流程，适合在实际项目中参考。