Ubuntu环境下搭建CDH完全分布式集群详解

"基于Ubuntu 14.04.3的完全分布式CDH集群（Cloudera Manager）搭建教程，适用于3台服务器环境，包括CDH和CM的离线安装及配置" 本文将详细介绍如何在Ubuntu 14.04.3系统上利用Cloudera Manager（CM）搭建一个完全分布式的CDH（Cloudera Distribution Including Apache Hadoop）集群。首先，我们需要了解搭建环境的基本信息，包括三台服务器的IP地址以及操作系统和JDK版本： 192.168.0.41 - master（主节点） 192.168.0.40 - slave1（从节点1） 192.168.0.42 - slave2（从节点2） 操作系统：Ubuntu 14.04.3 JDK版本：1.8.0_144 关键步骤如下： 1. **环境准备**： - 确保所有节点的hostname正确设置，如master、slave1和slave2。 - 在所有节点的`/etc/hosts`文件中，添加彼此的IP和hostname映射。 - 配置SSH免密码登录，便于在各节点间进行无干扰的操作。可以参照指定链接进行设置。 - 关闭防火墙，Ubuntu系统中使用`ufw disable`命令。 2. **安装JDK**： - 安装JDK 1.8.0_144或更高版本。如果没有安装，可以参考相关教程进行安装。 3. **安装Cloudera Manager**： - 下载`cloudera-manager-trusty-cm5.11.0_amd64.tar.gz`，这是CM的安装包。 - 解压并执行安装脚本，按照提示进行配置。 4. **配置CDH集群**： - 获取CDH的parcel文件，如`CDH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel`和对应的SHA校验文件。 - 将这些文件上传到CM服务器的Parcel目录下，并进行校验。 - 在CM管理界面中，添加新Parcel，指向已上传的CDH parcel。 - 分发和激活Parcel到所有节点。 5. **启动服务**： - 在CM管理界面中，按照集群配置引导，依次启动Zookeeper、HDFS、YARN、MapReduce2、Hive等服务。 6. **配置集群**： - 根据需求，配置HDFS的存储策略、HBase的RegionServer分配、Spark的工作节点等。 - 确保所有服务健康运行，可以在CM界面中监控服务状态。 7. **验证集群**： - 使用`hadoop fs -ls /`命令检查HDFS是否正常工作。 - 运行MapReduce或Spark示例任务，验证计算层功能。 8. **安全性和监控**： - 根据生产环境需求，可以启用Kerberos以提供身份验证和授权。 - 安装和配置Cloudera Navigator以监控集群性能和数据使用情况。 9. **维护和更新**： - 定期检查Cloudera Manager的更新，确保集群运行在最新稳定版上。 - 监控硬件资源，合理规划和调整资源分配。 通过以上步骤，您将在Ubuntu 14.04.3环境下成功搭建一个完全分布式的CDH集群。需要注意的是，整个过程需要耐心和细致，尤其是在配置和优化阶段。同时，保持对Cloudera官方文档和社区的支持是至关重要的，它们能帮助解决可能遇到的问题。