CDH三节点安装与卸载详细教程

"CDH集群搭建手册，涵盖了从下载到卸载的完整流程，适用于CentOS 6.8系统，包括CM和CDH组件的安装，JDK的配置，SSH互信，NTP服务，Mysql安装，以及解决Hive和Oozie连接问题。" 在大数据领域，CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司提供的一个全面、管理式的大数据平台，包含了多个开源项目如Hadoop、HBase、Spark等。本手册主要针对CDH三节点集群的搭建过程，适合初学者和希望深入了解CDH部署的IT专业人士。 首先，安装CDH之前，确保所有主机名不包含特殊字符，这是为了符合Linux系统的命名规范。接着，你需要从官方指定的地址下载所需软件包，包括CM（Cloudera Manager）、CDH组件以及JDK。JDK是Java开发工具包，是运行Hadoop及其相关组件所必需的环境。 下载完成后，通过RPM命令安装所有rpm包。对于JDK，需要先进行解压缩，然后修改环境变量以确保系统能够找到并使用JDK。你可以通过修改`~/.bashrc`或`/etc/profile`文件来设置环境变量，并使用`source`命令使其生效。验证JDK安装成功，可以运行`java -version`命令查看版本信息。 建立SSH互信是CDH集群中非常关键的一步，它允许节点之间无密码安全地通信。在所有节点上执行SSH公钥复制命令，以实现自动信任。 接着，安装NTP服务以确保集群内所有节点的时间同步，这对于分布式计算来说至关重要。禁用防火墙，因为防火墙可能阻止集群服务之间的通信。 在主节点上安装MySQL，因为Cloudera Manager（CM）需要数据库来存储配置信息。如果在安装过程中遇到问题，可以参考提供的解决方案，例如调整`swappiness`参数和透明大页设置。 Hive连接失败通常是由于缺少正确的JDBC驱动导致的，你需要将MySQL JDBC驱动复制到Hive的lib目录下。同样，Oozie连接失败也需要在对应的lib和libext目录下放置MySQL驱动包。 最后，卸载CDH集群时，要确保所有服务已经关闭，并按照特定顺序执行卸载脚本和停止服务。 总结来说，本手册详细阐述了CDH集群在CentOS 6.8环境下的搭建和卸载步骤，涉及的关键操作包括环境准备、软件安装、配置优化以及问题排查，是学习和实践CDH部署的宝贵资源。