CentOS 6 安装CDH5.7：步骤与环境配置详解

本文将详细介绍在 CentOS 6 系统上安装 CDH (Cloudera Hadoop Distribution) 版本 5.7 的详细步骤，包括安装前的必要准备工作、JDK环境设置、MySQL连接配置，以及系统层面的特定调整。以下是详细的安装流程： 1. 安装前的准备工作 - 确保您的CentOS 6系统是最新的，并且所有系统组件如NTP时间同步已经启用，因为集群操作依赖于一致的时间。可以通过Google NTP服务或者国内的NTP服务器来同步。 - 为了方便管理，确保所有主机间的SSH通信已启用，并且使用root权限进行。 2. JDK环境 - 首先，从Oracle官方下载JDK 7u79的Linux x64版本：[下载链接](http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html)。 - 安装完成后，将默认安装路径`/usr/local/jdk1.7.0_79`创建软链接，分别指向`/usr/local/java`、`/usr/share/java`和`/usr/java/jdk1.7`，以便后续操作。 - 添加环境变量`JAVA_HOME`指向`/usr/local/java`，并将`JAVA_HOME/bin`加入到`PATH`环境变量中，以便系统能够识别并调用Java。 3. MySQL连接 - 下载MySQL Connector/J版本5.1.47，解压后将`.jar`文件放到`/usr/local/`目录下，重命名以简化管理。 - 配置系统环境，确保能够通过这个JDBC驱动连接MySQL数据库。 4. CDH安装 - 从Cloudera官方仓库下载Cloudera Manager安装包：`cloudera-manager-el6-cm5.7.0_x86_64.tar.gz`。 - 同时下载CDH的Parcel包，如`CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel`，以及其相关的SHA1校验文件和manifest.json文件。 - 这些Parcel包是CDH软件组件的分发单元，包含了Hadoop和相关工具的安装。 5. 系统环境设置 - 关闭防火墙和SELinux以提高安装效率，但请注意在生产环境中可能需要开启防火墙策略以保护集群。 - 在`/etc/hosts`文件中添加集群内各服务器的IP地址与主机名解析，以便于服务发现。 - 为了优化内存管理，将`/proc/sys/vm/swappiness`重定向至0，避免不必要的交换空间使用，同时将`/sys/kernel/mm/transparent_hugepage/enabled`设为`never`，以禁用透明大页，减少内存碎片。 本文详细介绍了在CentOS 6系统上安装CDH 5.7的关键步骤，包括JDK配置、MySQL集成以及系统环境的调整，这些都对构建和维护一个高效、稳定的Hadoop集群至关重要。在实际操作时，请确保遵循最佳实践，并根据您的具体需求进行定制化配置。