CentOS 6.5上搭建CDH 5.6 Hadoop集群RPM安装教程

本篇文档是关于在 CentOS 6.5 系统上使用 Cloudera Hadoop 集群的实战教程，着重于通过 RPM 包进行安装和配置。以下是文章的主要知识点： 1. **实验环境**： 文档开始介绍了实验的基础环境，包括操作系统（CentOS 6.5）、Hadoop 分布式计算框架版本（CDH 5.6）。这表明读者将学习如何在一个稳定的 Linux 发行版上搭建一个企业级的 Hadoop 集群。 2. **操作系统设置**： - **IP设置**：确保网络连接正常，可能涉及静态或动态IP分配，以便各个节点间的通信。 - **Hostname和hosts设置**：为了方便管理和识别节点，设置了主机名和/或更新hosts文件，使得各节点间能够互相识别。 - **SELinux设置**：SELinux 是 CentOS 的安全增强模块，可能会对 Hadoop 的某些操作产生影响，需确保正确配置以避免权限问题。 - **防火墙设置**：可能涉及到防火墙规则的配置，允许必要的端口和服务通过，如HTTP和Hadoop的服务端口。 3. **配置Apache HTTPD**： - 验证httpd服务是否已安装，如果未安装则进行安装。 - 启动 httpd 服务，以提供 Web 访问和管理界面。 4. **安装 Java JDK**： - 使用 yum 安装 Oracle JDK 1.7.0_67，这是 Hadoop 所需的基础组件。 - 配置 Java 环境变量，设置 JAVA_HOME 及其可执行替代链接，确保 Java 在系统路径中可用。 5. **安装 Cloudera Manager Agent**： - 在每个节点上安装 Cloudera Manager Agent，这是 Cloudera 管理工具的一部分，用于监控和管理整个集群。 6. **安装 Cloudera Manager Server DB**： - 在专门作为 Cloudera Manager 服务器的节点上安装 Cloudera Manager Server DB，用于存储集群状态和配置信息。 7. **安装后的检查**： - 通过 `rpm -qa | grep -ic loudera` 检查安装的 Cloudera 软件包，确认安装成功。 - 利用 `chkconfig` 命令查看 Cloudera 服务的状态，确认服务是否已正确启用。 8. **启动 Cloudera 服务**： - 通过 `service cloudera-scm-server-db start` 启动 Cloudera Service Monitor (SCM) 服务器，这是集群管理的重要部分。 9. **最后的命令提示**： 提供了一个 `[root@elephant~]#` 行，暗示着后续可能还有其他配置步骤或验证步骤，如安装 HDFS、YARN、MapReduce 等组件，或者设置用户和权限等。 总结来说，这篇文档详细地指导了如何在 CentOS 6.5 上通过 RPM 安装 CDH 5.6，并配置基础环境和关键服务，为后续的 Hadoop 集群运维奠定了基础。通过这些步骤，读者可以了解如何搭建一个稳定、可管理的 Cloudera Hadoop 集群环境。