CDH5.1手动部署教程：全面配置与服务器规划

本文档详细介绍了如何通过Cloudera Manager (CM) 手动安装CDH 5.1，一个流行的Hadoop发行版，用于分布式大数据处理。CDH 5.1包含多个组件，如HDFS、YARN、Hive、Hue、Oozie、Sqoop和Spark（后者建议单独安装），以及HBase，特别指出线上生产环境中HBase需要独立部署以避免与Hive大规模数据处理冲突。 安装过程首先要求有特定的硬件和操作系统环境，例如CentOS 6的64位机器，每台至少6GB内存和40GB磁盘空间，同时安装Python 2.6或2.7。支持的数据库是MySQL 5.5或5.6，用于存储部分元数据。JDK 7.55或JDK 8.40及以上版本也是必需的。主要的软件包包括`cloudera-manager-el6-cm5.1.0_x86_64.tar.gz`，可以从Cloudera的官方仓库下载。 安装前需要进行系统环境的准备工作，包括网络配置，确保所有节点的`/etc/sysconfig/network`中的hostname被正确设置，并使用`servicenetworkrestart`命令重启网络服务。Hosts文件中也需要定义所有节点的IP地址和别名，以便于SSH无密码登录。在这个过程中，推荐在安装和升级期间禁用SSH密码登录，安装完成后恢复设置。 此外，本文档还特别提到，在主节点上使用`ssh-keygen`生成RSA密钥对，以便后续无需密码即可SSH到集群中的主机，以root用户身份进行操作。整个安装过程旨在确保CDH 5.1在指定环境下顺利部署和运行。 这篇文档提供了详尽的指南，覆盖了从硬件要求、操作系统设置、数据库配置、JDK选择，到网络、Hosts文件和SSH安全设置等安装步骤，对于那些希望通过手动方式搭建CDH 5.1集群的读者来说，是不可或缺的参考资源。