VMware下CDH 5.7.0 Hadoop集群在测试环境的部署教程

该文档详细介绍了如何在CDH 5.7.0环境中基于VM虚拟机搭建Hadoop集群，主要针对的是测试环境，但也适用于实际部署。具体步骤如下： 1. **环境准备**： - 使用VMware Workstation Pro 12创建虚拟机，规划三台服务器，配置为一主两备模式，每台虚拟机分配1C CPU，3GB内存，20GB磁盘空间。 - 选择64位Linux操作系统，建议使用RHEL Server 6.5-x86_64版本。 2. **主机配置**： - 主机安装：安装RHEL 6.5，采用图形界面引导安装，选择最小模式安装，后续根据需要添加组件。主机名设为red01，IP地址为192.168.57.1。 - 复制主机：安装完成后，复制或克隆两份主机，改名red02和red03，注意更新mac地址，配置ifcfg-eth0和hostname以适应新mac和主机名。 3. **系统优化**： - 关闭SELinux，以避免可能的权限问题：编辑/etc/sysconfig/selinux，将SELINUX设为disabled，重启系统。 - 避免透明大页面（Transparent Huge Pages）干扰性能：在/etc/rc.local中添加命令，禁用透明大页。 4. **依赖组件安装**： - 主要依赖：在master主机上安装MySQL，所有机器上安装Java、mysql-java-connect。可以选择通过本地光盘或网络yum安装，或者下载对应版本的安装包手动安装。 5. **Hadoop配置**： - 安装CDH 5.7.0版本的Hadoop，选择Hadoop 2.6.0版本，同时确保使用Java 1.7。元数据存储通常使用MySQL。 通过以上步骤，用户可以构建一个基础的CDH 5.7.0 Hadoop集群，适合于开发和维护测试。在实际操作时，可能需要根据实际需求调整资源分配，并且要确保网络连接稳定，以保证大数据处理的效率和可靠性。此外，文档未提及的其他配置如HDFS和MapReduce的具体设置、安全性和容错机制也应在实际部署时予以关注。