Centos 6 Hadoop Cloudera集群部署教程：JDK安装与yum源配置

本文档详细介绍了如何在CentOS 6环境中安装和部署Cloudera Hadoop集群，包括系统环境配置、OpenJDK的卸载、JDK的安装以及相关环境变量的设置。以下是主要内容的详细解析： 1. **系统环境**： - 配置的集群由4台服务器组成，其中master节点拥有较高的硬件配置（8核CPU，64GB内存，1TB存储），其他节点配置相似，所有节点都具备1000M网卡，并且在内网环境中。 2. **准备工作**： - **卸载OpenJDK**：由于系统可能预装有OpenJDK，首先通过`java-version`命令检查并确认存在，然后找到相关包（如`java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64`等），并使用`yum remove`命令卸载。 3. **安装JDK（所有节点）**： - 从官方下载JDK 7u79版本（`jdk-7u79-linux-x64.tar.gz`），创建目录`/usr/java`来存放JDK文件。 - 使用`tar`命令解压JDK到指定路径，然后编辑`/etc/profile`文件以添加环境变量，设置`JAVA_HOME`、`CLASSPATH`和`PATH`，以便系统可以识别JDK。 4. **环境变量配置**： - 创建`/usr/java/jdk1.7.0_79`目录作为JDK安装目录，然后更新环境变量，使系统在启动时能自动加载JDK。可以使用`source /etc/profile`立即生效配置，或者重启系统使更改永久生效。 5. **验证环境变量**： - 完成环境变量设置后，可以通过`echo $JAVA_HOME`和`echo $CLASSPATH`命令来检查环境变量是否已正确设置，确保`JAVA_HOME`指向正确的JDK路径，`CLASSPATH`包含JDK库目录。 在整个过程中，文档还提到了Impala的使用，虽然没有直接涉及Impala的具体安装或配置，但可以推测这可能是在一个完整的Cloudera大数据环境中的一部分，因为Impala是Cloudera提供的列式查询工具，通常与Hadoop集成。此外，由于提到的`yum本地源`，可能是在集群环境中使用本地镜像加速软件包的安装，特别是在处理大量数据或网络不稳定时。 这篇文档是一个实用的指南，适合那些需要在CentOS环境下搭建Cloudera Hadoop集群，且希望优化软件包管理的用户参考。通过这些步骤，读者可以有效地配置和管理自己的Hadoop集群，确保Java环境的正确性和性能。