CentOS上自编64位HADOOP详细步骤：从源码到安装

HADOOP编译步骤对于在 CentOS 64 位系统上安装 64 位版本的 Hadoop 是至关重要的。由于官网提供的通常是 32 位版本，如果你需要构建 64 位 Hadoop，你需要按照特定的步骤进行自定义编译。以下是一个详细的编译流程： 1. **环境准备**： - 首先确保你的 CentOS 系统已经安装了必要的开发工具包，如 `svn`, `autoconf`, `automake`, `libtool`, `ncurses-devel`, `openssl-devel`, `gcc`, `lzo-devel`, `zlib-devel`, `protobuf`, `cmake`。这些库是 Hadoop 构建所必需的基础组件。 2. **下载 Maven**： - Maven 是一个强大的项目管理和构建工具，对于 Hadoop 的构建至关重要。你需要从官方 Apache Maven 网站下载最新版本（在这个例子中是 3.2.3），解压并将其移动到 `/usr/local/apache-maven` 目录下。 - 在 `.bashrc` 或 `.bash_profile` 中添加 Maven 的路径，使系统能够在终端中全局访问 Maven。 3. **下载 Hadoop 源码**： - 从镜像站点下载 Hadoop 2.5.1 的源代码 tar.gz 文件，然后使用 SVN 检出 Apache Hadoop 的最新版本到本地。 4. **构建 Hadoop**： - 进入 Hadoop 源码目录，执行以下命令： - `./configure`：这是配置阶段，会检查系统的兼容性并设置构建选项。 - `make`：开始编译 Hadoop 的核心组件。 - `makecheck`：执行测试，确保编译后的代码质量。 - `make install`：将编译好的 Hadoop 安装到系统中。 5. **验证 Protobuf**： - Hadoop 依赖 Protobuf，确保你已经正确安装了 Protobuf（在这个例子中指定的是 2.5.0 版本），并通过 `protoc --version` 检查其版本。 6. **提交代码**： - 如果使用 SVN，使用 `svn checkout` 命令检出指定的 Hadoop 版本到本地仓库，并进行清理、打包和编译操作。 7. **注意事项**： - 请确保在进行编译之前，所有的依赖包都已经安装并且是最新的，否则可能会导致编译失败。 - `skipTests` 参数用于跳过测试，这可以加快编译速度，但请根据实际情况决定是否执行。 HADOOP的编译步骤涉及到了从源代码获取、环境配置、编译测试到安装的完整过程，需要注意的是，不同的 Hadoop 版本可能对某些库的依赖有所变化，因此在实际操作时，请根据最新的官方文档进行调整。