CentOS7.0编译Hadoop3.0全攻略:图文并茂

需积分: 10 2 下载量 107 浏览量 更新于2024-09-09 收藏 98KB DOCX 举报
"这篇文档是关于在Centos7.0系统上编译Hadoop 3.0的详细步骤,包括必要的准备工作、源码获取与修正、CMAKE和protobuf的安装等。" 在这篇详尽的Hadoop编译文档中,首先强调了两个基本的预备条件:运行Centos7.0操作系统并且已经配置好YUM源,以及安装了JDK1.8并配置好环境变量。这两个条件是确保后续编译过程顺利进行的基础。 接着,文档介绍了编译的详细流程。首先,你需要从Apache的官方网站下载Hadoop 3.0的源码包,例如从http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0-src.tar.gz获取。下载完成后,将安装包上传到服务器并解压,得到hadoop-3.0.0-src目录。 在源码目录下,文档指出需要修正一个依赖错误。在pom.xml文件中找到关于org.apache.maven.doxia的依赖,将<version>1.8-SNAPSHOT</version>修改为<version>1.8</version>,以解决因找不到该版本导致的编译问题。 然后,检查CMAKE的版本。如果版本低于3.1,需要安装更新的版本。这涉及几个步骤:安装gcc-c++、make等依赖,下载cmake-3.10.2的安装包,上传并解压,然后在源码目录下执行./configure、make -j8和make install命令来安装。最后,通过cmake --version确认安装成功。 接下来,文档指导安装protobuf-2.5.0,因为这是Hadoop编译所需的特定版本。下载protobuf-2.5.0源码,执行configure命令指定安装路径,如--prefix=/home/protobuf,然后运行make && make install来安装。根据个人选择,可以配置环境变量或将安装目录添加到PATH中。 至此,文档涵盖了Hadoop编译过程中关键的准备和配置步骤。完成这些步骤后,你就可以继续按照文档中的指示进行编译和安装其他依赖,最终构建自己的Hadoop 3.0环境。这个过程对于理解Hadoop的内部结构,以及自定义配置和优化部署都是非常有帮助的。