CentOS7.0编译Hadoop3.0全攻略:图文并茂
需积分: 10 175 浏览量
更新于2024-09-09
收藏 98KB DOCX 举报
"这篇文档是关于在Centos7.0系统上编译Hadoop 3.0的详细步骤,包括必要的准备工作、源码获取与修正、CMAKE和protobuf的安装等。"
在这篇详尽的Hadoop编译文档中,首先强调了两个基本的预备条件:运行Centos7.0操作系统并且已经配置好YUM源,以及安装了JDK1.8并配置好环境变量。这两个条件是确保后续编译过程顺利进行的基础。
接着,文档介绍了编译的详细流程。首先,你需要从Apache的官方网站下载Hadoop 3.0的源码包,例如从http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0-src.tar.gz获取。下载完成后,将安装包上传到服务器并解压,得到hadoop-3.0.0-src目录。
在源码目录下,文档指出需要修正一个依赖错误。在pom.xml文件中找到关于org.apache.maven.doxia的依赖,将<version>1.8-SNAPSHOT</version>修改为<version>1.8</version>,以解决因找不到该版本导致的编译问题。
然后,检查CMAKE的版本。如果版本低于3.1,需要安装更新的版本。这涉及几个步骤:安装gcc-c++、make等依赖,下载cmake-3.10.2的安装包,上传并解压,然后在源码目录下执行./configure、make -j8和make install命令来安装。最后,通过cmake --version确认安装成功。
接下来,文档指导安装protobuf-2.5.0,因为这是Hadoop编译所需的特定版本。下载protobuf-2.5.0源码,执行configure命令指定安装路径,如--prefix=/home/protobuf,然后运行make && make install来安装。根据个人选择,可以配置环境变量或将安装目录添加到PATH中。
至此,文档涵盖了Hadoop编译过程中关键的准备和配置步骤。完成这些步骤后,你就可以继续按照文档中的指示进行编译和安装其他依赖,最终构建自己的Hadoop 3.0环境。这个过程对于理解Hadoop的内部结构,以及自定义配置和优化部署都是非常有帮助的。
2018-07-13 上传
2017-07-11 上传
2014-10-04 上传
2019-04-26 上传
2014-12-18 上传
2016-09-14 上传
menghuanguaishou
- 粉丝: 9
- 资源: 12
最新资源
- component-dev-test
- 编辑偏好
- conceitos-do-react
- zendea:使用Go语言编写的免费,开放源代码,自托管的论坛软件官方QQ群:656868
- DESTOON_8.0_BIZ_完整包20210518.zip
- 电子元器件识别(含图片).zip
- framework:个人的、React性的、开放的、私密的、安全的。 拥有和控制您的数据
- 【QGIS跨平台编译】之【MiniZip跨平台编译】:MacOS环境下编译成果(支撑QGIS跨平台编译,以及二次研发)
- mxjs-dropdown-menu
- MLIC:生成可解释的分类规则的新框架
- MusicBox.NET-开源
- 行业分类-设备装置-航拍无人机水上降落平台及降落方法.zip
- RDD:偶然推断RDD复制
- technical_assistant
- 斗地主单机版.zip易语言项目例子源码下载
- asp源码-C9静态文章发布系统 v1.0.zip