CentOS7.0编译Hadoop3.0全攻略:图文并茂
需积分: 10 107 浏览量
更新于2024-09-09
收藏 98KB DOCX 举报
"这篇文档是关于在Centos7.0系统上编译Hadoop 3.0的详细步骤,包括必要的准备工作、源码获取与修正、CMAKE和protobuf的安装等。"
在这篇详尽的Hadoop编译文档中,首先强调了两个基本的预备条件:运行Centos7.0操作系统并且已经配置好YUM源,以及安装了JDK1.8并配置好环境变量。这两个条件是确保后续编译过程顺利进行的基础。
接着,文档介绍了编译的详细流程。首先,你需要从Apache的官方网站下载Hadoop 3.0的源码包,例如从http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0-src.tar.gz获取。下载完成后,将安装包上传到服务器并解压,得到hadoop-3.0.0-src目录。
在源码目录下,文档指出需要修正一个依赖错误。在pom.xml文件中找到关于org.apache.maven.doxia的依赖,将<version>1.8-SNAPSHOT</version>修改为<version>1.8</version>,以解决因找不到该版本导致的编译问题。
然后,检查CMAKE的版本。如果版本低于3.1,需要安装更新的版本。这涉及几个步骤:安装gcc-c++、make等依赖,下载cmake-3.10.2的安装包,上传并解压,然后在源码目录下执行./configure、make -j8和make install命令来安装。最后,通过cmake --version确认安装成功。
接下来,文档指导安装protobuf-2.5.0,因为这是Hadoop编译所需的特定版本。下载protobuf-2.5.0源码,执行configure命令指定安装路径,如--prefix=/home/protobuf,然后运行make && make install来安装。根据个人选择,可以配置环境变量或将安装目录添加到PATH中。
至此,文档涵盖了Hadoop编译过程中关键的准备和配置步骤。完成这些步骤后,你就可以继续按照文档中的指示进行编译和安装其他依赖,最终构建自己的Hadoop 3.0环境。这个过程对于理解Hadoop的内部结构,以及自定义配置和优化部署都是非常有帮助的。
2018-07-13 上传
2017-07-11 上传
2014-10-04 上传
2019-04-26 上传
2014-12-18 上传
2016-09-14 上传
menghuanguaishou
- 粉丝: 8
- 资源: 12
最新资源
- SSM Java项目:StudentInfo 数据管理与可视化分析
- pyedgar:Python库简化EDGAR数据交互与文档下载
- Node.js环境下wfdb文件解码与实时数据处理
- phpcms v2.2企业级网站管理系统发布
- 美团饿了么优惠券推广工具-uniapp源码
- 基于红外传感器的会议室实时占用率测量系统
- DenseNet-201预训练模型:图像分类的深度学习工具箱
- Java实现和弦移调工具:Transposer-java
- phpMyFAQ 2.5.1 Beta多国语言版:技术项目源码共享平台
- Python自动化源码实现便捷自动下单功能
- Android天气预报应用:查看多城市详细天气信息
- PHPTML类:简化HTML页面创建的PHP开源工具
- Biovec在蛋白质分析中的应用:预测、结构和可视化
- EfficientNet-b0深度学习工具箱模型在MATLAB中的应用
- 2024年河北省技能大赛数字化设计开发样题解析
- 笔记本USB加湿器:便携式设计解决方案