搭建hadoop编译环境
时间: 2024-04-18 08:21:24 浏览: 161
Hadoop搭建过程
3星 · 编辑精心推荐
搭建Hadoop编译环境的步骤如下[^1]:
1. 在Hadoop安装目录下,即`/opt/module/hadoop`路径下,修改以下四个配置文件:`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`、`mapred-site.xml`。根据你的需求进行相应的配置。
2. 将编写好的四个配置文件同步到其他两台服务器上,例如`hadoop002`和`hadoop003`。使用`scp`命令将配置文件复制到对应的服务器上,命令如下:
```shell
scp core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml root@hadoop002:/opt/module/hadoop-3.1.3/etc/hadoop
```
3. 启动YARN(资源管理器)。在`hadoop002`服务器上执行以下操作:
- 进入`~/hadoop/sbin`目录。
- 执行`./start-yarn.sh`命令启动YARN。
- 使用`jps`命令检查YARN是否成功启动。
4. 在`hadoop003`服务器上,使用`jps`命令检查YARN是否成功启动。
阅读全文