虚拟机单机版Hadoop启动
时间: 2025-01-02 09:33:44 浏览: 6
### 启动单节点Hadoop环境于虚拟机中的方法
#### 准备工作
确保已按照相关文档完成Hadoop的安装以及依赖项配置[^1]。对于测试或初步了解Hadoop而言,在单一机器上的部署已经足够。
#### 配置文件调整
编辑`$HADOOP_HOME/etc/hadoop/core-site.xml` 文件来设置必要的参数,比如指定临时目录的位置:
```xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
```
同样地,修改 `$HADOOP_HOME/etc/hadoop/mapred-site.xml` 来指明MapReduce框架使用的JobTracker地址:
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
最后更新 `yarn-site.xml`, 设置ResourceManager位置以及其他YARN特定属性:
```xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
#### 初始化并启动服务
初始化NameNode元数据存储之前,请先格式化Namenode:
```bash
hdfs namenode -format
```
接着可以利用脚本来一次性开启所有必需的服务组件:
```bash
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
```
此时应该可以在浏览器访问Web界面查看集群状态,默认端口分别为8088 (Resource Manager UI), 50070 (Name Node Web Console)。
阅读全文