hadoop配置历史服务器
时间: 2024-04-27 22:20:18 浏览: 107
要配置Hadoop的历史服务器,可以按照以下步骤进行:
1. 在hadoop配置文件 core-site.xml 中添加以下内容:
```
<property>
<name>hadoop.job.history.server.address</name>
<value>hostname:port</value>
</property>
```
其中,hostname是历史服务器的主机名或IP地址,port是历史服务器的端口号。
2. 在hadoop配置文件 mapred-site.xml 中添加以下内容:
```
<property>
<name>mapreduce.jobtracker.jobhistory.location</name>
<value>hdfs://namenode:port/path/to/history/directory</value>
</property>
```
其中,namenode是NameNode的主机名或IP地址,port是NameNode的端口号,path/to/history/directory是历史数据存储目录。
3. 在历史服务器上启动JobHistoryServer守护进程:
```
$ bin/mapred --daemon start historyserver
```
4. 访问历史服务器的Web界面,可以查看历史任务的统计信息:
```
http://hostname:port/jobhistory
```
其中,hostname是历史服务器的主机名或IP地址,port是历史服务器的端口号。
阅读全文