Hadoop伪分布式集群包含哪些守护进程
时间: 2024-11-10 09:12:47 浏览: 14
linux虚拟机搭建hadoop伪分布式集群
Hadoop的伪分布式模式是一种用于本地开发和测试环境的部署方式,它模拟了完整的Hadoop分布式系统的行为,但不需要启动真正的分布式守护进程。在Hadoop伪分布式模式下,主要包括以下几个守护进程:
1. **Hadoop daemons** (核心守护进程):
- `localhost` 上运行的 `NameNode`:作为文件系统的命名空间管理者。
- `JobTracker`:在单节点上管理任务调度,负责作业管理和资源分配。
2. **Hadoop配置**:
- 需要在 `conf` 文件夹下设置 `hadoop-site.xml` 来模拟真实的HDFS和YARN配置,比如 `fs.defaultFS` 设置为本地文件系统 (`file:///`) 和 `mapreduce.framework.name` 设置为 "local"。
3. **MapReduce本地模式**:
- `TaskTracker` 被替换为 `LocalTaskRunner`,这个是在每个任务提交的时候,由 `JobClient` 创建并在本地执行的。
4. **其他辅助工具**:
- `SecondaryNameNode`:虽然不需要在伪分布模式下运行,但如果启用,也应在本地运行。
阅读全文