Hadoop伪分布式集群包含哪些守护进程

Hadoop的伪分布式模式是一种用于本地开发和测试环境的部署方式，它模拟了完整的Hadoop分布式系统的行为，但不需要启动真正的分布式守护进程。在Hadoop伪分布式模式下，主要包括以下几个守护进程：

1. **Hadoop daemons** (核心守护进程):
- `localhost` 上运行的 `NameNode`：作为文件系统的命名空间管理者。
- `JobTracker`：在单节点上管理任务调度，负责作业管理和资源分配。

2. **Hadoop配置**：
- 需要在 `conf` 文件夹下设置 `hadoop-site.xml` 来模拟真实的HDFS和YARN配置，比如 `fs.defaultFS` 设置为本地文件系统 (`file:///`) 和 `mapreduce.framework.name` 设置为 "local"。

3. **MapReduce本地模式**：
- `TaskTracker` 被替换为 `LocalTaskRunner`，这个是在每个任务提交的时候，由 `JobClient` 创建并在本地执行的。

4. **其他辅助工具**：
- `SecondaryNameNode`：虽然不需要在伪分布模式下运行，但如果启用，也应在本地运行。

相关问题

Hadoop伪分布集群包含哪些守护进程？

Hadoop伪分布集群是指在一个单机上模拟Hadoop集群环境，主要用于测试和开发阶段。在这种模式下，所有Hadoop守护进程（Datanodes, NameNode, SecondaryNameNode, TaskTracker, JobTracker等）都在本地运行，但它们之间仍然通过虚拟网络通信机制进行交互。常见的Hadoop守护进程有：

1. **NameNode (NN)**：主命名节点，负责维护文件系统的元数据，如目录结构和块映射信息。

2. **Secondary NameNode (SBN)**：辅助NameNode，定期从NameNode接收快照，并进行数据合并，减轻主NameNode的压力。

3. **DataNodes (DN)**：数据节点，存储实际的数据块，响应客户端的读写请求。

4. **JobTracker (JT)**：任务跟踪者，在MapReduce模式下管理作业的调度和执行。

5. **TaskTracker (TT)**：在旧版本中存在，负责分配和执行MapReduce任务。

6. **ResourceManager (RM)** 和 **NodeManager (NM)**：YARN架构下的资源管理和工作节点管理，分别负责作业调度和容器管理。

7. **ResourceManager (RM)**：在YARN架构下，代替了JobTracker的角色，负责作业调度。

8. **HistoryServer (HS)**：在Hadoop 2.0及以上版本，保存Job历史记录供应用程序查询。

每个守护进程都扮演着重要的角色，共同构建了一个能够处理分布式数据处理的应用环境。

启动hadoop伪分布式集群

启动Hadoop伪分布式集群的步骤如下：
1. 启动Hadoop集群中的所有守护进程，包括NameNode、DataNode、SecondaryNameNode和ResourceManager、NodeManager。在终端中输入以下命令：

   $HADOOP_HOME/sbin/start-dfs.sh
   $HADOOP_HOME/sbin/start-yarn.sh

2. 检查Hadoop集群是否已经启动。在终端中输入以下命令：

   jps

如果成功启动，将会看到类似以下的输出：

   12345 NameNode
   23456 DataNode
   34567 SecondaryNameNode
   45678 ResourceManager
   56789 NodeManager

3. 访问Hadoop管理页面，查看集群状态。在浏览器中输入以下地址：

   http://localhost:50070/dfshealth.html
   http://localhost:8088/cluster

如果成功启动，将会看到Hadoop管理页面，显示集群的状态信息。