现在请你描述下,企业中正常工作的hadoop集群中,hadoop大数据平台都分别启动了哪些进程,以及它们的作用?ResourceManager、NodeManager、DFSZKFailoverController
时间: 2023-06-05 22:06:52 浏览: 537
大数据之hadoop分布式集群初次启动.docx
、DataNode、NameNode、SecondaryNameNode、JobHistoryServer等都是Hadoop集群中的进程,它们的作用分别是:
1. ResourceManager:负责整个集群的资源管理,包括节点的加入和退出、资源的分配和回收等。
2. NodeManager:运行在集群节点上,负责该节点上的各个容器(Container)的启动、监控和管理,以及向ResourceManager汇报该节点的资源使用情况。
3. DFSZKFailoverController:在HA环境下,负责NameNode的故障转移,保证集群的高可用性。
4. DataNode:存储数据的节点,负责数据的读写、复制和删除等操作。
5. NameNode:管理整个文件系统的元数据,包括文件名、目录结构、权限以及所有数据块的位置等。
6. SecondaryNameNode:为了减轻NameNode的负担,定期(默认一周)合并和压缩编辑日志文件,生成新的镜像文件,并向NameNode推送。
7. JobHistoryServer:保存MapReduce作业的历史信息和统计数据,方便查询和分析作业执行情况。
以上就是Hadoop集群中常用的进程及其作用。
阅读全文