YARN架构的工作流程
时间: 2023-08-07 17:03:33 浏览: 58
YARN架构的工作流程如下:首先,用户提交的应用程序包含一个ApplicationMaster(AM),它负责应用的监控和跟踪执行状态,以及重启失败的任务。AM是应用框架,负责向ResourceManager协调资源,并与NodeManager协同工作完成任务的执行和监控。\[1\]
当AM向RM申请资源时,RM会返回用Container表示的资源,Container封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。每个任务都会被分配一个Container,并且只能使用该Container中描述的资源。\[2\]
各个任务通过RPC协议向AM汇报自己的状态和进度,以便AM随时掌握任务的运行状态,并在任务失败时重新启动任务。同时,客户端也可以通过RPC向AM查询应用程序的当前运行状态。\[3\]
总结来说,YARN的工作流程包括应用程序的提交和资源的分配,AM的监控和任务的执行,以及任务状态的汇报和查询。
#### 引用[.reference_title]
- *1* *2* *3* [Yarn架构、工作流程、调度](https://blog.csdn.net/qq_45494908/article/details/121690061)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]