yarn命令起源介绍
时间: 2023-12-29 10:25:37 浏览: 174
YARN(Yet Another Resource Negotiator)是Hadoop的一个集群资源管理器。它的起源可以追溯到Hadoop 0.23版本,该版本引入了YARN作为Hadoop的下一代资源管理和作业调度框架。在此之前,Hadoop使用的是MapReduce作为唯一的计算框架,但随着大数据应用的不断发展,MapReduce的局限性逐渐显现出来。
YARN的出现解决了MapReduce的瓶颈问题,它将资源管理和作业调度分离开来,使得Hadoop集群可以同时运行多个计算框架,而不仅仅局限于MapReduce。YARN的核心思想是将资源管理的责任交给一个全局的资源管理器(ResourceManager),而将作业调度的责任交给一个应用程序管理器(ApplicationMaster)。
通过YARN,用户可以在Hadoop集群上运行各种计算框架,如Spark、Flink、Hive等,而不仅仅局限于MapReduce。YARN提供了灵活的资源分配和调度机制,可以根据不同的应用需求动态分配资源,并且能够自动容错和恢复。
总结起来,YARN的产生和发展简史可以归结为以下几点:
1. Hadoop 0.23版本引入了YARN作为下一代资源管理和作业调度框架。
2. YARN将资源管理和作业调度分离,使得Hadoop集群可以同时运行多个计算框架。
3. YARN的核心思想是全局的资源管理器和应用程序管理器。
4. 通过YARN,用户可以在Hadoop集群上运行各种计算框架,并实现灵活的资源分配和调度。
阅读全文