yarn-client和yarn-cluster
时间: 2023-04-30 11:01:13 浏览: 222
yarn-client和yarn-cluster是Apache Hadoop中的两种不同的运行模式。yarn-client模式是指客户端模式,即应用程序的主要部分在客户端上运行,而应用程序的任务在集群中的节点上运行。yarn-cluster模式是指集群模式,即应用程序的主要部分和任务都在集群中的节点上运行。两种模式各有优缺点,具体使用哪种模式取决于应用程序的需求和特点。
相关问题
yarn-cluster和yarn-client的对比
yarn-cluster和yarn-client是spark中的两种任务提交模式。它们的区别在于任务的执行位置和依赖关系的管理方式。在yarn-cluster模式下,任务会被提交到YARN集群中执行,并且Spark的driver程序运行在集群的某一个节点上。而在yarn-client模式下,任务也会被提交到YARN集群中执行,但是Spark的driver程序运行在提交任务的客户端机器上。因此,yarn-cluster模式更适合在生产环境中执行任务,而yarn-client模式更适合在开发和调试过程中使用。
在yarn-cluster和yarn-client提交模式中,由于相关的jvm环境由yarn管理,因此不需要启动Spark集群。而在standalone提交模式中,由于需要依赖worker和Master进行任务的启动和调度,所以必须启动Spark集群。
yarn cluster和client的区别
yarn cluster和client的区别在于,yarn cluster是一种运行模式,它将资源管理器和应用程序管理器都运行在集群的主节点上,而yarn client则是另一种运行模式,它将应用程序管理器运行在客户端上,资源管理器运行在集群的主节点上。因此,yarn cluster可以更好地利用集群的资源,而yarn client则可以更好地控制应用程序的运行。
阅读全文