yarn 用户 队列 映射
时间: 2023-10-27 21:47:45 浏览: 44
在 YARN 中,用户队列映射是一种将用户与队列之间的关系建立起来的机制。它可以帮助管理员有效地管理集群资源,限制每个用户可以使用的资源量,并优化集群性能。
通过用户队列映射,管理员可以将不同的用户分配到不同的队列中,每个队列可以有不同的资源配额和优先级。这样,管理员可以根据不同的用户需求和应用程序类型,合理地分配资源,实现资源的平衡利用。
在 YARN 中,用户队列映射是通过配置文件进行设置的。管理员可以在配置文件中指定每个用户所属的队列,以及每个队列的资源配额和优先级等信息。然后,YARN 根据这些配置信息进行资源分配和调度。
总之,用户队列映射是 YARN 中非常重要的一个功能,它可以帮助管理员更好地管理集群资源,提高集群的利用率和性能。
相关问题
yarn队列STOPED
当Yarn队列处于STOPPED状态时,用户无法将应用程序提交到该队列或其子队列中。类似地,如果ROOT队列处于STOPPED状态,用户将无法向集群中提交应用程序。然而,正在运行的应用程序仍然可以继续正常运行,直到它们完成,以便队列可以优雅地退出。
这种状态的目的是允许管理员对队列进行管理和调整。管理员可以在运行时动态修改调整容量、权限等分配,并通过管理员界面显示当前队列的状态。管理员可以在运行时添加队列,但不能删除队列。此外,管理员还可以在运行时暂停某个队列,以确保当前队列在执行过程中不会接收其他任务。
总结起来,当Yarn队列处于STOPPED状态时,用户无法提交任务到该队列或其子队列中,但正在运行的任务仍然可以继续执行,直到完成。管理员可以在运行时对队列进行管理和调整,包括修改容量、权限等分配,并可以添加和暂停队列。
impala on yarn 如何制定yarn 的队列
Impala on YARN是一种将Impala查询引擎与YARN资源管理器结合使用的方式,可以实现在Hadoop集群上运行Impala查询。在Impala on YARN中,可以通过配置YARN队列来管理和分配资源。
要制定YARN队列,可以按照以下步骤进行操作:
1. 配置YARN队列:在YARN的配置文件中(通常是yarn-site.xml),可以定义多个队列,并为每个队列指定资源限制和调度策略。可以设置队列的最大资源限制、最小资源限制、最大容量等参数。
2. 分配Impala服务到队列:在Impala的配置文件中(通常是impala-conf.xml),可以指定Impala服务所使用的YARN队列。通过设置`yarn_pool`属性,将Impala服务分配到特定的队列中。
3. 重启Impala服务:在修改完YARN队列和Impala配置后,需要重启Impala服务使配置生效。
通过以上步骤,你可以制定YARN队列来管理Impala查询所使用的资源。