FusionInsightHD集群多租户管理与资源调度

"Superior调度器指南主要涵盖了华为FusionInsight HD集群的多租户管理，包括租户的定义、原理以及如何管理和配置资源。该文档提供了详细的操作步骤，如添加、删除租户，调整资源池和队列，以及进行租户参数调优。此外，还介绍了多实例功能，允许服务资源的隔离和自定义配置。" 在华为大数据FusionInsight HD集群环境中，多租户是一个核心特性，它使得不同的组织、部门或应用能够共享并有效地使用集群资源。租户作为逻辑实体，实现了资源和服务的隔离和统一管理。多租户模型支持层级结构，并允许动态地增减租户，确保了资源的有效分配。 租户管理主要包括以下几个方面： 1. **添加和删除租户**：系统管理员可以根据需求为集群添加新的租户，同时也可以删除不再使用的租户。这一过程涉及到对租户的生命周期管理，确保资源的合理分配。 2. **租户目录管理**：租户可以有自己的目录结构，管理员可以管理这些目录，包括添加、删除和设置权限，以控制租户对存储资源的访问。 3. **资源管理**：通过配置队列和资源池，可以调整租户的计算资源（如YARN任务队列配额）和存储资源（如HDFS的文件数量和存储空间配额）。资源池的添加、修改和删除，以及队列容量策略的配置，都是为了优化资源利用率。 4. **全局用户策略**：管理员可以设置全局的用户策略，影响所有租户的使用规则，确保公平性和效率。 5. **租户资源配置与参数调优**：租户可以根据需要配置资源百分比或绝对值，甚至预留资源。同时，通过参数调优，比如设置抢占任务、任务优先级、YARN动态内存管理和基于标签的调度，可以进一步优化租户的工作负载性能。 值得注意的是，FusionInsight HD支持HBase、Hive和Spark等服务的多实例功能。这意味着每个服务可以有多个独立的实例，每个实例都有自己的资源配额，这增强了服务的隔离性和灵活性。管理员可以手动启用多实例功能，并最多创建5个服务级别的实例。多实例服务实例具备原服务的所有功能，如日志查看、用户管理等，而且Manager可以统一进行监控和管理。 通过深入理解和应用上述知识，管理员可以更好地管理FusionInsight HD集群，优化资源分配，提高系统的整体效率和可用性。