云环境下数据密集型工作流的负载均衡约简调度策略

需积分: 7 1 下载量 37 浏览量 更新于2024-08-13 收藏 1.31MB PDF 举报
云计算环境下,数据密集型工作流的调度问题日益凸显,因为高效合理的调度对于提升云计算服务的性能和效率至关重要。本文首先构建了数据密集型工作流的有向超图模型,这是一种图形表示方法,用于描述工作流中的任务及其依赖关系,其中每个节点代表一个任务,边表示任务间的数据传输需求。 作者引入了“数据支持能力”这一关键概念,它反映了每个任务处理数据的能力,即任务在执行过程中所需的存储空间和计算资源。通过基于数据支持能力的合并操作,将具有相似数据处理需求的任务进行合并,从而简化模型,减少数据的重复传输,优化工作流的结构。 进一步地,研究人员优化了超图多层剖分算法,提出了数据约简的数据密集型工作流调度策略HEFT-P(Hierarchical Edge Fusion and Task Placement for Parallelism - 数据增强的层次划分和任务放置优化策略)。HEFT-P旨在平衡负载,确保在执行过程中,工作流中的任务能在适当的时间和地点被分配,最大程度地利用云端资源,同时减少数据移动的开销。 相比于经典的工作流调度策略,如HEFT(Hierarchical Execution Framework for Tasks)、CPOP(Conflict-free Partitioning Optimization Problem)和MCP(Multi-Criteria Partitioning),HEFT-P展现出显著的优势。它能够更有效地对数据密集型工作流进行约简和优化,从而降低调度时间,提高整体的执行效率。 通过实验验证,HEFT-P能够在保证服务质量的同时,实现更好的数据管理和负载均衡,这对于云计算环境中大规模、数据密集型的工作流应用来说,具有重要的实际意义。这项研究不仅提升了云计算环境下的数据密集型工作流调度的理论基础,也为实际部署提供了实用的策略指导。