"CRC:Apache Hadoop/Spark集群的基于容器的尺寸框架"

需积分: 5 0 下载量 172 浏览量 更新于2023-11-23 收藏 1.78MB PDF 举报
.   论文介绍了一种基于容器的Apache Hadoop/Spark集群大小框架,称为“藏经阁”。该框架旨在通过使用Docker技术来实现对Hadoop/Spark集群的大小进行动态调整,以最大化资源利用率和性能。研究者从北海道大学信息创新中心提出了这一框架,并通过对学术云环境的实验验证了其有效性。   通过对现有容器技术和Hadoop/Spark集群的工作负载特征进行分析,研究者设计了“藏经阁”框架,并提出了一个多目标优化方法来自动化确定集群大小。通过实验评估,“藏经阁”框架在资源利用率和性能方面都能取得显著的改善,相比于传统的固定大小集群,能够节省大量资源并提升作业完成时间。   北海道大学信息创新中心成立于1962年,是一个国家级超级计算中心,属于HPCI(高性能计算基础设施)和JHPCN(跨学科大规模信息基础设施共享/研究中心)等组织的成员。通过这一研究,他们为Hadoop/Spark集群的动态调整提供了一个全新的视角和解决方案。   总之,论文提出的“藏经阁”框架为Hadoop/Spark集群的动态调整提供了一种新的解决方案,并通过实验证明了其有效性。这一研究为大规模数据处理技术的进一步发展和优化提供了有益的参考,对于正在使用或有兴趣使用Hadoop/Spark集群的相关研究者和从业者具有一定的借鉴意义。