"CRC:Apache Hadoop/Spark集群的基于容器的尺寸框架"
需积分: 5 172 浏览量
更新于2023-11-23
收藏 1.78MB PDF 举报
.
论文介绍了一种基于容器的Apache Hadoop/Spark集群大小框架,称为“藏经阁”。该框架旨在通过使用Docker技术来实现对Hadoop/Spark集群的大小进行动态调整,以最大化资源利用率和性能。研究者从北海道大学信息创新中心提出了这一框架,并通过对学术云环境的实验验证了其有效性。
通过对现有容器技术和Hadoop/Spark集群的工作负载特征进行分析,研究者设计了“藏经阁”框架,并提出了一个多目标优化方法来自动化确定集群大小。通过实验评估,“藏经阁”框架在资源利用率和性能方面都能取得显著的改善,相比于传统的固定大小集群,能够节省大量资源并提升作业完成时间。
北海道大学信息创新中心成立于1962年,是一个国家级超级计算中心,属于HPCI(高性能计算基础设施)和JHPCN(跨学科大规模信息基础设施共享/研究中心)等组织的成员。通过这一研究,他们为Hadoop/Spark集群的动态调整提供了一个全新的视角和解决方案。
总之,论文提出的“藏经阁”框架为Hadoop/Spark集群的动态调整提供了一种新的解决方案,并通过实验证明了其有效性。这一研究为大规模数据处理技术的进一步发展和优化提供了有益的参考,对于正在使用或有兴趣使用Hadoop/Spark集群的相关研究者和从业者具有一定的借鉴意义。
2019-08-29 上传
2024-04-09 上传
2024-02-03 上传
2024-02-03 上传
2023-07-20 上传
2023-07-21 上传
2024-06-04 上传
2023-10-25 上传
2023-06-10 上传
2023-03-30 上传
weixin_40191861_zj
- 粉丝: 83
- 资源: 1万+
最新资源
- zlib-1.2.12压缩包解析与技术要点
- 微信小程序滑动选项卡源码模版发布
- Unity虚拟人物唇同步插件Oculus Lipsync介绍
- Nginx 1.18.0版本WinSW自动安装与管理指南
- Java Swing和JDBC实现的ATM系统源码解析
- 掌握Spark Streaming与Maven集成的分布式大数据处理
- 深入学习推荐系统:教程、案例与项目实践
- Web开发者必备的取色工具软件介绍
- C语言实现李春葆数据结构实验程序
- 超市管理系统开发:asp+SQL Server 2005实战
- Redis伪集群搭建教程与实践
- 掌握网络活动细节:Wireshark v3.6.3网络嗅探工具详解
- 全面掌握美赛:建模、分析与编程实现教程
- Java图书馆系统完整项目源码及SQL文件解析
- PCtoLCD2002软件:高效图片和字符取模转换
- Java开发的体育赛事在线购票系统源码分析