2016年Hadoop Summit:基于Docker的Hadoop/Spark集群规模优化框架
在2016年的Hadoop Summit会议上,Akiyoshi Sugiki和Phyo Thandar Thant,来自日本北海道大学的信息倡议中心,提出了一项名为"A Container-based Sizing Framework for Apache Hadoop/Spark Clusters"的研究。他们的报告聚焦于北海道大学的学术云基础设施及其在Hadoop和Spark集群规模化的关键应用。 首先,他们介绍了北海道大学的信息倡议中心,这是一所拥有悠久历史的国家超级计算机中心,隶属于HPCI(高性能计算基础设施)和JHPCN(跨学科大型信息基础设施联合使用/研究中心)两个组织。该中心致力于超级计算机和云计算等领域的研究,运营着双子星系统:一台性能强大的超级计算机(172万亿次浮点运算每秒,176个节点),以及一个学术云计算系统(43万亿次浮点运算每秒,约2000个虚拟机)。 北海道大学的学术云是日本最大的教育研究云平台,提供超过43万亿次浮点运算能力,支持大规模数据处理。该云系统由两部分组成:一部分是超级计算机系统,搭载了高性能的SR16000 M1和BS2000服务器,以及大容量的存储设备;另一部分是专门的数据科学云系统,配备有AMS2500文件系统和不同类型的硬盘配置。 报告的核心是他们开发的基于Docker的Hadoop规模化框架。Docker容器技术在此处发挥了关键作用,它允许在不同环境中高效地部署和管理Hadoop集群,确保资源利用率最大化,同时保持应用的隔离性和一致性。通过容器化,可以简化集群的部署,减少配置复杂性,并且能够适应不断变化的工作负载需求。 此外,演讲者还探讨了Hadoop的多目标优化问题。在实际应用中,Hadoop集群需要同时考虑多个目标,如性能、成本、可用性等,这就需要一种动态的决策支持系统来平衡这些目标。通过采用多目标优化方法,他们旨在实现资源的最优分配,提升整个系统的效率和灵活性。 这项研究提供了将容器技术应用于Hadoop和Spark集群规模化的重要实践案例,展示了如何通过自动化和标准化的手段来应对大数据处理中的挑战,以及如何通过多目标优化策略实现集群性能和成本的协同优化。这对于云计算环境下的Hadoop集群管理和扩展具有重要的参考价值。
![](https://csdnimg.cn/release/download_crawler_static/11634787/bg7.jpg)
![](https://csdnimg.cn/release/download_crawler_static/11634787/bg8.jpg)
剩余35页未读,继续阅读
![xlsx](https://img-home.csdnimg.cn/images/20210720083732.png)
![whl](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![whl](https://img-home.csdnimg.cn/images/20210720083646.png)
![whl](https://img-home.csdnimg.cn/images/20210720083646.png)
![whl](https://img-home.csdnimg.cn/images/20210720083646.png)
![whl](https://img-home.csdnimg.cn/images/20210720083646.png)
![whl](https://img-home.csdnimg.cn/images/20210720083646.png)
![whl](https://img-home.csdnimg.cn/images/20210720083646.png)
![whl](https://img-home.csdnimg.cn/images/20210720083646.png)
![gz](https://img-home.csdnimg.cn/images/20210720083447.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
- 粉丝: 349
- 资源: 2万+
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Vue实现iOS原生Picker组件:详细解析与实现思路
- Arduino蓝牙小车:参数调试与功能控制
- 百度Java面试精华:200页精选资源涵盖核心知识点
- Swift使用CoreData填坑指南:CoreData在Swift 3.0的变化
- 微距离无线充电器创新设计及其实验探索
- MTK Android平台开发全攻略:44步详解流程
- RecyclerView全面解析:替代ListView的新选择
- Android开发:自动适配中英文键盘解决方案
- Android调用WebService接口教程
- Android开发:BitmapUtil图片处理全解析与实例
- Android多线程断点续传实现详解
- PCA算法在人脸识别会议签到系统中的应用
- EventBus 3.0:Android事件总线详解与实战应用
- Android FileUtil:全面解析文件操作实用技巧与实例
- RecyclerView添加头部和尾部实战教程
- Android实现微博滑动固定顶部栏实战与优化
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)