基于OpenStack与Docker的SuperVessel：2015年Spark公有云服务详解

在2015年的Spark技术峰会上，IBM中国研究院的高级研究员陈冠诚分享了如何利用OpenStack、Docker和Spark技术构建名为SuperVessel的大数据公有云平台。SuperVessel的核心在于将大数据处理能力通过云计算的形式开放给全球的学生、研究人员和开发者，以促进OpenPOWER生态系统的扩展，目前该生态系统已在30多所大学中得到应用。 SuperVessel云基于IBM的POWER7/POWER8服务器架构，并采用OpenStack作为基础设施即服务(IaaS)平台。OpenStack的优势在于其作为最流行的云计算管理软件，提供了对Docker的支持，这使得容器化技术成为可能。使用Docker能够轻松地管理和部署Spark集群，通过Heat工具进行容器编排，简化了大规模Spark集群的创建过程。 在SuperVessel云上，用户可以享受到诸如Spark as a Service（即按需提供的Spark服务）、Docker Services、CogniNve CompuNng Service（可能是一种先进的计算服务）、IoT Service（物联网服务）以及Accelerator as a Service（FPGA和GPU加速器服务）等一系列先进技术支持。用户只需通过简单的三步流程——登录、创建和准备，即可快速启动Spark集群，体验其强大功能。 陈冠诚特别强调了OpenStack作为选择平台的原因，它不仅流行且易于集成Docker，这为构建高效、灵活的Spark环境奠定了基础。他还指出，SuperVessel云的目标是促进技术的普及和创新，让更多的开发者能够轻松地利用这些先进技术进行大数据处理和分析。 这场演讲展示了如何通过OpenStack、Docker和Spark构建一个功能强大的大数据公有云，旨在推动科研和教育领域的发展，同时也展示了IBM对中国和全球科技社区的贡献。