使用docker快速搭建Spark集群的方法教程

使用使用docker快速搭建快速搭建Spark集群的方法教程集群的方法教程

通过使用 Docker，可以快速的在本地搭建一套 Spark 环境，方便大家开发 Spark 应用，或者扩展到生产环境。下面这篇文章主要给大家介绍了使用docker快速搭建Spark集群的方

法教程，需要的朋友可以参考借鉴，下面来一起看看吧。

前言前言

Spark 是 Berkeley 开发的分布式计算的框架，相对于 Hadoop 来说，Spark 可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。下面来一起看看使用docker快速搭建

Spark集群的方法教程。

适用人群适用人群

正在使用spark的开发者

如上图: Spark集群由以下两个部分组成

集群管理器(Mesos, Yarn或者standalone Mode)

工作节点(worker)

如何如何docker化化(本例使用本例使用Standalone模式模式)

1、将spark集群拆分

base(基础镜像)

master(主节点镜像)

worker(工作镜像)

2、编写base Dockerfile

注注: 为方便切换版本基础镜像选择的是centos, 所以要下载java和spark, 方便调试, 可以下载好安装文件后本地搭建一个静态文件服务器, 使用Node.js 的http-server可以快速搞定

# 安装系统工具

RUN yum update -y

RUN yum upgrade -y

RUN yum install -y byobu curl htop man unzip nano wget

RUN yum clean all

# 安装 Java

ENV JDK_VERSION 8u11

ENV JDK_BUILD_VERSION b12

# 如果网速快,可以直接从源站下载

#RUN curl -LO "http://download.oracle.com/otn-pub/java/jdk/$JDK_VERSION-$JDK_BUILD_VERSION/jdk-$JDK_VERSION-linux-x64.rpm" -H 'Cookie: oraclelicense=accept-securebackup-cookie' && rpm -i jdk-$JDK_VERSION-linux-x64.rpm; rm -f jdk-$JDK_VERSION-linux-x64.rpm;

tar zxf spark-2.1.0-bin-hadoop2.7.tgz

RUN rm -rf spark-2.1.0-bin-hadoop2.7.tgz

RUN mv spark-2.1.0-bin-hadoop2.7/* ./

ENV SPARK_HOME /spark

ENV PATH /spark/bin:$PATH

ENV PATH /spark/sbin:$PATH

3、编写master Dockerfile

FROM ravenzz/spark-hadoop

MAINTAINER RavenZZ <raven.zhu@outlook.com>

COPY master.sh /

FROM ravenzz/spark-hadoop

MAINTAINER RavenZZ <raven.zhu@outlook.com>

COPY worker.sh /

ENV SPARK_WORKER_WEBUI_PORT 8081

ENV SPARK_WORKER_LOG /spark/logs

ENV SPARK_MASTER "spark://spark-master:32769"

EXPOSE 8081

CMD ["/bin/bash","/worker.sh"]

5、docker-compose

version: '3'

- "50001:6066"