没有合适的资源?快使用搜索试试~ 我知道了~
首页spark介绍 spark入门
资源详情
资源评论
资源推荐

介绍大纲
1.Spark 前世今生
2.Spark 的特点
3.Spark 运行模式
4.Spark 安装
5.Spark 任务提交
6.Spark 基本工作原理
7.RDD 以及其特点
8.什么是 Spark 开发
SPARK 入门

Spark 的前世今生
Spark 是什么
Spark ,是一种通用的大数据计算框架,正如传统大数据技术 Hadoop
的 MapReduce 、 Hive 引擎,以及 Storm 流式实时计算引擎等。
Spark 包含了大数据领域常见的各种计算框架:比如 Spark Core 用
于离线计算, Spark SQL 用于交互式查询, Spark Streaming 用于实时
流式计算, Spark MLlib 用于机器学习, Spark GraphX 用于图计算。
Spark 主要用于大数据的计算,而 Hadoop 以后主要用于大数据的存
储(比如 HDFS 、 Hive 、 HBase 等),以及资源调度( Yarn )。
Spark+Hadoop 的组合,是未来大数据领域最热门的组合,也是最有
前景的组合!

Spark 的前世今生
Spark 是什么
Spark ,是一种 "One Stack to rule them all" 的大数据计算框架,期望使用一个技术堆栈
就完美地解决大数据领域的各种计算任务。 Apache 官方,对 Spark 的定义就是:通用的
大数据快速处理引擎。
Spark 使用 Spark RDD 、 Spark SQL 、 Spark Streaming 、 MLlib 、 GraphX 成功解
决了大数据领域中,离线批处理、交互式查询、实时流计算、机器学习与图计算等最重要
的任务和问题。
Spark 除了一站式的特点之外,另外一个最重要的特点,就是基于内存进行计算,从而
让它的速度可以达到 MapReduce 、 Hive 的数倍甚至数十倍!
现在已经有很多大公司正在生产环境下深度地使用 Spark 作为大数据的计算框架,包
括 eBay 、 Yahoo! 、 BAT 、网易、京东、华为、大众点评、优酷土豆、搜狗等等。
Spark 同时也获得了多个世界顶级 IT 厂商的支持,包括 IBM 、 Intel 等。

Spark 的前世今生
Spark 整体架构

Spark 的前世今生
Spark 的历史沿革
2009 年, Spark 诞生于伯克利大学的 AMPLab 实验室。最出 Spark 只是一个实
验性的项目,代码量非常少,属于轻量级的框架。
2010 年,伯克利大学正式开源了 Spark 项目。
2013 年, Spark 成为了 Apache 基金会下的项目,进入高速发展期。第三方开
发者贡献了大量的代码,活跃度非常高。
2014 年, Spark 以飞快的速度称为了 Apache 的顶级项目。
2015 年 ~ , Spark 在国内 IT 行业变得愈发火爆,大量的公司开始重点部署或者
使用 Spark 来替代 MapReduce 、 Hive 、 Storm 等传统的大数据计算框架。
剩余63页未读,继续阅读




















Easy618
- 粉丝: 7
- 资源: 33
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助

会员权益专享
安全验证
文档复制为VIP权益,开通VIP直接复制

评论1