"Spark in Action--2016" 在2016年出版的《Spark in Action》一书中,作者Petar Zecevic和Marko Bonaci深入浅出地介绍了如何利用Spark处理批量数据和流数据。这本书针对Spark 2.0进行了全面更新,旨在帮助读者掌握理论知识和实战技能。 Spark作为一款强大的大数据处理框架,其核心组件包括Spark Core、Spark Streaming、Spark SQL和Spark MLlib。Spark Core是整个框架的基础,提供了分布式计算的基本功能,如并行化操作(parallelize)、映射(map)和归约(reduceByKey)等。RDD(弹性分布式数据集)是Spark Core中的核心抽象,它是一种不可变、容错的数据结构,可以通过转换(transformations)和动作(actions)进行操作。 Spark Streaming构建在Spark Core之上,用于处理实时数据流。它通过DStream(Discretized Stream)将连续的数据流分解为离散的批次,周期性地创建RDD。Spark Streaming可以与各种数据源集成,如Kafka、Flume、Twitter、HDFS和ZeroMQ,同时能利用Spark SQL和机器学习模型对流数据进行分析。 Spark SQL引入了DataFrame,它是Spark MLlib和Spark ML的基石。DataFrame提供了更高级别的抽象,可以看作是结构化的RDD,允许用户使用SQL语句进行数据分析。DataFrame的操作会转换为RDD上的操作,从而简化了数据处理。Spark SQL还支持多种数据源,包括Hive、JSON、关系型数据库、NoSQL数据库和Parquet文件。 Spark MLlib和Spark ML是Spark的机器学习库,它们使用DataFrame和RDD来表示和处理数据。Spark MLlib提供了一系列机器学习算法,而Spark ML则提供了更高层次的API,使得模型构建更加直观。这两个库都依赖于Spark Core的功能,如并行计算、数据转换和容错机制。 Spark GraphX是Spark处理图数据的组件,它使用GraphRDD来存储和操作图数据。GraphX同样基于Spark Core,可以在接收的数据上应用图算法,并与其他组件(如Spark Streaming)协同工作。 《Spark in Action--2016》涵盖了Spark的主要组件和用法,包括数据处理、流计算、SQL查询和机器学习,是一本全面了解和掌握Spark的宝贵资源。读者通过本书可以深入理解Spark的内部机制,如RDD的血缘关系(lineage)和转换过程,以及如何与各种存储系统(如HDFS、GusterFS、Amazon S3)交互。这不仅有助于提升数据处理能力,也为实际项目中的数据解决方案提供了有力支持。
![](https://csdnimg.cn/release/download_crawler_static/10362388/bg10.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10362388/bg11.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10362388/bg12.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10362388/bg13.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10362388/bg14.jpg)
剩余475页未读,继续阅读
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/6f796f81c14c4ae1a4232cbce2434aaa_kxg1005.jpg!1)
- 粉丝: 10
- 资源: 166
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 岩石滑动与断层冲击地压:声发射特征分析
- 新时代煤炭工业八大战略新取向剖析
- 开采强度对华亭矿区冲击地压危险性的影响分析
- 新安煤矿探采对比:影响安全生产的关键因素与技术支撑
- 210MW循环流化床锅炉引风机变频改造优化与节能效果
- 浅埋煤层开采沉陷预测:方法应用与影响分析
- 优化巷道过陷落柱支护方案:数值模拟与现场试验
- 坚硬顶板定向断裂爆破技术:安全高效采煤新方案
- 北航2019算法课作业解析:投资策略与凸子多边形优化
- 断层破碎带垮冒下堆积体边界抗力分布关键影响因素
- 哈拉沟选煤厂优化末煤系统提高效率与处理能力
- 瓦斯涌出影响下采动煤体蠕变失稳研究
- 提升煤矿装载效率的可控箕斗定量装载设备设计
- 水分调控下烟煤瓦斯吸附特性对比研究
- 重介质悬浮液密度控制硬件设计与选型探讨
- 坚硬顶板巷道支护参数设计:现场测试与数值分析
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)