Spark in Action:Manning出版社深度解析
![](https://csdnimg.cn/release/wenkucmsfe/public/img/star.98a08eaa.png)
"Manning出版社的经典教材《Spark in Action》以true PDF格式提供,由Petar Zecević和Marko Bonaci合作撰写,深入介绍了Apache Spark的核心组件、运行时交互以及存储选项,并通过实例展示了Spark Streaming、Spark SQL、Spark MLlib以及Spark GraphX的应用。" 《Spark in Action》是Manning出版社的一本深度解析Apache Spark的教材,它涵盖了Spark的多个关键模块和技术。书中的内容主要围绕以下几个方面展开: 1. **Spark Core**: Spark的核心组件,包括分布式计算模型、RDD(弹性分布式数据集)和任务调度。RDD是Spark的基础,支持并行操作,如`map`、`reduceByKey`等。RDD的血统(lineage)特性使得数据容错成为可能。 2. **Spark Streaming**: 用于处理实时数据流的模块,它可以接收如Kafka、Flume、Twitter、HDFS和ZeroMQ等来源的数据流,并使用DStream(离散化流)来周期性地创建RDD。Spark Streaming还能与Spark SQL和机器学习模型结合,对流数据进行分析。 3. **Spark SQL**: 提供了与SQL兼容的接口,允许用户在DataFrame上执行SQL操作。DataFrame是对RDD的一种抽象,提供了更高级别的数据操作。Spark SQL可以将DataFrame的操作转换为RDD操作,同时支持多种数据源,如Hive、JSON、关系型数据库、NoSQL数据库和Parquet文件。 4. **Spark MLlib & Spark ML**: Spark的机器学习库,MLlib主要基于RDD,而Spark ML则利用DataFrame进行建模。两者都提供了丰富的机器学习功能,包括特征工程、分类、回归、聚类等。 5. **Spark GraphX**: 用于处理图数据的模块,使用GraphRDD表示图数据。Spark GraphX在Spark Core之上构建,提供了图计算的功能,可以应用于社交网络分析、推荐系统等场景。Spark Streaming也可以利用GraphX的特性分析接收到的数据。 6. **Storage Options**: Spark支持多种存储系统,如HDFS、GlusterFS和Amazon S3,这些文件系统提供了大数据存储和访问的解决方案。 通过《Spark in Action》,读者能够了解到如何利用Spark的强大功能进行大数据处理、实时分析和机器学习,同时掌握如何优化Spark应用以提高性能和效率。这本书适合对大数据处理感兴趣的开发者、数据科学家和架构师,为他们提供了实践Spark技术的全面指导。
![](https://csdnimg.cn/release/download_crawler_static/10359266/bg10.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10359266/bg11.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10359266/bg12.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10359266/bg13.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10359266/bg14.jpg)
剩余475页未读,继续阅读
![application/pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
- 粉丝: 2
- 资源: 18
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决本地连接丢失无法上网的问题
- BIOS报警声音解析:故障原因与解决方法
- 广义均值移动跟踪算法在视频目标跟踪中的应用研究
- C++Builder快捷键大全:高效编程的秘密武器
- 网页制作入门:常用代码详解
- TX2440A开发板网络远程监控系统移植教程:易搭建与通用解决方案
- WebLogic10虚拟内存配置详解与优化技巧
- C#网络编程深度解析:Socket基础与应用
- 掌握Struts1:Java MVC轻量级框架详解
- 20个必备CSS代码段提升Web开发效率
- CSS样式大全:字体、文本、列表样式详解
- Proteus元件库大全:从基础到高级组件
- 74HC08芯片:高速CMOS四输入与门详细资料
- C#获取当前路径的多种方法详解
- 修复MySQL乱码问题:设置字符集为GB2312
- C语言的诞生与演进:从汇编到系统编程的革命
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)