Spark大规模数据处理架构原著中文版

需积分: 9 112 浏览量更新于2024-07-18 收藏 5.52MB PDF 举报

"Spark原著中文版是加州大学伯克利分校Matei Zaharia博士的一篇技术报告，由CSDNCODE翻译社区翻译。该报告详细介绍了Spark作为一种在大型集群上进行快速和通用数据处理的架构，旨在提供高性能的数据处理解决方案。报告编号为UCB/EECS-2014-12，可在伯克利分校的官方网站上找到原始英文版本。翻译工作由35名译者和7名审校共同完成，最终有29名译者和6名审校完成了翻译工作。报告的翻译得到了CSDNCODE翻译平台和北京语智云帆科技有限公司的支持。" Spark是一种分布式计算框架，它主要设计用于大数据处理。报告中可能会涵盖以下几个关键知识点： 1. **Spark核心概念**：包括RDD（弹性分布式数据集），它是Spark的核心抽象，提供了容错性和并行操作的能力。RDD是不可变的，可以通过转换操作（如map、filter）和行动操作（如count、collect）进行处理。 2. **DAG执行模型**：Spark通过将任务分解为一系列任务依赖图（DAG），并优化执行计划以减少数据移动，实现高效的数据处理。 3. **内存计算**：Spark的一大特性是其在内存中的计算能力，这使得它在迭代算法和交互式数据分析中比Hadoop等基于磁盘的数据处理框架更快。 4. **Spark组件**：除了基本的Spark Core之外，还包括Spark SQL用于结构化数据处理，Spark Streaming用于实时流数据处理，MLlib进行机器学习，以及GraphX用于图形处理。 5. **Spark的编程模型**：Spark支持多种编程语言，如Scala、Java、Python和R，提供了简单易用的API来构建分布式应用。 6. **容错机制**：Spark通过检查点和数据复制来确保数据处理的容错性，即使在集群中某些节点故障的情况下也能恢复执行。 7. **资源管理**：Spark可以与YARN、Mesos或Kubernetes等资源管理系统集成，动态地获取和释放计算资源。 8. **性能优化**：报告可能还会讨论如何通过Spark的Tachyon存储层、shuffle优化、宽依赖压缩等手段提高性能。 9. **Spark的生态系统**：Spark与其他大数据工具（如HDFS、Cassandra、HBase等）的集成，以及如何在Apache Hadoop生态系统中发挥重要作用。 10. **案例研究**：可能会包含实际应用案例，展示Spark在各种场景下的高效数据处理能力，例如Web日志分析、推荐系统、实时流处理等。这个中文版的报告对于理解和掌握Spark的工作原理、编程模型以及优化策略非常有帮助，适合大数据开发者、数据科学家和对Spark感兴趣的读者。通过深入学习，读者可以利用Spark的强大功能解决大规模数据处理问题。

2.6.3 故障恢复 ....................................................... 30

2.6.4 内存不足的情况 ................................................. 31

2.6.5 交互式数据挖掘 ................................................. 32

2.6.6 实际应用 ....................................................... 33

2.7 讨论 ............................................................... 34

2.7.1 对现有编程模型的表达 ........................................... 34

2.7.2 解释 RDD 表达能力 ............................................... 35

2.7.3 利用 RDD 来调试 ................................................. 36

2.8 相关工作 ........................................................... 36

2.9 总结 ............................................................... 38

第三章基于 RDD 的模型 ......................................................... 38

3.1 简介 ............................................................... 38

3.2 一些在 RDDs 上实现其他模型的技术 .................................... 39

3.2.1 RDDs 里的数据格式 .............................................. 39

3.2.2 数据分区 .......................................................... 40

3.2.3 关于不可变性 ................................................... 41

3.2.4 实现自定义转换 ................................................. 42

3.3 Shark:RDDs 上的 SQL ................................................. 42

3.3.1 动机 ........................................................... 42

3.4 实现 ............................................................... 44

3.4.1 列式内存存储 ................................................... 45

3.4.2 数据协同划分 ................................................... 45

3.4.3 分区统计和映射修剪 ................................................ 46

3.4.4 局部 DAG 执行（PDE） ........................................... 46

3.5 性能 ............................................................... 48

3.5.1 方法和集群设置 ................................................. 48

3.5.2 Pavlo 等人的基准测试 ........................................... 49

3.5.3 微基准测试 ..................................................... 51

3.5.4 容错 ........................................................... 53

3.5.5 真实的 Hive 数据仓库查询 .......................................... 54

3.6 与 SQL 相结合的复杂分析 ............................................. 55

3.6.1 语言集成 ....................................................... 56

3.6.2 执行引擎集成 ................................................... 57

3.6.3 性能 ........................................................... 57

3.7 总结 ............................................................... 58

第四章离散流 ................................................................. 59

4.1 简介 ............................................................... 59

4.2 目标与背景 ......................................................... 61

4.2.1 目标 ........................................................... 61

4.2.2 以往的处理模型 ................................................. 62

4.3 离散流（D-Streams） ................................................ 63

4.3.1 计算模型 ....................................................... 64

4.3.2 时序方面的考虑 ................................................. 66

4.3.3 D-Stream API ................................................... 67

4.3.4 一致性语义 ..................................................... 70

4.3.5 批处理与交互式处理的统一 ....................................... 70

4.3.6 总结 ........................................................... 71

4.4 系统架构 ....................................................... 72

4.4.1 应用程序执行 ................................................... 73

4.4.2 流处理优化 ..................................................... 74

4.4.3 内存管理 ....................................................... 74

4.5 故障和慢节点恢复 ............................................... 75

4.5.1 并行恢复 ....................................................... 75

4.5.2 减缓慢结点的影响 ............................................... 76

4.5.3 Master 恢复 .................................................... 76

4.6 评估............................................................... 77

4.6.1 性能 ........................................................... 77

4.6.2 故障和慢节点恢复 ............................................... 79

4.6.3 实际应用 ....................................................... 81

4.7 讨论 ............................................................... 83

4.8 相关工作 ....................................................... 85

4.9 总结 ........................................................... 86

第五章 RDD 的通用性 ........................................................ 88

5.1 简介 ........................................................... 88

5.2 观点描述 ....................................................... 88

5.2.1 MapReduce 所能涵盖的计算范围 ..................................... 88

5.2.2 lineage 和故障恢复 ............................................. 89

5.2.3 与 BSP 的比较 ................................................... 91

5.3 系统角度 ....................................................... 91

5.3.1 瓶颈资源 ....................................................... 92

5.3.2 容错的开销 ..................................................... 93

5.4 限制与扩展 ..................................................... 94

5.4.1 延迟 ........................................................... 94

5.4.2 通信模式 ....................................................... 94

5.4.3 异步 ........................................................... 94

5.4.4 细粒度更新 ..................................................... 95

5.4.5 不变性和版本追踪 ............................................... 95

5.5 相关工作 ....................................................... 96

5.6 小结................................................................ 96

第六章总结 ............................................................... 97

6.1 经验总结 ....................................................... 98

第 1 章简介

在过去的几年里已经看到了计算机系统的重大变革，随着数据量的不断增长越来越多的应用需

要扩展到大型集群。在商业和科学领域，新的数据源和工具

(例如,

基因测序仪，RFID 和 Web)正

在生产越来越多的信息。不幸的是，单机的处理能力和 I/O 性能并没有跟上这种增长。这样一来，

越来越多的企业不得不向外扩展他们的计算至集群模式。

可编程的集群环境会带来一些挑战。第一个是并行化：这需要以并行的方式重写应用程序，同

时这种编程模型能够处理范围广泛的的计算。然而，与其他并行平台相比，集群的第二个挑战是

容错:在大规模的情况下节点故障和

straggler

（慢节点）将变得很常见，而且可以极大地影响应

用程序的性能。最后，集群通常在多个用户之间共享，因此需要在运行时可以动态地扩展和缩减

计算资源，而且加剧了应用互相干扰的可能性。

因此，各种各样针对集群的新的编程模型已经被设计出来。起初，谷歌的 MapReduce[36]提出

了一种简单通用而且能够自动处理故障的批处理计算模型。然而，MapReduce 并不适合其他类型的

计算任务，以至于出现了大量的与 MapRedeuce 有显著不同的特制的编程模型。例如,在谷歌，

Pregel[72] 提供了一个 bulk-sunchronous parallel（BSP）并行迭代图计算模型；F1[95]是一个

快速但没有容错的 SQL 查询系统；MillWheel[2] 支持连续地流式处理。谷歌之外，像 Storm [14],

Impala [60], Piccolo [86] and GraphLab [71]系统提供了相似的模型。随着每年新模型持续地

出现，集群计算势必需要一系列的解决不同的计算工作的方案。

本论文讨论的刚好相反，我们可以设计一个

统一

的编程抽象，不仅可以处理这些不同的计算

任务，而且能使新的应用更好的编程。特别的是，我们将展示 MapReduce 的一个简单扩展，称为

弹性分布式数据集（RDDS）,它增加了高效的数据共享元语，以及大大增加了它的通用性。由此产

生的架构比当前系统有几个关键优势：

1. 在相同的运行环境下，它支持批处理、交互式、迭代和流计算，

结合

这些模式提供丰富的应

用编程，并且相对于单一模式的系统能更好的发挥其性能。

2. 它以很小的代价在这些计算模式上提供结点故障和 straggler 的容忍功能。事实上，在一些

地方（如流和 SQL），基于 RDD 产生的新系统比现有的系统有更强的容错性。

3. 它实现的性能往往比 MapReduce 高 100 倍，并可媲美各个应用领域的专业系统。

4. 这很适合多组织用户管理，允许应用程序弹性地扩缩容和响应式地共享资源。

剩余130页未读，继续阅读

敲键盘的生活

粉丝: 103
资源: 15

Spark大规模数据处理架构原著中文版

Spark 编程指南简体中文版.pdf

Spark The Definitive Guide-201712

Apache-Spark-The-Definitive-Guide-Excerpts-R1.pdf

ubuntu如何对应spark和python版本

解决spark相关的jar包和spark-core版本问题

spark 3中文文档

spark指定python版本_最新的spark支持python的什么版本

spark scala hadoop 版本对应关系

配置hive on spark spark版本2.4.5 hive版本3.1.2

scala2.12匹配spark版本

最新资源