Spark期末复习重点：MapReduce、YARN、Scala与分布式计算

"Spark期末复习题总结" Spark是一种分布式计算框架，由Apache软件基金会维护，它提供了高吞吐量的数据处理能力，支持内存计算、机器学习、交互式查询和流式计算等多种分布式计算形式。相较于MapReduce，Spark由于其基于内存计算的特性，减少了磁盘I/O，从而提高了计算效率。此外，Spark还采用了DAG（有向无环图）执行模型和高效的调度算法，如Stage划分和Task调度，进一步提升了性能。 在Spark的运行架构中，Driver程序是作业的主进程，负责作业的解析、调度和管理。而Executor则是运行在Worker Node上的工作单元，它们负责执行实际的Task任务。YARN作为资源管理系统，负责一级调度管理，即计算资源的分配和管理。 Scala是Spark的主要编程语言，它支持面向对象和函数式编程。在Scala中，可以定义单例对象（object），这相当于Java中的静态类，但Scala没有静态方法和字段的概念。单例对象的调用方式是类名.方法名。在类的定义上，Scala要求使用`class`关键字，并且类名通常是首字母大写，但并不强制使用`public`或`private`进行访问控制。在一个类文件中，可以定义多个类，但只有一个类可以作为源文件的顶级定义。 Scala语言中，有7种基本的数值类型，包括Long。拉链操作`zip`可以将两个数组对应元素配对，例如`Array(1,3).zip(Array(2,4))`返回`Array((1,2), (3,4))`。在元组`t=(1,3.14,"Fred")`中，可以通过下标访问，如`t._1`等于1。使用`key.zip(value).toMap`可以创建一个Map，其中`key`数组的元素作为键，`value`数组的元素作为值，因此`m(1)`等于"one"。 关于Scala的特性，它没有Java那样的静态方法，所有的方法都与对象关联。Scala中，所有数据类型（包括基本类型）都是对象，不刻意区分基本类型和引用类型。同时，Scala允许在方法或函数定义时声明可能会抛出的异常，但并不强制要求这样做，这与Java的异常处理机制有所不同。