spark核心编程抽象

Apache Spark的核心编程抽象主要是围绕RDD（Resilient Distributed Datasets，弹性分布式数据集）和DataFrame/DataSet进行的。

1. **RDDs**：Spark的主要计算单位。RDD是一个只读、分区的数据集，可以在集群上并行处理。开发者可以对RDD进行各种操作，如map、filter、reduce等，Spark会自动将这些操作转换为一系列任务并分布式执行。RDD还支持缓存，提高后续访问性能。

2. **DataFrames and DataSets**：Spark 1.x及以后版本引入了DataFrame和Dataset，这两种结构都是基于RDD的，但是提供了更高级别的API，类似于SQL查询语言。DataFrame是一种表格型的数据结构，具有列名和结构，并提供诸如join、groupby和agg等内置操作，使得数据分析更容易理解和编写。

3. **DAG Execution Model**：Spark的计算模型基于有向无环图（DAG），即用户定义的操作序列化为一个任务依赖图。当提交作业时，Spark会优化这个图形，找出最佳的执行顺序以最小化数据传输和计算开销。