spark DATAFRAME 的数据结构

Spark DataFrame是一种分布式的数据表格，它是基于RDD的分布式数据集，但是它提供了更高层次的抽象，使得数据处理变得更加简单和高效。DataFrame是一个带有命名列的分布式数据集合，类似于关系型数据库中的表格或者R/Python中的数据框架（data frame）。DataFrame可以被看做是一个二维表格，每一列的数据类型可以不同，但是在同一列中的数据类型必须相同。DataFrame的每一行都有一个唯一的行标识（row label），可以通过行标识来访问和操作行数据。Spark DataFrame还支持SQL查询，因此可以使用SQL语言来查询和操作DataFrame中的数据。