spark定义数据类型写法

Spark 中的数据类型定义通常在DataFrame API中使用，它是基于Scala语法的。以下是 Spark SQL 中常用的一些数据类型：

1. **基本类型**：
- `Int`：整型
- `Long`：长整型
- `Double`：双精度浮点型
- `Float`：单精度浮点型
- `String`：字符串
- `Boolean`：布尔值

2. **日期和时间类型**：
- `Date`：日期
- `Timestamp`：时间戳，精确到毫秒

3. **数组和结构化类型**：
- `Array[T]`：同类型的数组
- `StructType`：表示复杂的数据结构，由字段名和字段类型组成，类似于数据库表的列定义

4. **Map类型**：
- `Map[K, V]`：键值对集合，键和值可以是任意类型

在创建 DataFrame 或者使用 `createDataFrame` 函数时，你可以像下面这样定义数据类型：

val schema = StructType(
  Seq(
    StructField("id", IntegerType),
    StructField("name", StringType),
    StructField("age", LongType),
    StructField("birthday", DateType),
    StructField("scores", ArrayType(DoubleType))
  )
)
val df = spark.createDataFrame(data, schema)

这里 `schema` 定义了每列的名称和数据类型。