spark sql常用函数

Spark SQL是Apache Spark中用于处理结构化数据的模块，它提供了一套丰富的函数来进行数据处理和分析。以下是一些常用的Spark SQL函数：

1. 聚合函数：
- count：计算非空值的数量。
- sum：计算数值列的总和。
- avg：计算数值列的平均值。
- max：计算数值列的最大值。
- min：计算数值列的最小值。

2. 字符串函数：
- length：计算字符串的长度。
- concat：将多个字符串连接在一起。
- substring：截取字符串的子串。
- trim：去除字符串两端的空格。
- upper/lower：将字符串转换为大写/小写。

3. 时间函数：
- current_date：返回当前日期。
- current_timestamp：返回当前时间戳。
- date_format：将日期格式化为指定的字符串格式。
- datediff：计算两个日期之间的天数差。
- year/month/day/hour/minute/second：提取日期或时间的年、月、日、小时、分钟、秒。

4. 数组函数：
- size：返回数组的长度。
- array_contains：判断数组是否包含指定元素。
- explode：将数组拆分为多行。
- sort_array：对数组进行排序。

5. 条件函数：
- when/otherwise：实现条件判断和赋值。
- case when/else/end：实现多条件判断和赋值。