from pyspark.sql.functions里都有哪些函数
时间: 2024-03-15 18:45:34 浏览: 83
`pyspark.sql.functions` 提供了许多 Spark SQL 内置的函数,可以用于 DataFrame 的转换和聚合操作。下面是一些常用的函数:
- 转换函数:`concat()`, `substring()`, `trim()`, `upper()`, `lower()`, `split()`, `regexp_replace()`, `from_unixtime()`, `date_format()`, `when()`, `otherwise()` 等。
- 数学函数:`abs()`, `sqrt()`, `exp()`, `log()`, `pow()`, `sin()`, `cos()`, `tan()`, `asin()`, `acos()`, `atan()`, `pi()` 等。
- 聚合函数:`sum()`, `avg()`, `count()`, `max()`, `min()`, `collect_list()`, `collect_set()` 等。
- 窗口函数:`row_number()`, `rank()`, `dense_rank()`, `percent_rank()`, `cume_dist()`, `lag()`, `lead()` 等。
除了上述函数以外,`pyspark.sql.functions` 还提供了很多其他的函数,可以根据需要进行查阅。可以通过以下方式导入 `pyspark.sql.functions` 模块:
``` python
from pyspark.sql.functions import *
```
这样可以将 `pyspark.sql.functions` 中所有的函数导入到当前作用域中,方便使用。
阅读全文