spark sql窗口函数window的使用（1）

Spark SQL中的窗口函数（window function）是一种可以在数据集的子集上进行聚合计算的函数。它可以在不改变原始数据集的情况下，对数据进行分组、排序、排名等操作，从而实现更加复杂的数据分析和处理。

窗口函数的使用需要定义一个窗口（window），窗口可以理解为一个数据集的子集，它可以通过指定窗口的大小、排序方式、分组方式等参数来确定。在窗口内部，可以使用各种聚合函数（如sum、avg、count等）进行计算，同时还可以使用一些特殊的函数（如rank、dense_rank、row_number等）对数据进行排序和排名。

窗口函数的语法如下：

<窗口函数> OVER (
  [PARTITION BY <分组字段>]
  [ORDER BY <排序字段> [ASC|DESC]]
  [ROWS <N> PRECEDING|FOLLOWING]
)

其中，PARTITION BY用于指定分组字段，ORDER BY用于指定排序字段和排序方式（ASC表示升序，DESC表示降序），ROWS用于指定窗口的大小和偏移量（PRECEDING表示向前偏移，FOLLOWING表示向后偏移）。

例如，下面的SQL语句使用窗口函数计算每个部门的平均工资和排名：

SELECT dept, avg(salary) OVER (PARTITION BY dept ORDER BY salary DESC) as avg_salary, 
       rank() OVER (PARTITION BY dept ORDER BY salary DESC) as rank
FROM employee

在这个例子中，我们使用了PARTITION BY将数据按照部门进行分组，然后使用ORDER BY将每个部门内的数据按照工资降序排序。最后，我们使用avg和rank函数对每个部门内的数据进行计算，得到了每个部门的平均工资和排名。