pyspark rank

在 PySpark 中，可以使用 `rank()` 函数来为 DataFrame 中的行计算排名。该函数可以接受一个或多个列名作为排序依据，并返回一个新列，其中包含每一行的排名。

以下是一个示例：

from pyspark.sql.functions import rank

df = spark.createDataFrame([(1, "Alice"), (2, "Bob"), (3, "Charlie"), (4, "David"), (5, "Emily")], ["id", "name"])
df = df.orderBy("id")

df = df.withColumn("rank", rank().over(Window.orderBy("id")))
df.show()

输出结果为：

+---+-------+----+
| id|   name|rank|
+---+-------+----+
|  1|  Alice|   1|
|  2|    Bob|   2|
|  3|Charlie|   3|
|  4|  David|   4|
|  5|  Emily|   5|
+---+-------+----+

在上面的示例中，我们首先按 ID 列对 DataFrame 进行排序，然后使用 `rank()` 函数为每一行计算排名，并将结果保存在一个名为 `rank` 的新列中。注意，我们使用了窗口函数 `rank().over(Window.orderBy("id"))` 来计算排名，这样可以确保排名是基于整个 DataFrame 范围内的值来计算的。