spark row_number

在 Spark 中，可以使用窗口函数和 `row_number()` 函数来为每行分配一个唯一的序号。下面是一个示例：

from pyspark.sql import SparkSession
from pyspark.sql.window import Window
from pyspark.sql.functions import row_number

# 创建 SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建一个示例数据集
data = [("Alice", 25),
        ("Bob", 30),
        ("Charlie", 35),
        ("Dave", 40)]

df = spark.createDataFrame(data, ["Name", "Age"])

# 创建窗口规范
windowSpec = Window.orderBy("Age")

# 使用 row_number() 函数为每行分配序号
df.withColumn("RowNumber", row_number().over(windowSpec)).show()

运行以上代码后，你会得到以下输出结果：

+-------+---+---------+
|   Name|Age|RowNumber|
+-------+---+---------+
|  Alice| 25|        1|
|    Bob| 30|        2|
|Charlie| 35|        3|
|   Dave| 40|        4|
+-------+---+---------+

可以看到，在新添加的 `RowNumber` 列中，每行都被分配了一个唯一的序号。该序号是根据 `Age` 列进行排序得到的。