sparksql 根据一个字段生成id

你可以使用 SparkSQL 中的窗口函数 `row_number()` 来生成 ID。假设你要根据字段 `name` 生成 ID，可以按照以下步骤操作：

1. 使用 `orderBy` 子句将数据按照 `name` 字段排序。
2. 使用 `row_number()` 函数生成 ID。
3. 将结果保存到一个新的 DataFrame 中。

以下是示例代码：

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions.row_number

val df = Seq(("Alice"), ("Bob"), ("Charlie")).toDF("name")
val window = Window.orderBy("name")
val result = df.withColumn("id", row_number().over(window))
result.show()

输出结果为：

+-------+---+
|   name| id|
+-------+---+
|  Alice|  1|
|    Bob|  2|
|Charlie|  3|
+-------+---+

相关问题

sparksql 根据一个字段生成id，固定的值对应固定的id sql语句

如果你的需求是根据一个字段生成 ID，并且每个固定的值都对应一个固定的 ID，可以使用 SparkSQL 中的 CASE WHEN 语句来实现。以下是示例代码：

import org.apache.spark.sql.functions.{row_number, when}
import org.apache.spark.sql.expressions.Window

val df = Seq(("Alice", "female"), ("Bob", "male"), ("Charlie", "male"), ("Eve", "female")).toDF("name", "gender")
val window = Window.partitionBy("gender").orderBy("name")
val result = df.withColumn("id", when($"gender" === "female", row_number().over(window) + 1000)
                               .otherwise(row_number().over(window)))
result.show()

这个示例代码的含义是：当 `gender` 字段的值为 "female" 时，使用 `row_number()` 函数生成 ID，并加上 1000；当 `gender` 字段的值不为 "female" 时，直接使用 `row_number()` 函数生成 ID。这样就可以实现每个固定的值对应固定的 ID 的需求。输出结果为：

+-------+------+----+
|   name|gender|  id|
+-------+------+----+
|  Alice|female|1001|
|    Eve|female|1002|
|    Bob|  male|   1|
|Charlie|  male|   2|
+-------+------+----+

sparksql 根据一个字段生成id，固定的值对应固定的id主键 sql语句

如果你的需求是根据一个字段生成 ID，并且每个固定的值都对应一个固定的 ID，可以使用 SparkSQL 中的 CASE WHEN 语句来实现。同时，如果你需要将生成的 ID 作为主键，可以使用 SparkSQL 中的 `PRIMARY KEY` 约束来实现。以下是示例代码：

import org.apache.spark.sql.functions.{row_number, when}
import org.apache.spark.sql.expressions.Window

val df = Seq(("Alice", "female"), ("Bob", "male"), ("Charlie", "male"), ("Eve", "female")).toDF("name", "gender")
val window = Window.partitionBy("gender").orderBy("name")
val result = df.withColumn("id", when($"gender" === "female", row_number().over(window) + 1000)
                               .otherwise(row_number().over(window)))
               .withColumn("id", $"id".cast("String")) // 将 ID 转换为字符串类型
               .withColumn("id", concat($"gender", $"id")) // 使用 gender 字段作为前缀
               .drop("gender")
               .withColumnRenamed("id", "pk") // 将 id 字段重命名为 pk
               .withColumn("name", $"name".cast("String")) // 将 name 字段转换为字符串类型
               .select("pk", "name")
               .distinct()
               .orderBy("pk")
               .createOrReplaceTempView("temp_table")

spark.sql("CREATE TABLE my_table (pk STRING PRIMARY KEY, name STRING) USING PARQUET")
spark.sql("INSERT INTO my_table SELECT * FROM temp_table")

这个示例代码的含义是：首先根据 gender 字段生成 ID，以 gender 字段加上 ID 作为主键，并将 ID 作为字符串类型。然后将 gender 字段删除，将 ID 字段重命名为 pk，并保存到一个临时表中。最后使用 CREATE TABLE 语句创建一张表，并将临时表中的数据插入到该表中。注意，这里使用了 `USING PARQUET` 选项来指定表的数据格式，你也可以根据实际情况来选择其他数据格式。