ranking_column是什么时候赋值的

在deduplicate函数中，ranking_column是一个参数，它指定了用于标识重复记录的列的名称。具体来说，该参数是在调用add_duplicates_rank函数时传入的，如下所示：

df = add_duplicates_rank(df, key_columns, order_by_columns, ranking_column)

其中，ranking_column是一个字符串，表示用于标识重复记录的列的名称，它可以是任何合法的列名。在add_duplicates_rank函数中，会使用pyspark的Window函数对DataFrame进行分组、排序、排名等操作，并将生成的重复排名值作为新的一列添加到DataFrame中，列名就是传入的ranking_column参数。最终，add_duplicates_rank函数返回一个新的DataFrame，其中包含了新添加的"duplicates_rank"列。

相关问题

if self.config.deduplicate_order_by_type == "asc": order_by_columns = [F.col(column_name) for column_name in self.config.deduplication_order_columns] ranking_column = "duplicates_rank" is_deleted_column = "IsDeleted" if (self.config.filter_deleted_flag) & ( is_deleted_column in df.columns): # if True removes records that marked deleted filter = (F.col(ranking_column) == 1) & (F.col(is_deleted_column) == "False") else: self.logger.warning(f"Records marked as deleted will be loaded to {self.config.table_full_name} table!") filter = F.col(ranking_column) == 1 return df.withColumn(ranking_column, F.row_number().over(Window.partitionBy(key_columns).orderBy(order_by_columns))).filter( filter).drop(ranking_column)将这个转为sql形式

将这段 Python 代码转换成 SQL 代码的大致形式如下：

IF self.config.deduplicate_order_by_type = "asc" THEN
    SET @order_by_columns = CONCAT_WS(',', column_name1, column_name2, ...);
ELSEIF self.config.deduplicate_order_by_type = "desc" THEN
    SET @order_by_columns = CONCAT_WS(',', CONCAT(column_name1, ' DESC'), CONCAT(column_name2, ' DESC'), ...);
END IF;

IF self.config.filter_deleted_flag AND FIND_IN_SET('IsDeleted', @column_names) THEN
    SET @filter = CONCAT('(', duplicates_rank, '= 1 AND IsDeleted = "False")');
ELSE
    SET @filter = CONCAT('(', duplicates_rank, '= 1)');
END IF;

SELECT column_name1, column_name2, ..., 
       ROW_NUMBER() OVER (PARTITION BY @key_columns ORDER BY @order_by_columns) AS duplicates_rank
FROM table_name
WHERE @filter;

其中，`self.config.deduplicate_order_by_type` 是用于判断排序方式的变量，`column_name1, column_name2, ...` 是需要去重的列名，`table_name` 是表名，`key_columns` 是用于分组的列名，`duplicates_rank` 是新生成的列名，用于标记数据是否重复，`IsDeleted` 是用于标记数据是否已经删除的列名。

该 SQL 代码使用了 ROW_NUMBER() 函数来生成新列 `duplicates_rank`，并且使用 IF 和 ELSEIF 语句来判断排序方式，使用 CONCAT_WS() 和 CONCAT() 函数来生成排序的列名和筛选条件。如果 `self.config.filter_deleted_flag` 为 True 并且表中包含 `IsDeleted` 列，则会在筛选时去除被标记为删除的记录；否则会提示将标记为删除的记录加载到表中。最后，生成的结果集中包含原来的列和新列 `duplicates_rank`，并且根据 `duplicates_rank` 列进行了筛选。

ranking_column = "duplicates_rank"为什么这么赋值，并且进行与1比较

在deduplicate函数中，ranking_column参数默认值为"duplicates_rank"，这是因为在进行数据去重时，我们需要为每个分组内的记录生成一个排名值，用于标识重复记录的排名。由于这个排名值是在函数内部生成的，因此我们需要为它指定一个列名。为了方便使用，我们默认将这个列名命名为"duplicates_rank"。

在去重完成后，我们需要将"duplicates_rank"列中排名为1的记录保留下来，而将其他重复记录删除。因此，我们需要将"duplicates_rank"列中的每个值与1进行比较，以确定哪些记录是重复记录，哪些是唯一记录。如果"duplicates_rank"列中的值为1，则表示该记录是唯一记录，否则就是重复记录。

当然，如果需要使用其他名称来标识重复记录的排名，也可以在调用deduplicate函数时通过传入ranking_column参数来指定。而将"duplicates_rank"列中的值与1进行比较，是因为在deduplicate函数中，我们默认将重复排名值按升序排序，因此排名为1的记录就是每个分组内的第一个记录。