pyspark list 转为json

可以使用Python内置的`json`模块将PySpark的list转换为JSON格式。下面是一个简单的示例：

import json
from pyspark.sql.functions import collect_list

# 创建一个PySpark DataFrame
df = spark.createDataFrame([(1, 'a'), (2, 'b'), (1, 'c')], ['id', 'value'])

# 使用collect_list函数将value列转换为list
list_col = df.groupBy('id').agg(collect_list('value').alias('values')).collect()

# 将list转换为JSON格式
json_string = json.dumps([{'id': row.id, 'values': row.values} for row in list_col])

# 打印JSON字符串
print(json_string)

输出：

[{"id":1,"values":["a","c"]},{"id":2,"values":["b"]}]