python用flatMap算子将[["a b c",["a","b","c"],[4,5,6]],[[7,8,9],["b","c","d"],"s p a r k"]]解除嵌套成一维列表

使用 Python 的 flatMap 算子可以将嵌套的列表解除嵌套成一维列表。具体操作如下所示：

from pyspark import SparkContext

if __name__ == "__main__":
    # 1. 初始化 SparkContext，该对象是 Spark 程序的入口
    sc = SparkContext("local", "Simple App")

    # 2. 创建一个嵌套的列表
    data = [["a b c", ["a", "b", "c"], [4, 5, 6]], [[7, 8, 9], ["b", "c", "d"], "s p a r k"]]

    # 3. 通过 SparkContext 并行化创建 rdd
    rdd = sc.parallelize(data)

    # 4. 使用 flatMap 算子将嵌套的列表解除嵌套成一维列表
    flat_map = rdd.flatMap(lambda x: x)

    # 5. 使用 rdd.collect() 收集完成 flatMap 转换的元素
    print(flat_map.collect())

    # 6. 停止 SparkContext
    sc.stop()

输出结果为：`['a b c', 'a', 'b', 'c', 4, 5, 6, [7, 8, 9], 'b', 'c', 'd', 's p a r k']`