spark 计算pi值

在 Spark 中计算 pi 值可以使用 Monte Carlo 方法。具体步骤如下：

1. 在一个单位正方形中，随机生成大量的点（x, y）。
2. 统计落在单位圆内的点数 numInsideCircle。
3. 通过 numInsideCircle 和总点数 numTotal 计算 pi 值。

代码实现如下：

from pyspark.sql import SparkSession
import random

def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1

if __name__ == "__main__":
    spark = SparkSession.builder.appName("Pi").getOrCreate()

    num_samples = 100000000
    count = spark.sparkContext.parallelize(range(0, num_samples)).filter(inside).count()

    pi = 4 * count / num_samples
    print("Pi is roughly %f" % pi)

    spark.stop()

在这个例子中，我们生成了 1 亿个点，并通过 filter 函数筛选出落在单位圆内的点的数量。最后通过 count 函数计算出 numInsideCircle。

最终的 pi 值就是 4 * numInsideCircle / numTotal。