apache spark 例子

以下是一个简单的 Apache Spark 例子，用于计算 Pi 的近似值：

from pyspark.sql import SparkSession
import random

spark = SparkSession.builder.appName("Pi").getOrCreate()

def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1

num_samples = 1000000
count = spark.sparkContext.parallelize(range(0, num_samples)).filter(inside).count()

pi = 4 * count / num_samples
print("Pi is approximately %f" % pi)

spark.stop()

此示例使用 PySpark API 来创建一个 SparkSession 对象，并使用 `parallelize()` 方法并行计算 Pi 的近似值。在这个例子中，我们使用了 Monte Carlo 方法，通过随机生成点并计算点是否在圆内来计算 Pi 的值。最后，我们通过计算 Pi 的值来近似输出 Pi。