pyspark 使用文档

PySpark 是 Apache Spark 的 Python API，提供了一种用 Python 编程语言来操作 Spark 的方式。本文将介绍 PySpark 的基本使用方法。

1. 安装 PySpark

要使用 PySpark，需要先安装 Spark 和 Python。Spark 的安装可以参考官方文档：https://spark.apache.org/downloads.html。安装完成后，需要将 Spark 的 bin 目录添加到系统环境变量中。

Python 的安装可以参考官方文档：https://www.python.org/downloads/。安装完成后，需要安装 PySpark 包，可以使用 pip 命令进行安装：

pip install pyspark

2. 创建 SparkContext

在使用 PySpark 时，需要先创建 SparkContext，它是 Spark 的入口点，用于连接 Spark 集群。创建 SparkContext 的方法如下：

from pyspark import SparkContext

sc = SparkContext("local", "PySpark Demo")

其中，第一个参数是 Spark 集群的 URL，"local" 表示在本地运行，第二个参数是应用程序的名称。

3. 创建 RDD

RDD（Resilient Distributed Dataset）是 Spark 的核心数据结构，它代表了一个分布式的、只读的数据集合。创建 RDD 的方法有多种，可以从文件、数据集、内存等多种数据源中创建。

从文件中创建 RDD：

rdd = sc.textFile("file.txt")

从数据集中创建 RDD：

rdd = sc.parallelize([1, 2, 3, 4, 5])

从内存中创建 RDD：

rdd = sc.parallelize([(1, "apple"), (2, "banana"), (3, "orange")])

4. RDD 转换操作

RDD 支持多种转换操作，可以对 RDD 进行过滤、映射、聚合等操作，常用的转换操作包括：

过滤：

rdd.filter(lambda x: x % 2 == 0)

映射：

rdd.map(lambda x: x * 2)

聚合：

rdd.reduce(lambda x, y: x + y)

5. RDD 行动操作

RDD 进行转换操作时，只是对 RDD 进行了一些计算，产生了新的 RDD，而不会触发实际的计算。只有当需要获取 RDD 中的数据时，才会触发行动操作，常用的行动操作包括：

rdd.collect() # 获取 RDD 中的所有数据
rdd.count() # 获取 RDD 中的数据个数
rdd.first() # 获取 RDD 中的第一个数据
rdd.take(5) # 获取 RDD 中的前 5 个数据

6. 关闭 SparkContext

在使用完 SparkContext 后，需要关闭它以释放资源：

sc.stop()

以上就是 PySpark 的基本使用方法，更多详细内容可以参考官方文档：https://spark.apache.org/docs/latest/api/python/index.html。