pyspark入门教程

Pyspark是Python语言下的Spark API，它是Apache Spark的一个强大工具，用于大规模数据处理和分布式计算。以下是Pyspark入门的基本步骤：

1. **安装Spark**：首先，你需要下载并安装Apache Spark。官网提供预构建的包，适用于Linux、Mac和Windows。安装完成后，还需要安装Py4J库，它允许Python与Scala交互。

2. **环境配置**：设置环境变量，指向Spark的bin目录，以便系统可以找到Spark的命令行工具。此外，也需要添加到系统的PATH中。

3. **导入pyspark**：在Python脚本或环境中，通过`import pyspark`引入Pyspark模块。创建一个SparkSession，这是Pyspark的主要入口点，类似于SQL的连接。

from pyspark.sql import SparkSession

spark = SparkSession.builder \
        .appName("MyApp") \
        .master("local[*]") \
        .getOrCreate()

这里`appName`是你程序的标识，`master`指定运行模式（本地、集群等）。

4. **数据加载**：使用`SparkSession`加载数据，例如从HDFS、CSV文件、数据库等。

df = spark.read.format("csv").option("header", "true").load("path/to/csv")

5. **数据操作**：开始对数据进行处理，包括查询、转换、清洗等，使用DataFrame API提供的各种函数如`select()`, `filter()`, `groupBy()`等。

6. **执行任务**：调用`df.show()`查看数据，或者`df.write.save()`保存结果。

7. **停止会话**：当不再需要SparkContext时，使用`spark.stop()`关闭会话。