Jupyter Notebook 中导入 pyspark

在Jupyter Notebook中导入pyspark，你需要先确保你的环境中已经安装了Apache Spark，并配置了Python的Spark客户端pyspark。以下是步骤：

1. **环境准备**：
- 安装PyPI包：打开命令行或者终端，运行`pip install pyspark`来安装pyspark库。

2. **设置环境变量**：
- 如果你的Spark安装在默认位置，不需要额外设置。如果不是，可能需要设置`SPARK_HOME`指向Spark的安装目录，并添加其bin路径到系统PATH中，例如：

     export SPARK_HOME=/path/to/your/spark/installation

3. **启动SparkSession**：
- 在Jupyter Notebook中，通常通过以下代码开始一个SparkSession：

     from pyspark.sql import SparkSession
     spark = SparkSession.builder \
         .appName("MySparkApp") \
         .getOrCreate()

- `appName`可以根据你的项目命名，`getOrCreate()`会检查是否已有活跃的SparkContext，如果没有则创建一个新的。

4. **验证连接**：
创建完SparkSession后，你可以通过调用`spark.sparkContext.master`来确认Spark是否已成功连接到集群。

print(spark.sparkContext.master)