jupyter 中运行Pyspark怎么查看它的日志

在 Jupyter 中运行 PySpark 时，可以使用以下方式查看日志：

1. 设置环境变量

在 Jupyter 中运行 PySpark 时，可以设置环境变量 SPARK_WORKER_DIR 和 SPARK_LOG_DIR，用于指定 PySpark 的日志输出目录。可以使用以下命令设置：

import os

os.environ['SPARK_WORKER_DIR'] = '/path/to/worker/logs'
os.environ['SPARK_LOG_DIR'] = '/path/to/spark/logs'

其中，`/path/to/worker/logs` 用于指定 PySpark 的 worker 进程的日志输出目录，`/path/to/spark/logs` 用于指定 PySpark 的日志输出目录。

2. 查看日志文件

PySpark 的日志存储在 SPARK_LOG_DIR 指定的目录中，可以使用以下命令查看日志文件：

!ls /path/to/spark/logs

其中，`/path/to/spark/logs` 为你在环境变量中配置的日志输出目录。

3. 查看 Spark Web UI

可以通过 Spark Web UI 查看 PySpark 的日志信息。在 Jupyter 中运行 PySpark 时，可以使用以下命令打开 Spark Web UI：

from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName("PySpark")
sc = SparkContext(conf=conf)

print(sc.uiWebUrl)

运行以上代码后，会输出 Spark Web UI 的地址，复制该地址到浏览器中即可打开 Spark Web UI。在 Spark Web UI 中，可以查看 PySpark 应用程序的日志信息、任务执行情况等。