juptyer pyspark怎么运行在yarn上

要在yarn上运行Jupyter PySpark，您需要遵循以下步骤：

1. 安装Hadoop和Spark

2. 配置环境变量和Spark配置文件

3. 安装Jupyter和PySpark

4. 启动Jupyter

5. 在Jupyter中设置Spark Context

以下是更详细的步骤：

1. 安装Hadoop和Spark

首先，您需要安装Hadoop和Spark。您可以从官方网站下载最新版本的Hadoop和Spark。安装过程可能会因操作系统不同而略有不同，因此请按照官方文档进行操作。

2. 配置环境变量和Spark配置文件

安装完成后，您需要设置环境变量和Spark配置文件。在.bashrc或.zshrc文件中添加以下环境变量：

export HADOOP_HOME=/path/to/hadoop
export SPARK_HOME=/path/to/spark
export PATH=$PATH:$SPARK_HOME/bin:$HADOOP_HOME/bin

接下来，您需要在$SPARK_HOME/conf目录中创建一个spark-defaults.conf文件，并将以下内容添加到该文件中：

spark.master yarn
spark.submit.deployMode client
spark.executor.instances 2
spark.executor.memory 2g
spark.driver.memory 2g

这将配置Spark以在yarn上运行，并设置每个executor的内存大小为2G。

3. 安装Jupyter和PySpark

接下来，您需要安装Jupyter和PySpark。您可以使用pip安装它们：

pip install jupyter pyspark

4. 启动Jupyter

安装完成后，您可以使用以下命令启动Jupyter：

jupyter notebook

这将在浏览器中打开Jupyter Notebook。

5. 在Jupyter中设置Spark Context

最后，您需要在Jupyter中设置Spark Context。在Jupyter Notebook中创建一个新的Python Notebook，并将以下代码添加到第一个单元格中：

import os
import sys

spark_home = os.environ.get('SPARK_HOME', None)
if not spark_home:
    raise ValueError('SPARK_HOME environment variable is not set')

# Add the PySpark classes to the Python path
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.10.9-src.zip'))

# Create a Spark context
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName('MyApp')
sc = SparkContext(conf=conf)

# Print the Spark version
print(sc.version)

运行该单元格后，您应该能够看到输出显示Spark的版本。

现在，您已经成功地在yarn上运行了Jupyter PySpark。您可以在Jupyter Notebook中编写和运行PySpark代码。