使用jupyter notebook编写spark程序，运行在yarn上；

1. 安装Jupyter Notebook

首先需要安装Jupyter Notebook，可以使用以下命令安装：

pip install jupyter

2. 安装PySpark

然后需要安装PySpark，可以使用以下命令安装：

pip install pyspark

3. 配置环境变量

在使用PySpark前，需要配置环境变量，将Spark的bin目录添加到PATH中。例如：

export PATH=$PATH:/path/to/spark/bin

4. 启动Jupyter Notebook

使用以下命令启动Jupyter Notebook：

jupyter notebook

5. 创建PySpark Notebook

在浏览器中打开Jupyter Notebook，点击右上角的“New”按钮，选择“Python 3”或“PySpark”即可创建一个新的Notebook。

6. 编写PySpark程序

在Notebook中，可以使用PySpark API来编写Spark程序。例如：

from pyspark import SparkContext

sc = SparkContext(appName="MyApp")
rdd = sc.parallelize([1, 2, 3, 4, 5])
sum = rdd.reduce(lambda x, y: x + y)
print(sum)

7. 运行PySpark程序

在Notebook中，可以直接运行PySpark程序。点击“Run”按钮即可运行程序，并在Notebook中输出结果。

8. 配置运行环境

如果需要将PySpark程序运行在YARN上，需要配置运行环境。可以在Notebook中使用以下代码：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("MyApp").setMaster("yarn")
sc = SparkContext(conf=conf)

rdd = sc.parallelize([1, 2, 3, 4, 5])
sum = rdd.reduce(lambda x, y: x + y)
print(sum)

在运行程序前，需要先启动YARN集群。可以使用以下命令启动YARN：

start-yarn.sh

然后就可以在Notebook中运行PySpark程序，并将程序提交到YARN集群上运行了。