linux中运行yarn命令,在yarn上运行spark-shell和spark-sql命令行
时间: 2023-04-22 18:01:15 浏览: 156
在Linux中运行yarn命令后,可以使用以下命令行来运行spark-shell和spark-sql:
1. 运行spark-shell命令行:
```
spark-shell --master yarn
```
2. 运行spark-sql命令行:
```
spark-sql --master yarn
```
这些命令将使用yarn作为集群管理器来运行Spark应用程序。在运行这些命令之前,请确保已经安装了Spark和yarn,并且已经正确配置了环境变量和相关的配置文件。
相关问题
spark-sql on yarn 、spark-shell on yarn 详解
Spark SQL on Yarn 是在 Yarn 集群上运行 Spark SQL 的方式。它可以将 Spark SQL 作为 Yarn 上的应用程序来运行,并可以利用 Yarn 的资源管理和负载均衡功能。
Spark Shell on Yarn 是在 Yarn 集群上运行 Spark Shell 的方式。它可以将 Spark Shell 作为 Yarn 上的应用程序来运行,并可以利用 Yarn 的资源管理和负载均衡功能。在 Spark Shell on Yarn 中,用户可以直接在命令行中输入 Spark SQL 语句,并在 Yarn 集群上执行。
shell脚本调用spark-sql
可以使用以下命令在shell脚本中调用spark-sql:
```
spark-sql --master yarn --deploy-mode client --executor-memory 2g --num-executors 10 --driver-memory 1g --conf spark.sql.shuffle.partitions=200 --conf spark.default.parallelism=200 -e "SELECT * FROM table_name"
```
其中,`--master`指定了Spark集群的master节点,`--deploy-mode`指定了Spark应用的部署模式,`--executor-memory`和`--num-executors`指定了Spark应用的资源分配,`--driver-memory`指定了Driver进程的内存大小,`--conf`指定了Spark应用的配置参数,`-e`指定了要执行的SQL语句。
需要注意的是,`table_name`需要替换为实际的表名。另外,还可以通过`-f`选项指定一个SQL文件来执行多条SQL语句。