spark-sql on yarn 、spark-shell on yarn 详解
时间: 2023-04-26 11:01:50 浏览: 243
spark sql介绍
Spark SQL on Yarn 是在 Yarn 集群上运行 Spark SQL 的方式。它可以将 Spark SQL 作为 Yarn 上的应用程序来运行,并可以利用 Yarn 的资源管理和负载均衡功能。
Spark Shell on Yarn 是在 Yarn 集群上运行 Spark Shell 的方式。它可以将 Spark Shell 作为 Yarn 上的应用程序来运行,并可以利用 Yarn 的资源管理和负载均衡功能。在 Spark Shell on Yarn 中,用户可以直接在命令行中输入 Spark SQL 语句,并在 Yarn 集群上执行。
阅读全文