spark sql 笔记(16)—— spark on yarn

Spark on YARN 是 Spark 在 Hadoop YARN 上的一种部署方式。它允许 Spark 应用程序在 Hadoop 集群上运行，可以利用 Hadoop 的资源管理器 YARN 来管理 Spark 应用程序的资源。Spark on YARN 的优点是可以充分利用 Hadoop 集群的资源，同时也可以与其他 Hadoop 生态系统的组件进行集成，如 HDFS、Hive、HBase 等。Spark on YARN 的部署方式相对简单，只需要在 Spark 配置文件中设置一些参数即可。在使用 Spark on YARN 时，需要注意一些问题，如资源分配、容错性、性能优化等。