spark on yarn提交流程
时间: 2023-11-22 13:29:22 浏览: 115
windows中使用yarn-cluster模式提交spark任务
提交 Spark on YARN 的流程为:
1. 准备环境:安装配置好 Hadoop 和 Spark,以及相关的配置参数(如内存、CPU 等)。
2. 准备应用程序:将应用程序打包成 jar 包,其中包含了所有依赖的库和配置信息。
3. 准备提交脚本:创建一个配置文件,指定运行的参数,如需要使用的队列、资源等等。
4. 提交应用程序:使用 Hadoop 提供的命令行工具提交应用程序,提交后可以通过 yarn 在后台进行监控和管理。
5. 监控和管理:可以使用 Hadoop 提供的 Web 界面或命令行工具来查看应用程序的运行状态,包括已完成的任务、正在运行的任务、以及失败的任务等信息。
注意:以上流程只是一般情况,实际使用中还需要根据具体的应用场景做相应的调整。
阅读全文