spark on yarn程序的日志在哪里查看, 请给出详细的教程

在 Spark on YARN 中，日志分为两类：应用程序日志和 YARN 日志。

1. 应用程序日志

应用程序日志包含了 Spark 应用程序运行时的输出信息，包括 stdout 和 stderr。这些日志默认存储在 HDFS 上，可以通过以下步骤查看：

1）在 HDFS 上找到应用程序的日志目录，该目录的路径为：

<LOG_DIR>/userlogs/<APPLICATION_ID>/<CONTAINER_ID>/stdout
<LOG_DIR>/userlogs/<APPLICATION_ID>/<CONTAINER_ID>/stderr

其中，`<LOG_DIR>` 是 HDFS 中的日志目录，`<APPLICATION_ID>` 是应用程序的 YARN Application ID，`<CONTAINER_ID>` 是 Spark Executor 运行所在的 YARN 容器 ID。

2）使用以下命令查看日志：

hdfs dfs -cat <LOG_DIR>/userlogs/<APPLICATION_ID>/<CONTAINER_ID>/stdout
hdfs dfs -cat <LOG_DIR>/userlogs/<APPLICATION_ID>/<CONTAINER_ID>/stderr

2. YARN 日志

YARN 日志包含了应用程序在 YARN 上运行的一些状态信息，比如应用程序在 YARN 上的启动时间、运行时间、完成时间等。这些日志存储在 HDFS 上的应用程序日志目录中的 `syslog` 文件中，可以使用以下命令查看：

yarn logs -applicationId <APPLICATION_ID>

其中，`<APPLICATION_ID>` 是应用程序的 YARN Application ID。

注意：在使用以上命令查看日志之前，需要先确保已经安装并配置好了 Hadoop 和 YARN。