如何拿到yarn临时hdfs路径中的具体作业信息？

要获取Yarn临时HDFS路径中的作业信息，可以执行以下步骤：

1. 执行以下命令，获取Yarn应用程序ID：

yarn application -list

2. 执行以下命令，获取应用程序日志目录：

yarn logs -applicationId <application_id>

3. 查看应用程序日志目录中的文件，找到包含作业信息的文件。通常，这些文件名以“job_”开头，后跟作业ID。

4. 使用Hadoop命令从临时HDFS路径中读取作业信息。例如，使用以下命令读取作业计数器：

hadoop job -counter <job_id> <group_name> <counter_name>

请注意，这些命令可能因版本和配置而有所不同。您可能需要根据您的环境进行适当的调整。

相关问题

yarn MapReduce hdfs

Yarn, MapReduce和HDFS是Apache Hadoop生态系统中的三个核心组件。

Yarn是Hadoop的资源管理器，负责管理集群中的计算资源和任务调度。它允许多个应用程序在同一集群上同时运行。

MapReduce是Hadoop的计算框架，用于处理大规模数据集。它提供了分布式数据处理和并行计算的能力，可以在大规模数据集上进行高效的数据处理和计算。

HDFS是Hadoop的分布式文件系统，用于存储大规模数据集。它将数据划分成多个块，并在集群中的多个节点上进行存储和处理，从而实现了高可靠性、高吞吐量和高扩展性的数据存储。

在Hadoop集群中，Yarn负责资源管理和任务调度，MapReduce负责数据处理和计算，HDFS负责数据存储和管理。这三个组件协同工作，为Hadoop提供了高效的大规模数据处理和计算能力。

如何查看yarn的路径是否添加到系统环境变量中

您可以在终端中输入以下命令查看当前环境变量中的内容，其中包含了系统路径和用户路径：

echo $PATH

如果yarn的路径已经添加到环境变量中，那么在输出的结果中应该能看到包含yarn的路径。例如：

/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/opt/X11/bin:/Library/Frameworks/Python.framework/Versions/3.7/bin:/Users/username/.yarn/bin:/Users/username/.config/yarn/global/node_modules/.bin

其中`/Users/username/.yarn/bin`就是yarn的路径。

如果您在输出的结果中没有看到yarn的路径，那么说明yarn的路径没有添加到环境变量中。您可以手动添加yarn的路径，具体操作可以参考yarn官方文档(https://classic.yarnpkg.com/en/docs/install/#mac-stable)。