INFO client.RMProxy: Connecting to ResourceManager at node2/192.168.164.127:8032 2023-06-08 04:49:35,995 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/had/.staging/job_1686223338867_0002 2023-06-08 04:49:36,051 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false 2023-06-08 04:49:36,532 INFO input.FileInputFormat: Total input files to process : 1 2023-06-08 04:49:36,537 INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/had/.staging/job_1686223338867_0002
时间: 2024-01-29 21:04:31 浏览: 67
这是一个 Hadoop MapReduce 任务的日志。其中包括了作业的一些基本信息,如连接到 ResourceManager 的地址和端口、输入文件的数量等等。
其中的一行日志 "Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/had/.staging/job_1686223338867_0002" 表示禁用了纠删码编码(Erasure Coding)功能,这是因为在该路径下的文件不支持纠删码编码。
另外一行日志 "Total input files to process : 1" 表示该作业需要处理的输入文件数量是 1。
最后一行日志 "Cleaning up the staging area /tmp/hadoop-yarn/staging/had/.staging/job_1686223338867_0002" 表示清理作业的临时目录。在 MapReduce 任务执行期间,会在 HDFS 中创建一个临时目录,用于存放作业相关的中间结果和临时文件。作业执行完成后,这个临时目录会被清理掉,以释放存储空间。
相关问题
client.RMProxy: Connecting to ResourceManager at node01/192.168.50.80:8032
这是一个 Hadoop YARN(Yet Another Resource Negotiator)客户端连接到 ResourceManager 的日志信息。YARN 是 Hadoop 的一个资源管理框架,它的任务是管理集群中的资源,为应用程序提供资源调度和管理服务。通过连接到 ResourceManager,客户端可以向 YARN 提交应用程序,并观察应用程序的状态和进度。在这条日志信息中,客户端正在连接到 IP 地址为 192.168.50.80,端口号为 8032 的节点上的 ResourceManager。
2023-06-10 16:49:34,351 INFO client.RMProxy: Connecting to ResourceManager at shark:8032
这是一条 Hadoop YARN 的日志信息,其中 `INFO` 表示这是一条信息级别为普通的日志记录。`client.RMProxy` 表示这条日志记录是由资源管理代理模块产生的。`Connecting to ResourceManager at shark:8032` 表示客户端正在尝试连接到一个名为 `shark`,端口号为 `8032` 的资源管理器。