WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
时间: 2024-01-24 10:18:14 浏览: 505
这是一个警告信息,通常出现在使用 Hadoop 程序时。它表明 log4j.properties 文件没有被找到,可能是因为 HADOOP_CONF_DIR 环境变量没有被完全配置。log4j.properties 文件包含了 Hadoop 日志系统的配置信息,如果该文件找不到,Hadoop 程序将无法输出日志信息。你可以检查一下 HADOOP_CONF_DIR 环境变量是否被正确设置,并且在该目录下是否存在 log4j.properties 文件。如果没有,你可以手动创建该文件,并按照 Hadoop 官方文档中的说明进行配置。
相关问题
WARNING log4j.properties is not found. HADOOP_CONF_DIR may be incomplete
这个警告信息通常发生在使用 Hadoop 环境中,因为 Hadoop 使用 log4j 来进行日志记录,并需要加载 log4j.properties 文件。如果该文件不存在,就会出现这个警告信息。
解决方法是在 Hadoop 的配置目录中添加 log4j.properties 文件。具体的操作步骤如下:
1. 找到 Hadoop 的配置目录,通常在 $HADOOP_HOME/etc/hadoop/ 目录下。
2. 在该目录下创建 log4j.properties 文件。
3. 编辑 log4j.properties 文件,添加以下内容:
```
log4j.rootLogger=DEBUG, stdout
# Console output...
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
```
4. 保存 log4j.properties 文件。
这样就可以解决该警告信息了。
解决Hadoop无法启动JobHistoryServer 用start-yarn.sh来运行,出现了什么替换了什么值,我看其他也是人打开也是这样,应该不是什么错,但就是无法运行,用jps查看始终没有,之后在网上找方法进入sbin目录下用./mr-jobhistory-daemon.sh start historyserver,但还是无法成功没用,也依旧访问不了8080端口 WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR. WARNING: YARN_LOG_DIR has been replaced by HADOOP_LOG_DIR. Using value of YARN_LOG_DIR. WARNING: Use of this script to start the MR JobHistory daemon is deprecated. WARNING: Attempting to execute replacement "mapred --daemon start" instead. WARNING: HADOOP_MAPRED_ROOT_LOGGER has been replaced by HADOOP_ROOT_LOGGER. Using value of HADOOP_MAPRED_ROOT_LOGGER.打开后出现的,我看其他人也是一样
在使用 `start-yarn.sh` 命令启动 Hadoop 的 JobHistoryServer 时,出现了若干警告消息,其中包括:
- WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR.
- WARNING: YARN_LOG_DIR has been replaced by HADOOP_LOG_DIR. Using value of YARN_LOG_DIR.
- WARNING: Use of this script to start the MR JobHistory daemon is deprecated.
- WARNING: Attempting to execute replacement "mapred --daemon start" instead.
- WARNING: HADOOP_MAPRED_ROOT_LOGGER has been replaced by HADOOP_ROOT_LOGGER. Using value of HADOOP_MAPRED_ROOT_LOGGER.
这些警告消息提示了一些 Hadoop 相关的环境变量(如 YARN_CONF_DIR、YARN_LOG_DIR、HADOOP_MAPRED_ROOT_LOGGER)已被废弃,并被替换为新的环境变量(如 HADOOP_CONF_DIR、HADOOP_LOG_DIR、HADOOP_ROOT_LOGGER)。这意味着,在新版本的 Hadoop 中,应使用新的环境变量,而不是旧的环境变量。
此外,警告消息还提示,使用 `start-yarn.sh` 命令启动 MR JobHistory daemon 已被废弃,并建议使用 "mapred --daemon start" 命令代替。因此,如果想要启动 Hadoop 的 JobHistoryServer,建议使用 "mapred --daemon start historyserver" 命令。
如果您还是无法启动 JobHistoryServer,建议您检查一下 Hadoop 的配置文件(如 `core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`)是否正确,特别是关于 JobHistoryServer 的配置项(如 `mapreduce.jobhistory
阅读全文