hadoop debugg启动
时间: 2023-06-30 11:25:31 浏览: 47
Hadoop Debug 启动需要进行以下步骤:
1. 配置 Hadoop 环境变量:在启动 Debug 模式前,需要先配置好 Hadoop 的环境变量,确保可以访问到 Hadoop 的命令行工具。
2. 配置 Hadoop 的 log4j.properties:在 $HADOOP_HOME/etc/hadoop 目录下,找到 log4j.properties 文件,将其 backup 并替换为以下内容:
```
log4j.rootLogger=DEBUG,console
log4j.logger.org.apache.hadoop=DEBUG
```
3. 配置 Hadoop 启动参数:在启动 Hadoop 的时候,需要指定以下参数来进行 Debug 启动:
```
hadoop jar <your_jar_file> <your_main_class> -libjars <your_lib_jars> -Dmapreduce.map.log.level=DEBUG -Dmapreduce.reduce.log.level=DEBUG <your_input_dir> <your_output_dir>
```
其中,-Dmapreduce.map.log.level 和 -Dmapreduce.reduce.log.level 参数用来配置 MapReduce 任务的日志级别,设置为 DEBUG 级别。
4. 运行命令:启动 Debug 模式后,运行 Hadoop 命令来执行 MapReduce 任务,可以在控制台或者 Hadoop 的日志文件中查看 Debug 信息。