使用hadoop jar命令提交mapreduce任务,将结果结果输出至hdfs中的Tipdm/Hadoop目录下
时间: 2024-11-13 07:25:57 浏览: 9
Hadoop原理与技术MapReduce实验
5星 · 资源好评率100%
在Hadoop MapReduce框架中,使用`hadoop jar`命令提交MapReduce任务通常涉及以下几个步骤:
1. **准备jar包**:首先需要打包你的MR程序和依赖成为JAR文件。这通常包含Mapper、Reducer类以及配置文件。
2. **指定JAR包和主类**:在`hadoop jar`命令中,你需要提供这个JAR文件的路径,并指明作为入口点运行的主类(通常是`org.apache.hadoop.mapred.JobClient.runJob`,如果你使用的是新的Hadoop 2.x版本则是`org.apache.hadoop.mapreduce.Job.waitForCompletion`)。
示例格式:
```bash
hadoop jar /path/to/your-jar-file.jar YourMainClass
```
3. **配置作业参数**:你可以通过命令行参数来配置任务的输入和输出路径,以及其他选项如分片数等。例如,将输出保存到` Tipdm/Hadoop`目录下的格式可能是:
```bash
-DoutputDir=hdfs://<namenode>:<port>/Tipdm/Hadoop
```
其中 `<namenode>` 和 `<port>` 需替换为实际的HDFS Namenode地址和端口。
4. **运行作业**:最后,执行`hadoop jar`命令启动MapReduce作业:
```bash
hadoop jar /path/to/your-jar-file.jar YourMainClass -DoutputDir=hdfs://<namenode>:<port>/Tipdm/Hadoop
```
阅读全文