16.   Job job = Job.getInstance(configuration); 17.        job.setJarByClass(PhoneMain.class); 18. 19.        job.setMapperClass(PhoneMapper.class); 20.        job.setMapOutputKeyClass(Text.class); 21.        job.setMapOutputKeyClass(Text.class); 22. 23.        job.setReducerClass(PhoneReducer.class); 24.        job.setOutputKeyClass(Text.class); 25.        job.setOutputValueClass(Text.class); 26. 27.        FileInputFormat.setInputPaths(job, new Path(args[1])); 28.        FileOutputFormat.setOutputPath(job, new Path(args[2])); 29.

时间: 2023-06-03 16:07:42 浏览: 46
这是一段 Java 代码,用于设置 MapReduce 任务的 Mapper 类和 Reducer 类。其中,第 17 行设置了任务的主类。第 19 行和第 21 行设置了 Map 阶段的输出键和输出值类型。第 23 行设置了 Reduce 阶段的类。第 24 行和第 25 行设置了 Reduce 阶段的输出键和输出值类型。最后,第 27 行和第 28 行设置了任务输入路径和输出路径。请注意,以上代码未能完成并需要补充其余代码。
相关问题

运行set mapreduce.job.reduces=3;报错如何解决

你在使用 `set mapreduce.job.reduces=3;` 命令时出现了错误,这是因为这个命令是在 Hive CLI 中使用的,而不是在 Hadoop 命令行中使用的。 如果你想在 Hadoop 命令行中设置 reduce 数量为 3,可以使用以下命令: - 在执行 MapReduce 作业时,使用 -D 参数设置 reduce 数量为 3: ``` $ hadoop jar <jar_file> <main_class> -D mapreduce.job.reduces=3 <input_path> <output_path> ``` - 在代码中设置 reduce 数量为 3: ```java Job job = Job.getInstance(new Configuration()); job.setNumReduceTasks(3); ``` 请注意,如果你的作业不需要 reduce 操作或者已经被优化为 map-only 作业,那么设置 reduce 数量将不会生效。 希望这些方法可以帮助你解决这个问题。

public class TCAPP { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { // 1.获取job Configuration conf=new Configuration(); Job job=Job.getInstance(conf); // 2.指定job使用的类

job.setJarByClass(TCAPP.class); // 3.指定map和reduce使用的类 job.setMapperClass(TCMapper.class); job.setReducerClass(TCReducer.class); // 4.指定map输出的类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); // 5.指定reduce输出的类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); // 6.指定输入和输出路径 FileInputFormat.setInputPaths(job,new Path(args[0])); FileOutputFormat.setOutputPath(job,new Path(args[1])); // 7.提交job boolean result=job.waitForCompletion(true); System.exit(result?0:1); } 这是一个MapReduce程序的主函数,可以实现对文本数据进行词频统计。其中,指定了Map和Reduce类,指定了输入和输出路径,最后提交job并退出程序。

相关推荐

package wc; import java.io.IOException; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCountMain { public static void main(String[] args) throws Exception{ // TODO Auto-generated method stub Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000"); String[] otherArgs = new String[]{"input","output"}; /* 直接设置输入参数 */ if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in><out>"); System.exit(2); } Job job = Job.getInstance(conf,"Merge and duplicate removal"); job.setJarByClass(WordCountMapper.class); job.setMapperClass(Map.class); job.setCombinerClass(WordCountReduce.class); job.setReducerClass(WordCountReduce.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } package wc; import java.io.IOException; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.io.Text; public class WordCountMapper{ public static class Map extends Mapper<Object, Text, Text, Text>{ private static Text text = new Text(); public void map(Object key, Text value, Context context) throws IOException,InterruptedException{ text = value; context.write(text, new Text("")); } } } job.setmapperclass出错

最新推荐

recommend-type

Java开发案例-springboot-66-自定义starter-源代码+文档.rar

Java开发案例-springboot-66-自定义starter-源代码+文档.rar Java开发案例-springboot-66-自定义starter-源代码+文档.rar Java开发案例-springboot-66-自定义starter-源代码+文档.rar Java开发案例-springboot-66-自定义starter-源代码+文档.rar Java开发案例-springboot-66-自定义starter-源代码+文档.rar Java开发案例-springboot-66-自定义starter-源代码+文档.rar
recommend-type

单家独院式别墅图纸D027-三层-12.80&10.50米-施工图.dwg

单家独院式别墅图纸D027-三层-12.80&10.50米-施工图.dwg
recommend-type

啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦

啦啦啦啦啦啦啦啦啦啦啦啦啦啦啦
recommend-type

课程大作业基于Vue+PHP开发的简单问卷系统源码+使用说明.zip

【优质项目推荐】 1、项目代码均经过严格本地测试,运行OK,确保功能稳定后才上传平台。可放心下载并立即投入使用,若遇到任何使用问题,随时欢迎私信反馈与沟通,博主会第一时间回复。 2、项目适用于计算机相关专业(如计科、信息安全、数据科学、人工智能、通信、物联网、自动化、电子信息等)的在校学生、专业教师,或企业员工,小白入门等都适用。 3、该项目不仅具有很高的学习借鉴价值,对于初学者来说,也是入门进阶的绝佳选择;当然也可以直接用于 毕设、课设、期末大作业或项目初期立项演示等。 3、开放创新:如果您有一定基础,且热爱探索钻研,可以在此代码基础上二次开发,进行修改、扩展,创造出属于自己的独特应用。 欢迎下载使用优质资源!欢迎借鉴使用,并欢迎学习交流,共同探索编程的无穷魅力! 课程大作业基于Vue+PHP开发的简单问卷系统源码+使用说明.zip Project setup ``` npm install ``` ### Compiles and hot-reloads for development ``` npm run serve ``` ### Compiles and minifies for production ``` npm run build ``` ### Lints and fixes files ``` npm run lint ``` ### Customize configuration See [Configuration Reference](https://cli.vuejs.org/config/).
recommend-type

Django媒体资源学习源代码 (附一套简易Django文件上传源码)

Django FTP MEDIA_ROOT MEDIA_URL 源码
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB柱状图在信号处理中的应用:可视化信号特征和频谱分析

![matlab画柱状图](https://img-blog.csdnimg.cn/3f32348f1c9c4481a6f5931993732f97.png) # 1. MATLAB柱状图概述** MATLAB柱状图是一种图形化工具,用于可视化数据中不同类别或组的分布情况。它通过绘制垂直条形来表示每个类别或组中的数据值。柱状图在信号处理中广泛用于可视化信号特征和进行频谱分析。 柱状图的优点在于其简单易懂,能够直观地展示数据分布。在信号处理中,柱状图可以帮助工程师识别信号中的模式、趋势和异常情况,从而为信号分析和处理提供有价值的见解。 # 2. 柱状图在信号处理中的应用 柱状图在信号处理
recommend-type

HSV转为RGB的计算公式

HSV (Hue, Saturation, Value) 和 RGB (Red, Green, Blue) 是两种表示颜色的方式。下面是将 HSV 转换为 RGB 的计算公式: 1. 将 HSV 中的 S 和 V 值除以 100,得到范围在 0~1 之间的值。 2. 计算色相 H 在 RGB 中的值。如果 H 的范围在 0~60 或者 300~360 之间,则 R = V,G = (H/60)×V,B = 0。如果 H 的范围在 60~120 之间,则 R = ((120-H)/60)×V,G = V,B = 0。如果 H 的范围在 120~180 之间,则 R = 0,G = V,B =
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。