使用java语言实现hadoop编写2020年考研各高校开放专业数量统计

时间: 2023-07-12 07:26:35 浏览: 52
好的,那么你可以按照以下步骤使用 Java 语言实现 Hadoop 编写 2020 年考研各高校开放专业数量统计: 1. 创建一个 Hadoop 项目,导入 Hadoop 相关的 jar 包。 2. 创建一个 Mapper 类,实现 Mapper 接口,重写 map 方法,在 map 方法中读取输入数据,根据数据中的高校信息和专业信息,把高校信息作为 key,专业信息作为 value 进行输出。 3. 创建一个 Reducer 类,实现 Reducer 接口,重写 reduce 方法,在 reduce 方法中统计每个高校开放的专业数量。 4. 在 main 方法中配置 Job,设置 Mapper、Reducer、输入路径、输出路径等信息。 5. 运行 Job,等待任务完成后,查看输出结果,即可得到 2020 年考研各高校开放专业数量的统计结果。 下面是示例代码: Mapper 类: ``` public class MyMapper extends Mapper<LongWritable, Text, Text, Text> { @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String[] fields = line.split(","); String university = fields[0]; String subject = fields[1]; context.write(new Text(university), new Text(subject)); } } ``` Reducer 类: ``` public class MyReducer extends Reducer<Text, Text, Text, IntWritable> { @Override protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { int count = 0; for (Text value : values) { count++; } context.write(key, new IntWritable(count)); } } ``` main 方法: ``` public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "UniversitySubjectCount"); job.setJarByClass(UniversitySubjectCount.class); job.setMapperClass(MyMapper.class); job.setCombinerClass(MyReducer.class); job.setReducerClass(MyReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } ``` 注意:以上代码是一个简单的示例,需要根据实际情况进行修改和完善。

相关推荐

最新推荐

recommend-type

使用hadoop实现WordCount实验报告.docx

使用hadoop实现WordCount详细实验报告,配有环境变量配置截图以及实验运行及结果详细过程描述与截图
recommend-type

hadoop中实现java网络爬虫(示例讲解)

下面小编就为大家带来一篇hadoop中实现java网络爬虫(示例讲解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
recommend-type

基于hadoop的词频统计.docx

基于hadoop的词频统计,通过空格作为词频切分,简单统计了哈姆雷特节选的词频数量。
recommend-type

基于Hadoop的Kmeans算法实现

基于Hadoop的Kmeans算法实现:Kmeans算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标。即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的...
recommend-type

手把手教你Hadoop环境搭建、词频统计demo及原理

本文档通过网络资源收集的资料整理,具有较强的实战性,可以一步一步让你从零基础到学会搭建Hadoop服务器,并能利用FS文件系统及mapreduce做词频统计,掌握其基本原理; 其中由于本人已搭建好的原因,有的图截不到...
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB柱状图在信号处理中的应用:可视化信号特征和频谱分析

![matlab画柱状图](https://img-blog.csdnimg.cn/3f32348f1c9c4481a6f5931993732f97.png) # 1. MATLAB柱状图概述** MATLAB柱状图是一种图形化工具,用于可视化数据中不同类别或组的分布情况。它通过绘制垂直条形来表示每个类别或组中的数据值。柱状图在信号处理中广泛用于可视化信号特征和进行频谱分析。 柱状图的优点在于其简单易懂,能够直观地展示数据分布。在信号处理中,柱状图可以帮助工程师识别信号中的模式、趋势和异常情况,从而为信号分析和处理提供有价值的见解。 # 2. 柱状图在信号处理中的应用 柱状图在信号处理
recommend-type

前端深拷贝 和浅拷贝有哪些方式,你在哪里使用过

前端深拷贝和浅拷贝的方式有很多,下面列举几种常用的方式: 深拷贝: 1. JSON.parse(JSON.stringify(obj)),该方法可以将对象序列化为字符串,再将字符串反序列化为新的对象,从而实现深拷贝。但是该方法有一些限制,例如无法拷贝函数、RegExp等类型的数据。 2. 递归拷贝,即遍历对象的每个属性并进行拷贝,如果属性值是对象,则递归进行拷贝。 3. 使用第三方库如lodash、jQuery等提供的深拷贝方法。 浅拷贝: 1. Object.assign(target, obj1, obj2, ...),该方法可以将源对象的属性浅拷贝到目标对象中,如果有相同的属性,则会
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。