MapReduce求各年销售笔数、销售总额实验(流程+代码)

时间: 2024-05-01 15:16:57 浏览: 13
流程: 1. 读取销售数据文件,将数据按照年份划分为多个小数据集。 2. 对每个小数据集进行Map操作,将每个订单的销售笔数和销售额作为键值对输出。 3. 对每个小数据集的Map输出进行Reduce操作,将相同键的值进行累加,得到每年的销售笔数和销售总额。 4. 输出每年的销售笔数和销售总额。 代码: Map阶段: ```java public class SalesMap extends Mapper<Object, Text, IntWritable, DoubleWritable> { private final static IntWritable year = new IntWritable(); private final static DoubleWritable sales = new DoubleWritable(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] fields = value.toString().split(","); int orderYear = Integer.parseInt(fields[0].substring(0, 4)); double orderSales = Double.parseDouble(fields[1]); year.set(orderYear); sales.set(orderSales); context.write(year, sales); } } ``` Reduce阶段: ```java public class SalesReduce extends Reducer<IntWritable, DoubleWritable, IntWritable, Text> { private final static DecimalFormat decimalFormat = new DecimalFormat("#.00"); public void reduce(IntWritable key, Iterable<DoubleWritable> values, Context context) throws IOException, InterruptedException { int orderCount = 0; double orderSales = 0.0; for (DoubleWritable value : values) { orderCount++; orderSales += value.get(); } String salesStr = decimalFormat.format(orderSales); Text salesText = new Text("订单数:" + orderCount + " 销售总额:" + salesStr); context.write(key, salesText); } } ``` Driver阶段: ```java public class SalesDriver extends Configured implements Tool { public int run(String[] args) throws Exception { Job job = Job.getInstance(getConf(), "Sales"); job.setJarByClass(SalesDriver.class); job.setMapperClass(SalesMap.class); job.setReducerClass(SalesReduce.class); job.setOutputKeyClass(IntWritable.class); job.setOutputValueClass(DoubleWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); return job.waitForCompletion(true) ? 0 : 1; } public static void main(String[] args) throws Exception { int exitCode = ToolRunner.run(new SalesDriver(), args); System.exit(exitCode); } } ```

相关推荐

最新推荐

recommend-type

爬虫代码+MapReduce代码+可视化展示代码.docx

爬虫代码+MapReduce代码+可视化展示代码实验报告,包含详细代码实现
recommend-type

MapReduce下的k-means算法实验报告广工(附源码)

实验内容:给定国际通用UCI数据库中FISHERIRIS数据集,其meas集包含150个样本数据,每个数据含有莺尾属植物的4个属性,即萼片长度、萼片宽度、花瓣长度,单位为cm。上述数据分属于species集的三种setosa、versicolor...
recommend-type

Hadoop大数据实训,求最高温度最低温度实验报告

(2)MapReduce输出结果包含年份、最高气温、最低气温,并按最高气温降序排序。如果最高气温相同,则按最低气温升序排序。 (3)使用自定义数据类型。 (4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的...
recommend-type

基于MapReduce的Apriori算法代码

mapreduce实现apriori算法,亲测可行!需要自行下载数据集。数据集链接如下http://fimi.ua.ac.be/data/
recommend-type

【图像压缩】 GUI矩阵的奇异值分解SVD灰色图像压缩【含Matlab源码 4359期】.zip

Matlab领域上传的视频均有对应的完整代码,皆可运行,亲测可用,适合小白; 1、代码压缩包内容 主函数:main.m; 调用函数:其他m文件;无需运行 运行结果效果图; 2、代码运行版本 Matlab 2019b;若运行有误,根据提示修改;若不会,私信博主; 3、运行操作步骤 步骤一:将所有文件放到Matlab的当前文件夹中; 步骤二:双击打开main.m文件; 步骤三:点击运行,等程序运行完得到结果; 4、仿真咨询 如需其他服务,可私信博主或扫描视频QQ名片; 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

云原生架构与soa架构区别?

云原生架构和SOA架构是两种不同的架构模式,主要有以下区别: 1. 设计理念不同: 云原生架构的设计理念是“设计为云”,注重应用程序的可移植性、可伸缩性、弹性和高可用性等特点。而SOA架构的设计理念是“面向服务”,注重实现业务逻辑的解耦和复用,提高系统的灵活性和可维护性。 2. 技术实现不同: 云原生架构的实现技术包括Docker、Kubernetes、Service Mesh等,注重容器化、自动化、微服务等技术。而SOA架构的实现技术包括Web Services、消息队列等,注重服务化、异步通信等技术。 3. 应用场景不同: 云原生架构适用于云计算环境下的应用场景,如容器化部署、微服务
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。