请给出hadoop自带计算圆周率的代码及注释

时间: 2024-03-26 07:34:08 浏览: 19
下面是 Hadoop 自带的计算圆周率的示例代码及注释: ```java package org.apache.hadoop.examples; import java.io.IOException; import java.text.DecimalFormat; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.FileInputFormat; import org.apache.hadoop.mapred.FileOutputFormat; import org.apache.hadoop.mapred.JobClient; import org.apache.hadoop.mapred.JobConf; import org.apache.hadoop.mapred.MapReduceBase; import org.apache.hadoop.mapred.Mapper; import org.apache.hadoop.mapred.OutputCollector; import org.apache.hadoop.mapred.Reducer; import org.apache.hadoop.mapred.Reporter; import org.apache.hadoop.mapred.TextInputFormat; import org.apache.hadoop.mapred.TextOutputFormat; public class PiEstimator { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); JobConf job = new JobConf(conf, PiEstimator.class); job.setJobName("pi"); job.setOutputKeyClass(NullWritable.class); job.setOutputValueClass(NullWritable.class); job.setMapperClass(Map.class); job.setReducerClass(Reduce.class); job.setInputFormat(TextInputFormat.class); job.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); JobClient.runJob(job); } public static class Map extends MapReduceBase implements Mapper<Object, Text, NullWritable, NullWritable> { private long numRecords = 0; public void map(Object key, Text value, OutputCollector<NullWritable, NullWritable> output, Reporter reporter) throws IOException { String line = value.toString(); int numInside = 0; int numOutside = 0; // 对于输入数据中的每一行,将其解析为两个 double 值,代表一个点的 x 和 y 坐标 // 然后计算该点是否在圆内,并将计数器加 1 // 最后输出两个计数器的值,供 Reduce 函数聚合 for (String token : line.split("\\p{Space}+")) { double x = Double.parseDouble(token); double y = Double.parseDouble(token); if (x * x + y * y <= 1) { numInside++; } else { numOutside++; } numRecords++; } // 输出计数器的值,供 Reduce 函数聚合 output.collect(NullWritable.get(), NullWritable.get()); } @Override public void close() throws IOException { // 输出计数器的值,供 Reduce 函数聚合 FileSystem fileSys = FileSystem.get(getConf()); fileSys.create(new Path("mypath/num_records"), true).writeLong(numRecords); } } public static class Reduce extends MapReduceBase implements Reducer<NullWritable, NullWritable, NullWritable, DoubleWritable> { public void reduce(NullWritable key, Iterator<NullWritable> values, OutputCollector<NullWritable, DoubleWritable> output, Reporter reporter) throws IOException { Configuration conf = new Configuration(); FileSystem fileSys = FileSystem.get(conf); long numRecords = fileSys.open(new Path("mypath/num_records")).readLong(); // 计算圆周率的估计值 double pi = 4.0 * numRecords / PiEstimator.NUM_MAP_TASKS / PiEstimator.NUM_SAMPLES_PER_MAP_TASK; // 输出圆周率的估计值 DecimalFormat df = new DecimalFormat("#.##########"); output.collect(NullWritable.get(), new DoubleWritable(Double.parseDouble(df.format(pi)))); } } private static final int NUM_MAP_TASKS = 20; private static final int NUM_SAMPLES_PER_MAP_TASK = 100000; } ``` 这个示例代码包括一个 Mapper 和一个 Reducer。Mapper 阶段会对输入数据中的每个点进行判断,看该点是否在圆内,然后输出计数器的值,供 Reducer 函数聚合。Reducer 阶段会读取 Mapper 输出的计数器值,计算圆周率的估计值,并输出。该示例代码使用了 Hadoop 的 MapReduce 框架和 HDFS 分布式文件系统,可以通过输入参数指定输入和输出路径。

相关推荐

最新推荐

recommend-type

hadoop+spark分布式集群搭建及spark程序示例.doc

hadoop+spark分布式集群搭建及spark程序示例,例子程序为用二项逻辑斯蒂回归进行二分类分析和一个简单的求平均的程序,两种不同的运行方式
recommend-type

使用hadoop实现WordCount实验报告.docx

使用hadoop实现WordCount详细实验报告,配有环境变量配置截图以及实验运行及结果详细过程描述与截图
recommend-type

Hadoop环境搭建、配置及通过执行计算来验证的示例

Hadoop从存储上来说,是类似于冗余磁盘阵列(RAID)的存储方式,将数据分散存储并...本文将从使用的角度上谈了如何搭建Hadoop、如何配置Hadoop、如何验证Hadoop及在Hadoop上面执行计算,以及可能会遇到些什么样的问题。
recommend-type

Hadoop源代码分析(一九)

让我们看看Hadoop源代码,以便于进行分析。这是第十九部分,Word版
recommend-type

Hadoop源代码分析(一三)

让我们看看Hadoop源代码,以便于进行分析。这是第十三部分,Word版
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB柱状图在信号处理中的应用:可视化信号特征和频谱分析

![matlab画柱状图](https://img-blog.csdnimg.cn/3f32348f1c9c4481a6f5931993732f97.png) # 1. MATLAB柱状图概述** MATLAB柱状图是一种图形化工具,用于可视化数据中不同类别或组的分布情况。它通过绘制垂直条形来表示每个类别或组中的数据值。柱状图在信号处理中广泛用于可视化信号特征和进行频谱分析。 柱状图的优点在于其简单易懂,能够直观地展示数据分布。在信号处理中,柱状图可以帮助工程师识别信号中的模式、趋势和异常情况,从而为信号分析和处理提供有价值的见解。 # 2. 柱状图在信号处理中的应用 柱状图在信号处理
recommend-type

HSV转为RGB的计算公式

HSV (Hue, Saturation, Value) 和 RGB (Red, Green, Blue) 是两种表示颜色的方式。下面是将 HSV 转换为 RGB 的计算公式: 1. 将 HSV 中的 S 和 V 值除以 100,得到范围在 0~1 之间的值。 2. 计算色相 H 在 RGB 中的值。如果 H 的范围在 0~60 或者 300~360 之间,则 R = V,G = (H/60)×V,B = 0。如果 H 的范围在 60~120 之间,则 R = ((120-H)/60)×V,G = V,B = 0。如果 H 的范围在 120~180 之间,则 R = 0,G = V,B =
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。