hadoop例子程序：求圆周率和wordcount

以下是 Hadoop 的两个例子程序：

1. 求圆周率

Hadoop 提供了一个叫做 PiEstimator 的例子程序来估算圆周率。这个程序将会创建一个随机点的列表并通过计算这个列表中的点在圆内的个数来估算圆周率。

2. WordCount

WordCount 是 Hadoop 的另一个例子程序，用于统计文本中单词出现的频率。这个程序将会读取一个文本文件并将每个单词作为一个 key，将其出现的次数作为一个 value，然后通过 MapReduce 框架来进行处理。最终的结果将会是一个单词和其出现次数的列表。

相关问题

Hadoop集群实现串并行求圆周率的代码

以下是 Hadoop 集群实现串并行求圆周率的代码：

1. 串行求圆周率

import java.util.Random;

public class SerialPi {

    public static void main(String[] args) {
        long startTime = System.currentTimeMillis();
        long n = 1000000; // 模拟次数
        long m = 0; // 圆内点数
        Random rand = new Random();
        for (long i = 0; i < n; i++) {
            double x = rand.nextDouble();
            double y = rand.nextDouble();
            if (x * x + y * y <= 1) { // 判断点是否在圆内
                m++;
            }
        }
        double pi = 4.0 * m / n; // 计算圆周率
        System.out.println("Pi = " + pi);
        long endTime = System.currentTimeMillis();
        System.out.println("Time: " + (endTime - startTime) + "ms");
    }

}

2. 并行求圆周率

首先，需要在 Hadoop 集群上安装好 Hadoop，并且准备好一个输入文件，每行包含一个模拟次数。

接着，创建一个 MapReduce 作业来并行计算圆周率。

Mapper：

import java.io.IOException;
import java.util.Random;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Mapper;

public class ParallelPiMapper extends Mapper<LongWritable, NullWritable, NullWritable, NullWritable> {

    private long n; // 模拟次数
    private long m; // 圆内点数

    protected void setup(Context context) throws IOException, InterruptedException {
        super.setup(context);
        n = context.getConfiguration().getLong("n", 1000000);
        m = 0;
    }

    public void map(LongWritable key, NullWritable value, Context context) throws IOException, InterruptedException {
        Random rand = new Random();
        for (long i = 0; i < n; i++) {
            double x = rand.nextDouble();
            double y = rand.nextDouble();
            if (x * x + y * y <= 1) { // 判断点是否在圆内
                m++;
            }
        }
    }

    protected void cleanup(Context context) throws IOException, InterruptedException {
        super.cleanup(context);
        context.getCounter("Pi", "m").increment(m);
    }

}

Reducer：

import java.io.IOException;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Reducer;

public class ParallelPiReducer extends Reducer<NullWritable, NullWritable, NullWritable, NullWritable> {

    private long m; // 圆内点数

    protected void setup(Context context) throws IOException, InterruptedException {
        super.setup(context);
        m = 0;
    }

    public void reduce(NullWritable key, Iterable<NullWritable> values, Context context)
            throws IOException, InterruptedException {
        for (NullWritable value : values) {
            m += context.getCounter("Pi", "m").getValue();
        }
    }

    protected void cleanup(Context context) throws IOException, InterruptedException {
        super.cleanup(context);
        double pi = 4.0 * m / (context.getConfiguration().getLong("n", 1000000) * context.getNumReduceTasks()); // 计算圆周率
        System.out.println("Pi = " + pi);
    }

}

Driver：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.output.NullOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class ParallelPiDriver extends Configured implements Tool {

    public static void main(String[] args) throws Exception {
        int exitCode = ToolRunner.run(new Configuration(), new ParallelPiDriver(), args);
        System.exit(exitCode);
    }

    public int run(String[] args) throws Exception {
        if (args.length != 2) {
            System.err.println("Usage: ParallelPiDriver <input> <numReduceTasks>");
            return 1;
        }

        Configuration conf = getConf();
        conf.setLong("n", Long.parseLong(args[1]));

        Job job = Job.getInstance(conf, "Parallel Pi");
        job.setJarByClass(ParallelPiDriver.class);

        job.setMapperClass(ParallelPiMapper.class);
        job.setMapOutputKeyClass(NullWritable.class);
        job.setMapOutputValueClass(NullWritable.class);

        job.setReducerClass(ParallelPiReducer.class);
        job.setOutputFormatClass(NullOutputFormat.class);

        job.setNumReduceTasks(Integer.parseInt(args[1]));

        job.setInputFormatClass(GenerateInputFormat.class);
        GenerateInputFormat.setInputPath(job, new Path(args[0]));

        return job.waitForCompletion(true) ? 0 : 1;
    }

}

最后，使用以下命令提交作业：

hadoop jar ParallelPi.jar ParallelPiDriver <input> <numReduceTasks>

其中，`<input>` 指定输入文件路径，`<numReduceTasks>` 指定 Reduce 任务数。

在hadoop平台上部署wordcount程序

### 回答1：
要在Hadoop平台上部署WordCount程序，需要按照以下步骤进行操作：

1. 准备Hadoop环境：安装Hadoop并配置好环境变量。

2. 准备WordCount程序：编写WordCount程序并打包成jar文件。

3. 将输入文件上传到HDFS：使用hadoop fs -put命令将输入文件上传到HDFS中。

4. 运行WordCount程序：使用hadoop jar命令运行WordCount程序，指定输入文件和输出文件的路径。

5. 查看输出结果：使用hadoop fs -cat命令查看输出文件的内容，确认WordCount程序是否运行成功。

以上是在Hadoop平台上部署WordCount程序的基本步骤，具体操作可以参考Hadoop官方文档或相关教程。

### 回答2：
Hadoop是一个分布式计算平台，它在处理大数据集方面具有很强的优势。WordCount程序是Hadoop平台上一个非常简单而又常用的样例程序，它的实现过程可以让初学者更好地了解Hadoop平台的原理和流程。

下面是在Hadoop平台上部署和实现WordCount程序的详细步骤：

1. 安装和配置Hadoop：首先需要在每台节点上安装Hadoop，并进行配置。在Hadoop平台上运行WordCount程序至少需要一个主节点和一个从节点，因此需要按照相应的规格配置机器。

2. 准备数据：WordCount程序最基本的输入数据是由一些文本文件组成的文件夹。数据可以存储在Hadoop平台的HDFS分布式文件系统中。在准备数据时需要注意保证数据数量足够，充分的满足MapReduce的并行运算需求。

3. 编写WordCount程序：实现WordCount程序需要编写两个Java程序：一个是Map程序，另一个是Reduce程序。Map程序是用来将输入文件分割成一个一个的数据块，然后对每个数据块计算出单词和它们的次数。Reduce程序接受Map程序输出的结果，对这些结果进行汇总，得到最终的单词和它们的计数。

4. 打包和上传程序：将编写好的程序打包成jar包，并上传到Hadoop集群中的任意节点，随后到节点上执行WordCount程序。

5. 运行WordCount程序：在Hadoop平台上启动WordCount程序，本地模式或集群模式都可。在运行程序前需要设置好程序的输入、输出路径等参数。程序将从HDFS分布式文件系统读取输入数据，执行MapReduce运算，然后将结果存储到HDFS分布式文件系统中。

通过上述步骤，我们就可以成功地在Hadoop平台上部署和实现WordCount程序了。这个简单的程序虽然实现起来很容易，但是它为我们进一步使用Hadoop平台进行大数据处理提供了基础。

### 回答3：
在Hadoop平台上部署WordCount程序，需要按照以下步骤进行：

1. 安装和配置Hadoop

首先需要安装配置好Hadoop。其安装过程可以通过官网提供的文档进行操作，也可以参考一些第三方的教程进行操作。在安装过程中，需要保证Hadoop的配置文件正确，同时需要调整好集群中各个节点的配置。

2. 准备WordCount程序

WordCount程序是一个经典的Hadoop应用程序，其可以对文本进行统计单词数的操作。开发者可以在官网提供的文档中找到WordCount程序的源代码，然后进行下载和编译。在这个过程中需要保证程序编译成功，并且可以被Hadoop正确的加载和运行。

3. 部署WordCount程序

在准备完WordCount程序之后，需要将其部署到Hadoop的节点上。这个过程需要做好以下几个准备工作：

- 将程序打包成可执行的JAR文件。
- 将JAR文件上传到Hadoop集群中，可以使用hdfs命令进行上传。
- 配置Hadoop中JobTracker的参数，将WordCount程序文件所在目录添加到Hadoop的CLASSPATH中，同时将java运行参数设置正确。
- 在Hadoop集群中进行WordCount的提交，并等待程序运行完成。

4. 查看程序的运行结果

最后，可以通过Hadoop提供的命令行工具查看程序的运行结果。具体命令如下：

- Hadoop fs -ls /output：查看程序的输出结果。
- Hadoop fs -cat /output/part-r-00000：查看程序的统计结果。

以上就是在Hadoop平台上部署WordCount程序的基本过程。这个过程比较复杂，需要仔细的操作和配置才能顺利的完成。