实验四 Hadoop数据处理

### Hadoop 数据处理实验四指导教程

#### 实验目标
本实验旨在帮助学生掌握如何利用Hadoop平台执行分布式数据处理任务。通过完成一系列具体操作，加深对MapReduce编程模型的理解，并能够独立设计和实现简单的数据分析程序[^1]。

#### 环境准备
为了顺利开展本次实验，在开始之前需确保已安装配置好如下软件环境：
- Java Development Kit (JDK) 8 或以上版本
- Apache Hadoop 2.x/3.x 版本集群环境
- SSH 客户端工具用于远程登录节点服务器
- 文本编辑器如Notepad++、VSCode等方便编写代码文件

#### 实验内容概述
此次实验主要围绕以下几个方面展开：

##### MapReduce基础概念介绍
解释什么是Mapper函数与Reducer函数；描述InputFormat类的作用以及Partitioner组件的功能特性[^2]

##### 编写第一个WordCount案例
提供完整的Java源码示例来统计输入文本中的单词频率分布情况。该部分会详细介绍每一步骤的具体含义及其背后的工作原理[^3]

public class WordCount {
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        @Override
        protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
        private IntWritable result = new IntWritable();
        
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }
}

##### 运行并调试编译后的jar包
说明怎样打包项目成可执行Jar文件，并将其提交给YARN资源管理器运行作业流程。同时给出常见错误排查方法以便于学员自行解决问题[^4]

##### 结果分析与总结报告撰写
引导学习者根据最终输出结果进行简单解读，思考可能存在的优化空间。鼓励大家尝试改进算法效率或者调整参数设置以获得更好的性能表现[^5]