MapReduce案例：找出用户间的共同好友关系

在本篇大数据学习（八）的MapReduce编程案例中，我们关注的是利用MapReduce技术来找出两个用户之间的共同好友。MapReduce是一种由Google开发的分布式计算模型，适用于处理大规模数据集，通过将复杂任务分解为一系列简单的操作，即Map和Reduce阶段，来提高计算效率。在这个特定问题中，我们的数据集包含了一组用户及其相互之间的关系，用键值对的形式表示，例如"A:B,C,D,F,E,O"表示用户A的好友列表包含B、C、D等。 首先，我们需要定义一个Mapper类（CommonFriendsOneMapper），它将输入的数据进行处理。Mapper的输入是用户对（键，值），输出是用户及其具有共同好友的键值对，如"A:好友列表"。代码中的逻辑是遍历每一对用户，检查他们是否在对方的好友列表中。例如，对于A和B，如果B的好友列表中有A，那么就会输出"A: [B]"，表示A和B有共同好友B。 接下来是Reducer阶段，它的任务是对Mapper阶段产生的中间结果进行汇总，找出每个用户的所有共同好友。Reducer会接收到一个用户的键（这里是"A: "）和一组该用户与其他用户共同的好友列表，然后合并这些列表，得到最终的结果。由于MapReduce设计，Reducer会消除重复的共同好友，确保结果的准确性。 为了实现这个功能，Mapper类需要导入必要的Apache Hadoop库，包括`LongWritable`、`Text`、`Job`、`Mapper`、`Reducer`等。Mapper的构造函数初始化了键和值对象，然后在`map()`方法中执行具体的操作。`reduce()`方法则负责合并键对应的值，通常在这个阶段，会使用`ArrayList`存储好友列表，并在最后通过`Collections.sort()`进行排序以保证结果的一致性。 整个程序的结构如下： 1. 定义Mapper类： - 初始化键和值对象（Text类型） - 遍历用户对，检查共同好友 - 使用`context.write()`将结果输出到MapReduce管道 2. 定义Reducer类： - 接收Mapper的输出，合并用户的好友列表 - 使用`ArrayList`存储和处理共同好友 - 清理输出，确保没有重复的好友 3. 设置Job配置，指定输入和输出路径 - 使用`FileInputFormat`读取输入文件 - 使用`FileOutputFormat`指定输出文件格式 4. 主程序中，创建Job实例并调用其提交方法运行MapReduce任务 这个案例展示了如何使用MapReduce的基本原理解决实际问题，尤其是在大数据处理中寻找两个用户之间的共同好友。通过将数据分布到多个节点上并行处理，MapReduce大大提高了查找共同好友的效率。