Hadoop Map端连接：CompositeInputFormat详解

"map端连接使用了CompositeInputFormat类，这是一种在MapReduce中实现数据集连接的方法，尤其适用于大数据集的场景。它要求输入数据集满足特定条件，如相同键排序、相同分区数且不可分割的输出文件。通过设置job的输入格式为CompositeInputFormat，并配置连接表达式来指定连接方式、输入源和数据集路径。" 在Hadoop MapReduce框架中，9.3.2章节探讨的是如何在map阶段进行数据连接，这通常被称为map-side join。这种连接方式主要适用于两个大型数据集，由于数据量过大，无法在内存中完全缓存。`CompositeInputFormat` 类是实现map-side join的关键，它允许我们在map阶段合并来自不同数据源的数据。 **1. 使用条件** 在使用`CompositeInputFormat`进行map端连接时，需要满足以下三个关键条件： 1) **数据集大小**：两个数据集都是大规模的，不适用缓存整个文件。 2) **键排序**：两个数据集都按照相同的键进行排序。 3) **分区一致性**：数据集有相同的分区数，确保每个键的所有记录都在同一个分区中，并且输出文件是不可分割的，这样可以保证map阶段连接的正确性。 **2. 实现过程** 在map阶段之前，两个数据集首先会经过reduce处理，reduce任务的数量相同，都是n。每个数据集会被分区并输出到n个文件中，确保同一键的记录位于同一分区，且所有数据已经按照连接键排序。如果reduce任务数量相同、键相同、数据按键排序，且输出文件不可分割（小于一个HDFS块或通过gzip压缩），那么就可以执行map-side join。 **3. `CompositeInputFormat`类** `CompositeInputFormat` 类是实现map-side join的核心，它使得作业能够处理多个输入源。通过设置作业的输入格式为`CompositeInputFormat.class`，并使用配置对象`conf` 设置连接表达式。这个表达式定义了连接方式（如inner join、outer join等）、输入数据集的读取方式以及两个数据集的路径。连接表达式通常包含在`JOIN_EXPR`配置项中。 例如： ```java job.setInputFormatClass(CompositeInputFormat.class); conf.set(CompositeInputFormat.JOIN_EXPR, CompositeInputFormat.compose("inner", KeyV1.class, ValueV1.class, "path/to/data1", KeyV2.class, ValueV2.class, "path/to/data2")); ``` 上述代码展示了如何配置一个内连接，其中`KeyV1`和`ValueV1`对应第一个数据集，`KeyV2`和`ValueV2`对应第二个数据集，而`"path/to/data1"`和`"path/to/data2"`是它们各自的路径。 通过这样的配置，`CompositeInputFormat`会在map阶段读取两个数据集，根据连接表达式进行连接操作，大大减少了数据传输和处理的成本，特别是在两个数据集有大量重叠键的情况下。然而，如果数据集之间没有明显的键重叠，或者数据量巨大导致无法满足上述条件，map-side join可能不是最佳选择，此时可能需要转向更复杂的shuffle阶段的join策略，如reduce-side join。