Hadoop MapReduce常用输入输出格式
时间: 2023-07-09 14:56:44 浏览: 161
03-Hadoop-MapReduce.docx
Hadoop MapReduce常用的输入输出格式有以下几种:
1. TextInputFormat:按行读取文本文件,每行作为一个记录。
2. KeyValueTextInputFormat:按行读取文本文件,以Tab为分隔符将每行分成两部分,第一部分作为key,第二部分作为value。
3. SequenceFileInputFormat:读取二进制的SequenceFile文件,其中每个记录包含一个key和一个value。
4. NLineInputFormat:按指定的行数划分输入文件,将每个分片作为一个记录。
5. CombineTextInputFormat:将多个小文件组合成一个切片进行处理,减少小文件数量。
对于输出格式,常用的有以下几种:
1. TextOutputFormat:将输出的key-value对按行输出。
2. SequenceFileOutputFormat:将输出的key-value对写入二进制的SequenceFile文件。
3. MultipleOutputFormat:将输出结果按照不同的key写入不同的文件中。
4. NullOutputFormat:不输出任何内容,通常用于测试或调试。
阅读全文