揭秘唯品会Java大数据开发面试真题：Kafka消息结构与Hadoop Shuffle详解

在大厂真题之唯品会的Java大数据开发工程师面试中，考察了以下几个关键知识点： 1. **Kafka消息结构**: Kafka的消息由固定的header和可变长度的body组成。header包含一个魔术字节（magic）和一个CRC32校验码，用于确保body数据的完整性。魔术字节值为1时，会额外有一个属性字节，存储如压缩类型等信息；值为0则无属性。Body则是实际的键值对数据。 2. **Kafka偏移量查看**: Kafka 0.9及以上版本的Consumer客户端提供了查看偏移量的方法，如`consumer.seekToEnd()`和`consumer.position()`。它们可以帮助开发者获取消费者当前消费到的消息位置。 3. **Hadoop Shuffle过程**: Hadoop的shuffle是MapReduce模型中的一个重要步骤，分为Map端和Reduce端。 - **Map端shuffle**: 在Map阶段，数据经过处理后会形成中间结果，并暂存于内存缓冲区。当数据量达到一定阈值时，会进行spill操作，将数据排序（首先按分区，然后按键），这有助于分区均衡和Reducer的负载分配。如果有Combiner设置，会在写入磁盘前进行预处理，减少数据量。spill文件存放在`mapred.local.dir`指定的本地目录，任务完成后会被删除，并通过多路归并合并成单个文件。 - **Reduce端shuffle**: Reduce阶段的shuffle包含copy、sort（merge）和reduce三个步骤。首先，Map任务的输出数据会被复制到所有Reduce任务的实例上。接着，数据在Reduce节点进行排序（merge）以进一步优化，然后Reducer负责接收和处理这些已排序的数据，完成最终的聚合计算。 理解并掌握这些知识点对于应聘Java大数据开发工程师的角色至关重要，因为它们涉及到了数据处理的核心组件Kafka和Hadoop的内部工作原理，面试官会关注求职者对这些技术的实际应用和理解深度。