Kafka面试深度解析：消息丢失与重复消费

"Kafka高频面试题系列之一（30道），包含Kafka面试常见问题与答案，涉及消息代理、消息丢失与重复消费等核心概念。" Kafka是分布式流处理平台，常用于实时数据处理和消息传递。在这个高频面试题系列中，我们关注的是两个关键知识点：Kafka的broker角色以及消息的丢失与重复消费。 1. **Kafka中的broker** 在Kafka架构中，broker扮演着核心角色，它是消息的代理和存储节点。Producer将消息发送到特定的Topic，而Consumer则从Broker那里拉取消息进行处理。Broker负责维护Topic的分区（Partition）和副本（Replica），确保消息的存储和传输。如果配置了多个副本，它还会处理复制和领导者选举，以保证高可用性和容错性。 2. **Kafka消息是否会丢失和重复消费** 消息丢失和重复消费主要取决于消息发送和消费的方式： - **消息发送**：Kafka提供同步和异步两种发送模式。acks参数决定何时确认消息已被接收。acks=0时，消息可能丢失；acks=1时，仅领导者确认可能导致数据丢失；acks=-1（所有副本都确认）是最安全的选择，但可能导致更高的延迟。 - **消息消费**：Kafka有两种消费者API，低级API和高级API。高级API简化了使用，但可能导致消息丢失。例如，如果消费者提交offset后但在消费前崩溃，未消费的消息可能会被跳过。为了避免这种情况，可以使用同步模式和设置合适的确认策略，或者在消费前检查消息标识。 3. **重复消费的情形** 重复消费通常发生在消费者组内的Rebalance过程中。如果一个消费者正在处理一条消息，尚未完成提交offset，此时消费者组发生Rebalance，这条消息可能会被分配给其他消费者，导致重复消费。此外，如果消费者提交offset过于频繁，也有可能在处理完消息之前就已经提交，从而允许重复消费。 为了防止消息丢失，可以使用acks=-1和适当的错误处理策略。防止消息重复消费，通常需要在业务逻辑中引入幂等性，比如通过消息唯一标识记录已处理的消息，或者在消费前检查消息是否已经被处理过。 总结来说，理解Kafka的broker机制、消息的生产和消费策略，以及如何避免消息丢失和重复消费，是掌握Kafka核心概念的关键，也是面试中常问的问题。这些知识对于设计和优化Kafka系统至关重要。