Kafka架构详解及17个面试必问问题与答案

Kafka 是一个分布式流处理平台，它专为高吞吐量、低延迟的数据流处理设计。Kafka 的设计特性主要包括以下几个方面： 1. **主题与生产者和消费者**： Kafka 将消息组织成主题（Topic），这是一种分类方式，生产者（Producer）负责向指定主题发布消息，而消费者（Consumer）则订阅这些主题来接收消息。每个主题在集群中由多个节点（Broker）存储和复制，确保数据的冗余和可靠性。 2. **数据传输事务性**： Kafka 支持三种数据传输的事务性保障： - 最多一次（At Most Once，AMO）：消息可能仅被发送一次，也可能丢失。 - 最少一次（At Least Once，ALO）：消息至少被发送一次，但可能出现重复。 - 精确一次（Exactly Once，EOM）：理想的事务性，确保每个消息只被处理一次且仅一次，但实现复杂度较高。 3. **节点健康检测**： Kafka 使用 ZooKeeper 作为元数据管理工具，节点之间通过心跳机制保持联系。一个节点被认为是活的，必须满足与 ZooKeeper 的连接正常以及作为 follower 节点能够及时同步 leader 的写操作，避免消息复制延迟。 4. **消息路由与生产者设计**： Producer 直接将消息发送到对应的 Broker 主节点（Leader），无需在所有节点间分散，Kafka 集群会维护节点状态信息，以便 Producer 可以高效地找到正确的接收者。 5. **消费者消息消费控制**： Consumer 通过向 Broker 发出“fetch”请求，可以选择消费特定分区的消息，并控制消息的偏移量（offset）。这允许 Consumer 回滚到之前的记录，实现灵活的消息消费模式。 6. **消息传递模式**： Kafka 采用了 Pull 模式，即 Consumer 主动从 Broker 请求消息，而不是 Broker 推送消息给 Consumer。这种设计使得 Kafka 能够在高并发和可扩展性上保持高效。 总结来说，Kafka 的设计围绕着主题、可靠的消息传递、灵活的事务性保证、节点间的协调以及消费者控制等核心要素，使其在实时流处理场景中发挥关键作用。面试中可能会考察求职者对这些概念的理解以及他们在实际项目中的应用能力。