kafka 自动提交原理

Kafka Consumer 支持自动提交 offset，可以通过设置 `enable.auto.commit=true` 来开启自动提交 offset。自动提交 offset 的原理如下：

1. Kafka Consumer 会定时将消费到的最新 offset 提交到 Kafka 集群中，提交的 offset 是当前已经消费的 offset 值加 1。

2. Kafka Consumer 会在每次调用 `poll()` 方法时检查是否需要提交 offset。如果距离上次提交 offset 的时间已经超过了 `auto.commit.interval.ms` 参数设置的时间间隔，或者消费者已经消费了足够多的消息，达到了 `max.poll.records` 参数设置的数量，则会立即提交 offset。

需要注意的是，自动提交 offset 可能会存在数据丢失的问题。如果 Consumer 消费了一些消息但没有及时提交 offset，而此时 Consumer 发生了故障或者重新启动，那么这些消息可能会被重复消费或者丢失。为了避免这种情况，可以选择手动提交 offset，即在消费完成后调用 `commitSync()` 或 `commitAsync()` 方法手动提交 offset。