kafka topic中消息如何判断被消费了

在 Kafka 中，消息被消费是根据消费者的消费进度来判断的。每个消费者在消费消息时，都会保存一个消费进度（offset），用于标记已经消费的消息的位置。当消费者从 Kafka 中拉取消息时，Kafka 会返回最新的消息和消费者上一次拉取的位置之间的所有消息，消费者消费这些消息后，将消费进度更新为最新拉取的位置，以便下一次拉取时不会重复消费已经消费过的消息。

在 Kafka 中，通过消费者组的方式来协调多个消费者消费同一个 Topic 中的消息。消费者组中的每个消费者都会负责消费 Topic 中的一部分消息，并且消费者组会协调每个消费者的消费进度，确保每个消息只会被消费一次。因此，只要消息被消费者成功消费，消费进度就会被更新，Kafka 就会认为该消息已经被消费了。

相关问题

kafka topic中消息如何被消费删除

在 Kafka 中，消息的删除是由 Kafka 的日志压缩机制来实现的。Kafka 会根据配置的策略定期对消息进行压缩，并将压缩后的消息存储到新的日志段中。压缩后的日志段中，已经被消费过的消息会被删除。Kafka 默认的压缩策略是基于时间和大小的综合策略，即当一个日志段的大小超过一定的阈值或者存储时间超过一定的时间时，就会进行压缩。当然，Kafka 也提供了其他的压缩策略，可以根据实际需求进行配置。

kafka topic中消息消费offset保存在哪里

Kafka 中，消费者消费进度（offset）的保存方式取决于消费者的消费模式。

在旧版的消费者 API 中，消费进度是由消费者自己保存在 ZooKeeper 中的。消费者会定期将消费进度提交到 ZooKeeper 中，并在消费者启动时从 ZooKeeper 中读取消费进度。这种方式需要额外的 ZooKeeper 支持，并且对 ZooKeeper 的压力较大，因此在新版的消费者 API 中已经不再使用。

在新版的消费者 API 中，消费进度的保存方式由消费者自行控制。消费者可以选择将消费进度保存在 Kafka 的 Topic 中，也可以选择将消费进度保存在外部存储系统中，如 Redis、MySQL 等。如果选择将消费进度保存在 Kafka 的 Topic 中，Kafka 会为每个消费者组维护一个特殊的内置 Topic，专门用来保存消费进度。消费者在消费消息时，会从该内置 Topic 中读取消费进度，并将消费进度提交回该 Topic 中。该方式不需要额外的存储支持，并且能够保证消费进度的高可用性。