kafka topic中消息消费offset保存在哪里

Kafka 中，消费者消费进度（offset）的保存方式取决于消费者的消费模式。

在旧版的消费者 API 中，消费进度是由消费者自己保存在 ZooKeeper 中的。消费者会定期将消费进度提交到 ZooKeeper 中，并在消费者启动时从 ZooKeeper 中读取消费进度。这种方式需要额外的 ZooKeeper 支持，并且对 ZooKeeper 的压力较大，因此在新版的消费者 API 中已经不再使用。

在新版的消费者 API 中，消费进度的保存方式由消费者自行控制。消费者可以选择将消费进度保存在 Kafka 的 Topic 中，也可以选择将消费进度保存在外部存储系统中，如 Redis、MySQL 等。如果选择将消费进度保存在 Kafka 的 Topic 中，Kafka 会为每个消费者组维护一个特殊的内置 Topic，专门用来保存消费进度。消费者在消费消息时，会从该内置 Topic 中读取消费进度，并将消费进度提交回该 Topic 中。该方式不需要额外的存储支持，并且能够保证消费进度的高可用性。

相关问题

kafka topic中消息如何判断被消费了

在 Kafka 中，消息被消费是根据消费者的消费进度来判断的。每个消费者在消费消息时，都会保存一个消费进度（offset），用于标记已经消费的消息的位置。当消费者从 Kafka 中拉取消息时，Kafka 会返回最新的消息和消费者上一次拉取的位置之间的所有消息，消费者消费这些消息后，将消费进度更新为最新拉取的位置，以便下一次拉取时不会重复消费已经消费过的消息。

在 Kafka 中，通过消费者组的方式来协调多个消费者消费同一个 Topic 中的消息。消费者组中的每个消费者都会负责消费 Topic 中的一部分消息，并且消费者组会协调每个消费者的消费进度，确保每个消息只会被消费一次。因此，只要消息被消费者成功消费，消费进度就会被更新，Kafka 就会认为该消息已经被消费了。

kafka查看topic offset

### 回答1：
可以使用kafka自带的命令行工具kafka-consumer-offset-checker来查看指定topic的消费者offset。例如：

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group <consumer-group> --topic <topic-name> --zookeeper <zookeeper-connect-string>

其中，<consumer-group>为消费者组名称，<topic-name>为想要查看的topic名称，<zookeeper-connect-string>为zookeeper的连接字符串。执行命令后即可输出该topic下所有消费者组的消费offset情况。

### 回答2：
Kafka是一个开源的流处理平台，可以实现高效、高吞吐量的分布式消息传输，以及实时数据处理和存储。在Kafka中，消息是以Topic的形式进行分组存储的，而每个Topic又由多个Partition组成，消息会被均匀地分布在各个Partition中。同时，每个Partition都有一个唯一的offset，用来标识该Partition中某个消息的位置。

如果想要查看某个Topic的offset情况，可以通过Kafka提供的一些工具来实现。下面我们分别介绍一下这些工具的使用方法。

1. Kafka自带的工具

Kafka自带了一个命令行工具kafka-consumer-groups.sh，可以用来查看某个Consumer Group消费某个Topic的offset情况。使用方法如下：

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group <Group_Name>

其中，参数--bootstrap-server指定Kafka的地址和端口，--describe指定对Consumer Group的描述操作，--group指定要操作的Consumer Group的名称。执行此命令后，将会输出所有Partition的offset情况，包括当前的offset，最新的offset和Lag值（即还未被消费的消息数量）。

2. Kafka Manager

Kafka Manager是Kafka的可视化管理工具，提供了很多方便的功能，包括查看Topic和Partition的状态和offset。使用方法如下：

首先需要下载和安装Kafka Manager：https://github.com/yahoo/kafka-manager

安装完成后，启动Kafka Manager，并输入相关信息进行连接。连接成功后，在左侧的菜单栏中选择要查看的Topic和Partition，可以直接查看当前的offset和Lag值。同时，也提供了可以导出所有Partition的offset信息的功能。

3. 第三方工具

除了上述两种方法，还可以使用一些第三方工具来查看Kafka的offset情况，比如kafkacat，它是一个通用的消息消费工具，支持从Kafka读取消息，同时也支持查看Topic和Partition的offset信息。使用方法如下：

kafkacat -C -b <Broker_Url> -t <Topic_Name>

其中，-C表示以Consumer方式从Kafka读取消息，-b指定Kafka的地址和端口，-t指定要读取的Topic名称。执行此命令后，将会输出当前Topic所有Partition的offset情况和最新的消息内容。此外，kafkacat还提供了诸多其他的使用方法，可以自行查阅官方文档。

总之，无论是使用Kafka自带的命令行工具、可视化管理工具还是第三方工具，都可以很方便地查看Kafka中Topic和Partition的offset情况，进而进行一些消费和处理的相关操作。

### 回答3：
kafka是一种高效的分布式消息系统，常用于日志收集、实时数据处理等场景中。在使用kafka时，我们经常需要查看topic的offset，以便确定消费者当前消费的位置。下面介绍几种查看kafka topic offset的方法。

1. 使用kafka自带工具

kafka自带了许多实用工具，其中一个就是kafka-consumer-groups.sh。通过该工具，可以查看某个消费者组消费某个topic时的offset情况。

命令如下：

bin/kafka-consumer-groups.sh --bootstrap-server [kafka地址：端口] --group [groupName] --describe --topic [topicName]

其中：

- kafka地址：端口：kafka集群地址及端口号，多个节点用逗号分隔，例如：192.168.1.10:9092,192.168.1.11:9092。
- groupName：消费者组名称。
- topicName：要查看的topic名称。

执行以上命令后，会输出当前消费者组消费指定topic的offset情况，包括：

- PARTITION（分区）：表示topic的一个分区。
- CURRENT-OFFSET（当前offset）：表示消费者组当前消费该分区的位置。
- LOG-END-OFFSET（最新offset）：表示该分区最新的offset值。
- LAG（积压数）：表示该分区的积压数，即最新offset与当前offset之间的差值。

2. 使用kafka-manager

kafka-manager是一款kafka管理工具，支持多集群管理、topic、partition等详细信息查看等功能。可以通过kafka-manager查看topic的offset情况。

使用方法：

- 打开kafka-manager的管理界面，选择要查看的topic。
- 在topic详情页面，选择Offset View标签页。
- 在页面上方选择要查看的消费者组。
- 查看每个partition的offset、lag等信息。

3. 自定义工具

除了kafka自带工具和kafka-manager，我们可以自定义工具查看topic的offset。以Java代码为例，可以通过kafka官方提供的Java API获取topic的offset信息。

以下是获取指定topic所有partition的offset情况的Java示例代码：

Properties props = new Properties();
props.put("bootstrap.servers", "kafka地址:端口号");
props.put("group.id", "groupName");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
TopicPartition topicPartition = new TopicPartition("topicName", 0);

// 获取指定partition的最新offset
consumer.assign(Arrays.asList(topicPartition));
consumer.seekToEnd(Arrays.asList(topicPartition));
long endOffset = consumer.position(topicPartition);

// 获取指定partition的当前offset
consumer.seek(topicPartition, 0);
long currentOffset = consumer.position(topicPartition);

// 计算积压数
long lag = endOffset - currentOffset;

System.out.println("partition: " + topicPartition.partition() + ", currentOffset: " + currentOffset +
        ", endOffset: " + endOffset + ", lag: " + lag);

consumer.close();

上述代码中，我们创建了一个KafkaConsumer实例，并指定了kafka集群地址、消费者组名称等参数。然后通过assign方法指定要订阅的topic和partition，接着通过seekToEnd方法获取该partition的最新offset和seek方法获取当前offset，并计算积压数。

总结：

以上是几种查看kafka topic offset的方法，其中kafka自带工具是最简单、最常用的方式，而kafka-manager则提供了更全面的管理和监控功能。如果需要自定义工具获取offset信息，则需要使用kafka提供的Java API来实现。在使用过程中，可以根据实际情况选择最适合的方法。