Kafka命令大全：从创建Topic到管理Consumer Group

"Kafka常用命令收录" Kafka是一款流行的分布式消息系统，被广泛用于实时数据流处理和数据集成。本文汇总了Kafka的各种管理命令，适用于版本0.9.0.0及其以后，其中涉及了Kafka架构的重要变化，如引入了GroupCoordinator角色以及将topic的offset存储位置从Zookeeper转移到了`__consumer_offsets` topic。 1. GroupCoordinator 在0.9.0.0版本后，Kafka引入了GroupCoordinator，这是一个新的组件，负责管理消费者的组成员关系和offset提交。它减轻了每个Broker的压力，因为不再需要每个Broker处理所有消费者的offset存储。 2. Topic的offset存储 在早期版本中，Kafka将每个消费者的offset存储在Zookeeper中。然而，从0.9.0.0开始，offset信息被存储在一个名为`__consumer_offsets`的特殊topic中，这提高了offset管理的效率和可扩展性。 3. Kafka命令操作 - 启动Kafka: 通常通过`bin/kafka-server-start.sh config/server.properties`命令启动Kafka服务。 - 创建Topic: 使用`bin/kafka-topics.sh --create`命令创建新topic，例如：`--create --topic my-topic --partitions 3 --replication-factor 2 --if-not-exists`. - 列出Topic: `bin/kafka-topics.sh --list`命令用于显示所有可用的topics。 - 删除Topic: 使用`bin/kafka-topics.sh --delete`命令删除topic。 - 查看Topic详情: `bin/kafka-topics.sh --describe`可以获取topic的详细信息，包括分区、副本等。 - 增加partition数: `bin/kafka-topics.sh --alter`命令可用于增加topic的partition数量。 - 生产消息: 使用`bin/kafka-console-producer.sh`命令发送消息到特定topic。 - 消费消息: `bin/kafka-console-consumer.sh`命令用于从topic读取消息。 - 查看消费者Group: `bin/kafka-consumer-groups.sh --list`列出所有消费者组。 - 查看消费者详情: `bin/kafka-consumer-groups.sh --describe --group group-name`显示特定消费者组的详细信息。 - 删除消费者Group: 在某些情况下，可能需要清理或删除消费者组。 - 设置offset: 可以使用`bin/kafka-consumer-groups.sh --reset-offsets`调整消费者组的offset。 - RdKafka示例: RdKafka是C/C++库，提供了一套API用于生产、消费Kafka消息，其自带示例可帮助开发者了解使用方法。 - 平衡leader: `bin/kafka-preferred-replica-leader-elector.sh`工具用于自动平衡partition的leader。 - 压测工具: Kafka自带的`kafka-producer-perf-test.sh`和`kafka-consumer-perf-test.sh`用于性能测试。 - 查看offset范围: 可以查看topic指定分区的最大和最小offset。 - 查看__consumer_offsets: 这个特殊topic存储了所有消费者的offset，可以通过`bin/kafka-console-consumer.sh`读取。 - 获取位移信息: `bin/kafka-run-class.sh kafka.tools.GetOffsetShell`用于获取consumergroup的位移信息。 - 查看Zookeeper中的Kafka配置: 使用`bin/zookeeper-shell.sh`进入Zookeeper命令行并查询`/kafka`路径。 除了这些基本操作，文中还提到了一些实用工具，如`process_monitor.sh`用于监控Kafka进程，批量操作工具`mooon_ssh`、`mooon_upload`用于自动化管理和部署，以及`kafka-manager`这样的图形界面监控工具。此外，还有针对`__consumer_offsets`的管理技巧，如增加副本数的方法。 了解和熟练掌握这些命令及工具，对于Kafka的日常运维和管理至关重要。通过不断实践和更新，可以有效提高Kafka集群的稳定性和效率。