Kafka命令大全:从创建Topic到管理Consumer Group
"Kafka常用命令收录" Kafka是一款流行的分布式消息系统,被广泛用于实时数据流处理和数据集成。本文汇总了Kafka的各种管理命令,适用于版本0.9.0.0及其以后,其中涉及了Kafka架构的重要变化,如引入了GroupCoordinator角色以及将topic的offset存储位置从Zookeeper转移到了`__consumer_offsets` topic。 1. GroupCoordinator 在0.9.0.0版本后,Kafka引入了GroupCoordinator,这是一个新的组件,负责管理消费者的组成员关系和offset提交。它减轻了每个Broker的压力,因为不再需要每个Broker处理所有消费者的offset存储。 2. Topic的offset存储 在早期版本中,Kafka将每个消费者的offset存储在Zookeeper中。然而,从0.9.0.0开始,offset信息被存储在一个名为`__consumer_offsets`的特殊topic中,这提高了offset管理的效率和可扩展性。 3. Kafka命令操作 - 启动Kafka: 通常通过`bin/kafka-server-start.sh config/server.properties`命令启动Kafka服务。 - 创建Topic: 使用`bin/kafka-topics.sh --create`命令创建新topic,例如:`--create --topic my-topic --partitions 3 --replication-factor 2 --if-not-exists`. - 列出Topic: `bin/kafka-topics.sh --list`命令用于显示所有可用的topics。 - 删除Topic: 使用`bin/kafka-topics.sh --delete`命令删除topic。 - 查看Topic详情: `bin/kafka-topics.sh --describe`可以获取topic的详细信息,包括分区、副本等。 - 增加partition数: `bin/kafka-topics.sh --alter`命令可用于增加topic的partition数量。 - 生产消息: 使用`bin/kafka-console-producer.sh`命令发送消息到特定topic。 - 消费消息: `bin/kafka-console-consumer.sh`命令用于从topic读取消息。 - 查看消费者Group: `bin/kafka-consumer-groups.sh --list`列出所有消费者组。 - 查看消费者详情: `bin/kafka-consumer-groups.sh --describe --group group-name`显示特定消费者组的详细信息。 - 删除消费者Group: 在某些情况下,可能需要清理或删除消费者组。 - 设置offset: 可以使用`bin/kafka-consumer-groups.sh --reset-offsets`调整消费者组的offset。 - RdKafka示例: RdKafka是C/C++库,提供了一套API用于生产、消费Kafka消息,其自带示例可帮助开发者了解使用方法。 - 平衡leader: `bin/kafka-preferred-replica-leader-elector.sh`工具用于自动平衡partition的leader。 - 压测工具: Kafka自带的`kafka-producer-perf-test.sh`和`kafka-consumer-perf-test.sh`用于性能测试。 - 查看offset范围: 可以查看topic指定分区的最大和最小offset。 - 查看__consumer_offsets: 这个特殊topic存储了所有消费者的offset,可以通过`bin/kafka-console-consumer.sh`读取。 - 获取位移信息: `bin/kafka-run-class.sh kafka.tools.GetOffsetShell`用于获取consumergroup的位移信息。 - 查看Zookeeper中的Kafka配置: 使用`bin/zookeeper-shell.sh`进入Zookeeper命令行并查询`/kafka`路径。 除了这些基本操作,文中还提到了一些实用工具,如`process_monitor.sh`用于监控Kafka进程,批量操作工具`mooon_ssh`、`mooon_upload`用于自动化管理和部署,以及`kafka-manager`这样的图形界面监控工具。此外,还有针对`__consumer_offsets`的管理技巧,如增加副本数的方法。 了解和熟练掌握这些命令及工具,对于Kafka的日常运维和管理至关重要。通过不断实践和更新,可以有效提高Kafka集群的稳定性和效率。
![](https://csdnimg.cn/release/download_crawler_static/10655481/bg3.jpg)
剩余14页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/fd579db4f06d404e893098bac7e5ad2b_aquester.jpg!1)
- 粉丝: 427
- 资源: 53
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Vue实现iOS原生Picker组件:详细解析与实现思路
- Arduino蓝牙小车:参数调试与功能控制
- 百度Java面试精华:200页精选资源涵盖核心知识点
- Swift使用CoreData填坑指南:CoreData在Swift 3.0的变化
- 微距离无线充电器创新设计及其实验探索
- MTK Android平台开发全攻略:44步详解流程
- RecyclerView全面解析:替代ListView的新选择
- Android开发:自动适配中英文键盘解决方案
- Android调用WebService接口教程
- Android开发:BitmapUtil图片处理全解析与实例
- Android多线程断点续传实现详解
- PCA算法在人脸识别会议签到系统中的应用
- EventBus 3.0:Android事件总线详解与实战应用
- Android FileUtil:全面解析文件操作实用技巧与实例
- RecyclerView添加头部和尾部实战教程
- Android实现微博滑动固定顶部栏实战与优化
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)