Kafka 3.0.0 安装与管理:创建与删除主题
需积分: 9 59 浏览量
更新于2024-08-05
收藏 2KB MD 举报
本教程主要介绍了如何安装和使用Apache Kafka的版本kafka_2.13-3.0.0,包括在虚拟机上部署、配置`server.properties`、启动和停止Kafka服务,以及进行Topic的创建、查询和删除等基本操作。
Apache Kafka是一种分布式流处理平台,常用于构建实时数据管道和流应用。在这个教程中,我们首先需要下载kafka_2.13-3.0.0.tgz,并将其上传到虚拟机上。为了管理Kafka,我们需要创建一个目录来存放解压后的文件,例如`mkdir kafka`,然后进入目录并解压下载的文件。
接下来,我们需要编辑配置文件`config/server.properties`。这里的关键配置项包括:
1. `broker.id`: 这是Kafka broker的唯一标识,通常从0开始。
2. `listeners`: 指定Kafka监听的网络接口和端口,例如`PLAINTEXT://虚拟机地址:9092`。
3. `num.network.threads`和`num.io.threads`: 分别表示网络处理线程和I/O线程的数量,它们影响Kafka的服务性能。
4. `log.dirs`: 指定日志存储的路径,例如`/usr/local/kafak/kafka_2.13-3.0.0/log/kafak-logs`。
5. `num.partitions`: 默认每个Topic的分区数,这里设置为3。
6. `zookeeper.connect`: 指定ZooKeeper的连接字符串,如果是集群,需列出所有节点,如`192.168.205.129:2181,192.168.205.129:2182,192.168.205.129:2183`。
7. `delete.topic.enable`: 设置为`true`允许删除Topic。
启动Kafka服务使用命令`./bin/kafka-server-start.sh -daemon config/server.properties`,关闭服务则使用`./bin/kafka-server-stop.sh`。
在Kafka服务运行的前提下,可以进行Topic的操作:
1. 创建Topic:使用`./kafka-topics.sh --create --bootstrap-server 192.168.205.129:9092 --replication-factor 1 --partitions 1 --topic test`命令创建一个名为`test`的Topic。
2. 查看Topic详情:使用`./bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.205.129:9092`查看`test` Topic的信息。
3. 删除Topic:使用`./bin/kafka-topics.sh --bootstrap-server 192.168.205.129:9092 --delete --topic test`命令删除`test` Topic。
此外,`./bin/kafka-topics.sh --list --bootstrap-server 192.168.205.129:9092`可以用来列出所有已创建的Topic。
在实际应用中,Kafka通常与ZooKeeper一起使用,ZooKeeper负责协调Kafka集群中的元数据管理。确保ZooKeeper服务正常运行对于Kafka的正确操作至关重要。这个教程覆盖了Kafka的基本使用,但在生产环境中,还需要考虑更多复杂情况,如高可用性、安全性和监控等。
2021-11-15 上传
2018-09-18 上传
2021-11-04 上传
2022-02-17 上传
2023-02-10 上传
点击了解资源详情
2022-05-11 上传
点击了解资源详情
点击了解资源详情
快步の米酒18
- 粉丝: 0
- 资源: 5
最新资源
- 掌握Jive for Android SDK:示例应用的使用指南
- Python中的贝叶斯建模与概率编程指南
- 自动化NBA球员统计分析与电子邮件报告工具
- 下载安卓购物经理带源代码完整项目
- 图片压缩包中的内容解密
- C++基础教程视频-数据类型与运算符详解
- 探索Java中的曼德布罗图形绘制
- VTK9.3.0 64位SDK包发布,图像处理开发利器
- 自导向运载平台的行业设计方案解读
- 自定义 Datadog 代理检查:Python 实现与应用
- 基于Python实现的商品推荐系统源码与项目说明
- PMing繁体版字体下载,设计师必备素材
- 软件工程餐厅项目存储库:Java语言实践
- 康佳LED55R6000U电视机固件升级指南
- Sublime Text状态栏插件:ShowOpenFiles功能详解
- 一站式部署thinksns社交系统,小白轻松上手