Kafka 3.0.0 安装与管理：创建与删除主题

本教程主要介绍了如何安装和使用Apache Kafka的版本kafka_2.13-3.0.0，包括在虚拟机上部署、配置`server.properties`、启动和停止Kafka服务，以及进行Topic的创建、查询和删除等基本操作。 Apache Kafka是一种分布式流处理平台，常用于构建实时数据管道和流应用。在这个教程中，我们首先需要下载kafka_2.13-3.0.0.tgz，并将其上传到虚拟机上。为了管理Kafka，我们需要创建一个目录来存放解压后的文件，例如`mkdir kafka`，然后进入目录并解压下载的文件。 接下来，我们需要编辑配置文件`config/server.properties`。这里的关键配置项包括： 1. `broker.id`: 这是Kafka broker的唯一标识，通常从0开始。 2. `listeners`: 指定Kafka监听的网络接口和端口，例如`PLAINTEXT://虚拟机地址:9092`。 3. `num.network.threads`和`num.io.threads`: 分别表示网络处理线程和I/O线程的数量，它们影响Kafka的服务性能。 4. `log.dirs`: 指定日志存储的路径，例如`/usr/local/kafak/kafka_2.13-3.0.0/log/kafak-logs`。 5. `num.partitions`: 默认每个Topic的分区数，这里设置为3。 6. `zookeeper.connect`: 指定ZooKeeper的连接字符串，如果是集群，需列出所有节点，如`192.168.205.129:2181,192.168.205.129:2182,192.168.205.129:2183`。 7. `delete.topic.enable`: 设置为`true`允许删除Topic。 启动Kafka服务使用命令`./bin/kafka-server-start.sh -daemon config/server.properties`，关闭服务则使用`./bin/kafka-server-stop.sh`。 在Kafka服务运行的前提下，可以进行Topic的操作： 1. 创建Topic：使用`./kafka-topics.sh --create --bootstrap-server 192.168.205.129:9092 --replication-factor 1 --partitions 1 --topic test`命令创建一个名为`test`的Topic。 2. 查看Topic详情：使用`./bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.205.129:9092`查看`test` Topic的信息。 3. 删除Topic：使用`./bin/kafka-topics.sh --bootstrap-server 192.168.205.129:9092 --delete --topic test`命令删除`test` Topic。 此外，`./bin/kafka-topics.sh --list --bootstrap-server 192.168.205.129:9092`可以用来列出所有已创建的Topic。 在实际应用中，Kafka通常与ZooKeeper一起使用，ZooKeeper负责协调Kafka集群中的元数据管理。确保ZooKeeper服务正常运行对于Kafka的正确操作至关重要。这个教程覆盖了Kafka的基本使用，但在生产环境中，还需要考虑更多复杂情况，如高可用性、安全性和监控等。