Kafka 2.8.0无Zookeeper部署教程：从零搭建KRaft模式

本文档详细介绍了如何在Kafka 2.8.0版本中启用Kafka-Kraft模式部署，无需Zookeeper的支持。Kafka-Kraft是Apache Kafka 2.8及更高版本引入的一种新的分布式一致性协议，它可以在没有Zookeeper的情况下提供高可用性和可靠性。以下步骤将指导您完成这个过程： 1. **环境准备**： - 安装Kafka 2.8.0下载并解压到指定目录（如/data1/opt/module）。 - 更改`server.properties`文件路径至kraft配置子目录（kafka_2.12-2.8.0/config/kraft）。 2. **配置文件修改**： - 设置`node.id`，确保每个节点的标识符在整个集群中唯一。 - 更新`controller.quorum.voters`，列出所有参与控制平面选举的节点。 - 配置`log.dirs`，指定多个日志目录以支持数据持久化和故障恢复。 - 将配置文件中的`localhost`替换为实际的IP地址或主机名。 3. **创建Cluster ID**： - 在任一节点上运行`kafka-storage.sh random-uuid`生成随机的Cluster ID。 4. **同步Cluster ID**： - 使用`kafka-storage.sh format-t <uuid> -c ./config/kraft/server.properties`在所有节点上同步新生成的Cluster ID。 5. **启动Kafka**： - 在每台节点上以守护进程模式启动kafka-server，使用`kafka-server-start.sh`命令，并提供配置文件。 6. **验证部署**： - 使用`kafka-topics.sh`检查集群中的主题，通过`--bootstrap-server`参数指定集群节点的地址。 Kafka-Kraft模式的优点在于减少了对Zookeeper的依赖，提高了系统的可靠性和性能。但是，这需要对Kafka的内部机制有深入理解，并且在大规模生产环境中，管理和维护可能更为复杂。在迁移时需确保所有配置正确无误，并进行充分的测试以确保功能正常。如果遇到问题，可以参考文档或社区资源进行解决，同时保持与同行的交流和学习。