第1关：Kafka 完全分布式搭建（新版）

Kafka是一种分布式流处理平台，主要用于构建实时数据管道和流应用程序。它具备高性能、可扩展性和可靠性等特点。搭建Kafka完全分布式集群的步骤如下：

1. **系统要求**：确保所有参与搭建的服务器系统和环境变量配置一致，最好使用统一的硬件和操作系统版本。

2. **安装Zookeeper集群**：Kafka依赖于Zookeeper来维护集群状态，因此首先需要安装Zookeeper集群。在所有服务器上安装Zookeeper，并配置`zoo.cfg`文件，设置`server.X`和`myid`属性，其中`X`是服务器编号。

3. **下载和安装Kafka**：在所有服务器上下载Kafka最新版，并解压到相同目录。

4. **配置Kafka**：修改Kafka的配置文件`server.properties`，包括但不限于：
- `broker.id`：每个broker的唯一标识，需在集群中唯一。
- `listeners`：配置Kafka监听的地址和端口。
- `log.dirs`：指定Kafka日志文件的存储位置。
- `zookeeper.connect`：设置Zookeeper集群的连接信息。

5. **启动Kafka服务**：在所有服务器上以`bin/kafka-server-start.sh`脚本启动Kafka服务，并检查所有服务是否正常运行。

6. **创建主题**：使用`bin/kafka-topics.sh`脚本创建需要的主题，并设置合适的副本因子和分区数。

7. **验证集群状态**：使用`bin/kafka-consumer-groups.sh`脚本检查消费者组的状态，确保集群已经正常工作。

8. **测试集群**：生产者生产消息，消费者消费消息，验证消息是否能正确处理。