Apache Kafka 2.4.1单机安装与基本配置详解

Kafka是一种分布式流处理平台，由Apache软件基金会开发，常用于构建实时数据管道和消息队列系统。本文档主要介绍了如何在一台机器上进行Kafka的单机版安装，并涉及了一些基本配置操作。以下是详细的步骤和配置要点： 1. **下载Kafka安装包**: Kafka的官方下载地址为 <http://kafka.apache.org/downloads.html>，在这里可以选择适合的版本，如2.11系列的2.4.1版本。使用`wget`命令下载对应压缩包： ```shell wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz ``` 2. **创建和准备目录**: 安装过程中需要创建kafka相关的目录，特别是存储日志的目录，这里推荐设置为自定义路径，如`/usr/local/kafka/kafka_2.11-2.4.1/kafka-logs`，以避免临时文件被系统自动清理。 3. **解压安装包**: 使用`tar`命令解压下载的压缩包到指定目录： ```shell tar -zxvf kafka_2.11-2.4.1.tgz -C /usr/local/kafka/ ``` 4. **配置文件修改**: - **备份原始配置**：为了防止意外，建议在修改配置前备份原有文件： ```shell cp /usr/local/kafka/kafka_2.11-2.4.1/config/server.properties /usr/local/kafka/kafka_2.11-2.4.1/config/server.properties.bak ``` - **修改日志目录**：由于默认的日志目录位于`/tmp`，可能不适合长期存储，应替换为用户自定义目录。 - **Zookeeper配置**：若Kafka和Zookeeper部署在同一台机器，可保持默认的`zookeeper.connect=localhost:2181`，否则需修改连接地址。 - **监听器设置**： - `listeners`指定了Kafka Broker监听的网络接口，通常为`localhost:9092`。若要支持多网卡或公网访问，可以配置为多个地址，用逗号分隔，如`0.0.0.0:9092`表示监听所有网卡。 - `advertised.listeners`则是对外公开的监听器，通常用于客户端和其他Broker的连接，需要配置成便于客户端找到的格式，如`<protocol>:<hostname>:<port>`。 本文档提供了Kafka单机部署的基本步骤，包括下载、解压、配置和可能的调整。对于实际生产环境，可能会涉及到集群部署、更多配置优化以及高可用性策略。熟悉这些基本操作后，可以进一步深入学习Kafka的高级特性和最佳实践。