kafka不依赖zk
时间: 2023-08-28 07:21:11 浏览: 58
是的,Kafka在最新的版本中已经不再直接依赖ZooKeeper(zk)。在旧版本的Kafka中,ZooKeeper用于保存集群的元数据、状态和协调器信息。但从Kafka 0.10.0版本开始,引入了Kafka自己的元数据存储系统,称为Kafka Metadata Quorum(KMQuorum),用于替代了ZooKeeper的功能。
KMQuorum通过在Kafka集群中的多个节点上复制元数据来实现容错性和高可用性。这个元数据存储系统不依赖于外部的ZooKeeper集群,因此可以独立运行,并且与Kafka集群完全解耦。
虽然Kafka不再直接依赖ZooKeeper,但仍然可以选择使用ZooKeeper来管理Kafka集群。例如,如果您已经有一个运行中的ZooKeeper集群,并且希望继续使用它来管理Kafka集群的配置和协调器信息,那么可以通过配置Kafka的相关参数来指定使用已有的ZooKeeper集群。
总结起来,从0.10.0版本开始,Kafka不再直接依赖ZooKeeper,但仍然可以选择使用它来管理Kafka集群。
相关问题
docker安装kafka
要在Docker中安装Kafka,你需要先安装Zookeeper,因为Kafka依赖于Zookeeper。你可以使用以下命令来安装Zookeeper容器:
```
docker run -d --name zookeeper-server \
--network app-tier \
-e ALLOW_ANONYMOUS_LOGIN=yes \
bitnami/zookeeper:latest
```
这个命令将在Docker中启动一个Zookeeper容器,并将其连接到名为"app-tier"的网络中。容器将在后台运行,并允许匿名登录。
接下来,你可以使用以下命令来安装Kafka容器:
```
docker run -d --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=zookeeper-server:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<your_host_ip>:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-t wurstmeister/kafka
```
这个命令将在Docker中启动一个Kafka容器,并将其连接到Zookeeper容器。容器将在后台运行,并将Kafka的监听端口映射到主机的9092端口。你需要将`<your_host_ip>`替换为你的主机IP地址。
最后,你可以使用以下命令来安装Kafka Manager容器:
```
docker run --name kafka-manager -d \
--network app-tier \
-p 9000:9000 \
-e ZK_HOSTS="zookeeper-server:2181" \
sheepkiller/kafka-manager
```
这个命令将在Docker中启动一个Kafka Manager容器,并将其连接到Zookeeper容器。容器将在后台运行,并将Kafka Manager的页面映射到主机的9000端口。
这样,你就可以在Docker中成功安装Kafka和Kafka Manager了。
#### 引用[.reference_title]
- *1* *3* [Docker安装Kafka教程(超详细)](https://blog.csdn.net/y393016244/article/details/126405864)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [docker安装kafka和zookeeper](https://blog.csdn.net/java123456111/article/details/129269890)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
TDH集群安装kafka
安装Kafka可以分为以下几个步骤:
1. 下载Kafka二进制文件
在Kafka官方网站(https://kafka.apache.org/downloads)上下载Kafka的二进制文件。选择与你的操作系统相对应的压缩包。
2. 解压Kafka二进制文件
将下载的Kafka压缩包解压到你指定的目录中,例如:
```
$ tar -xzf kafka_2.12-2.8.0.tgz
$ cd kafka_2.12-2.8.0
```
3. 配置Kafka
进入Kafka目录后,进入config目录,修改配置文件server.properties。主要需要修改以下几个配置:
```
# Kafka监听的端口号
listeners=PLAINTEXT://localhost:9092
# ZooKeeper连接地址
zookeeper.connect=localhost:2181
# Kafka日志存放路径
log.dirs=/tmp/kafka-logs
```
4. 启动ZooKeeper
Kafka依赖于ZooKeeper,所以需要先启动ZooKeeper。在ZooKeeper的bin目录下执行以下命令:
```
$ ./zkServer.sh start
```
5. 启动Kafka
在Kafka的bin目录下执行以下命令启动Kafka:
```
$ ./kafka-server-start.sh ../config/server.properties
```
6. 创建Kafka主题
Kafka中的数据通过主题进行分类,需要先创建主题。在Kafka的bin目录下执行以下命令创建名为test的主题:
```
$ ./kafka-topics.sh --create --topic test --bootstrap-server localhost:9092
```
7. 发送数据到Kafka
在Kafka的bin目录下执行以下命令发送数据到test主题:
```
$ ./kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
```
8. 从Kafka消费数据
在Kafka的bin目录下执行以下命令从test主题消费数据:
```
$ ./kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
```
这样就完成了Kafka的安装和基本使用。
相关推荐
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![tgz](https://img-home.csdnimg.cn/images/20210720083646.png)