kraft 也需要安装 zookeeper 吗

时间: 2024-05-17 15:17:37 浏览: 201

kafka最新版本3.1.0版本安装（使用zookeeper及使用kraft）两种安装及日常维护命令，kafka 3.0

kafka最新版本3.1.0版本安装（使用zookeeper及使用kraft）两种安装及日常维护命令，kafka 3.0提出了去 [Zookeeper]后的 Kafka，即 KRaft 模式,本文对相关安装、维护、及新版本的一些更新进行说明【Kafka 3.1.0 安装与维护指南：Zookeeper与Kraft模式】 Apache Kafka 是一个高性能、分布式的消息中间件，常用于构建实时数据管道和流处理应用程序。在 Kafka 3.0 版本中引入了 KRaft 模式，这标志着 Kafka 可以不再依赖于 Zookeeper 进行集群管理。本指南将详细介绍如何在 Kafka 3.1.0 中使用 Zookeeper 和 KRaft 模式进行安装，并提供日常维护所需的命令。 **一、安装准备** 1. **环境配置** 在安装 Kafka 之前，确保服务器满足以下条件： - Java 8 或更高版本 - 优化系统参数，包括内核参数（如并发连接数、文件句柄数、端口范围等）和内存管理（如 `vm.swappiness`） - 关闭防火墙或配置防火墙规则以允许 Kafka 和 Zookeeper 的通信 **二、Kafka 与 Zookeeper 安装** 1. **下载安装包** 获取 Kafka 和 Zookeeper 的最新版本，例如 Kafka 3.1.0 和 Zookeeper 3.8.0。 ``` wget https://mirrors.cloud.tencent.com/apache/kafka/3.1.0/kafka_2.13-3.1.0.tgz wget https://mirrors.cloud.tencent.com/apache/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz ``` 2. **解压并配置** 解压缩安装包到指定目录，例如 `/opt/soft`，然后配置环境变量。 ``` tar -xf kafka_2.13-3.1.0.tgz -C /opt/soft tar -xf apache-zookeeper-3.8.0-bin.tar.gz -C /opt/soft ``` 3. **配置 Zookeeper** 编辑 Zookeeper 的配置文件 `conf/zoo.cfg`，设置数据存储路径和集群配置。 ``` dataDir=/var/lib/zookeeper server.1=kafka01:2888:3888 server.2=kafka02:2888:3888 server.3=kafka03:2888:3888 ``` 4. **配置 Kafka** 编辑 Kafka 的配置文件 `config/server.properties`，指定 Zookeeper 集群和 broker ID。 ``` zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181 broker.id=1 ``` **三、Kafka KRaft 模式安装** 1. **启用 KRaft 模式** 在 `config/server.properties` 文件中，将 `inter.broker.protocol.version` 设置为 `3.1` 或更高版本，并设置 `controller.quorum.voters` 和 `kraft.server.id`。 ``` inter.broker.protocol.version=3.1 controller.quorum.voters=1@kafka01,2@kafka02,3@kafka03 kraft.server.id=1 ``` 2. **配置 KRaft** 创建必要的目录结构，例如 `/var/lib/kafka/kraft` 用于存储 KRaft 数据。 3. **启动 Kafka** 使用 `bin/kafka-server-start.sh` 命令启动 Kafka brokers。 **四、日常维护命令** 1. **启动 Zookeeper 和 Kafka** ``` bin/zookeeper-server-start.sh config/zoo.cfg bin/kafka-server-start.sh config/server.properties ``` 2. **停止 Zookeeper 和 Kafka** ``` bin/zookeeper-server-stop.sh bin/kafka-server-stop.sh ``` 3. **创建主题** ``` bin/kafka-topics.sh --create --topic my-topic --partitions 3 --replication-factor 2 --if-not-exists ``` 4. **查看主题** ``` bin/kafka-topics.sh --list --bootstrap-server localhost:9092 ``` 5. **发送消息** ``` bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic ``` 6. **消费消息** ``` bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning ``` **五、Kafka 3.1.0 更新点** Kafka 3.1.0 版本可能包含以下更新： - 更好的性能和稳定性 - 对 KRaft 模式的进一步优化 - API 和配置项的改进 - 错误修复和安全增强在升级到新版本后，建议根据官方文档检查是否有任何需要注意的兼容性问题或迁移步骤。请注意，KRaft 模式虽然提供了更简单的部署和管理，但可能不支持所有 Zookeeper 上的高级特性。在选择安装模式时，应根据实际需求和环境来决定。在生产环境中，确保对新的安装方式进行充分的测试和验证，以确保系统的稳定性和可靠性。

是的，Kafka 使用 kRaft 进行管理时，仍然需要使用 ZooKeeper 来协调 kRaft 集群的各个节点。因此，在使用 kRaft 时，仍然需要安装并启动 ZooKeeper。注意，kRaft 不是替代 ZooKeeper，而是在 ZooKeeper 的基础上增强了 Kafka 集群的可靠性和容错性。因此，在使用 kRaft 时，ZooKeeper 仍然是必不可少的。

阅读全文

kraft 也需要安装 zookeeper 吗

相关推荐

kafka-2.12-3.6.0安装包以及linux(centos7)无zookeeper安装kafka-2.12-3.6.0(

Kafka .独立运行，不再需要ZooKeeper.docx

Kafka KRaft模式探索.doc

Kafka 2.8.0无Zookeeper部署教程：从零搭建KRaft模式

"kafka 3.1.0版本安装及维护指南及KRaft模式更新

Kafka KRaft模式：简化部署，提升性能

没有zookeeper可以连接吗

如果用kraft 安装呢

docker-compose安装kafka kraft

kafka kraft

kafka3.0代替zookeeper

Kafka with KRaft

kafka kraft docker

k8s部署KRaft集群

docker-compose kafka kraft

kafka kraft docker compose环境变量配置

kafka集群 kraft 配置文件 server.properties 如何配置集群

基于微信小程序的校园论坛；微信小程序；云开发；云数据库；云储存；云函数；纯JS无后台；全部资料+详细文档+高分项目.zip

单电阻采样 基于单电阻采样的相电流重构算法 keil完整工程 单电阻采样 f103的单电阻，完整工程，带文档，带硬件资料 f3平台的单电阻完整工程，代码详细注释 还有微芯的单电阻smo代码加文档

最新推荐

基于微信小程序的校园论坛；微信小程序；云开发；云数据库；云储存；云函数；纯JS无后台；全部资料+详细文档+高分项目.zip

单电阻采样 基于单电阻采样的相电流重构算法 keil完整工程 单电阻采样 f103的单电阻，完整工程，带文档，带硬件资料 f3平台的单电阻完整工程，代码详细注释 还有微芯的单电阻smo代码加文档

jQuery左侧导航右侧tab页面切换.zip

数据结构之哈希查找方法

五相电机邻近四矢量SVPWM模型-MATLAB-Simulink仿真模型包括： （1）原理说明文档（重要）：包括扇区判断、矢量作用时间计算、矢量作用顺序及切时间计算、PWM波的生成； （2）输出部分仿

GitHub图片浏览插件：直观展示代码中的图像

管理建模和仿真的文件

【OPPO手机故障诊断专家】：工程指令快速定位与解决

求[100，900]之间相差为12的素数对（注：要求素数对的两个素数均在该范围内）的个数

Android IPTV项目：直播频道的实时流媒体实现

单电阻采样基于单电阻采样的相电流重构算法 keil完整工程单电阻采样 f103的单电阻，完整工程，带文档，带硬件资料 f3平台的单电阻完整工程，代码详细注释还有微芯的单电阻smo代码加文档

单电阻采样基于单电阻采样的相电流重构算法 keil完整工程单电阻采样 f103的单电阻，完整工程，带文档，带硬件资料 f3平台的单电阻完整工程，代码详细注释还有微芯的单电阻smo代码加文档

五相电机邻近四矢量SVPWM模型-MATLAB-Simulink仿真模型包括：（1）原理说明文档（重要）：包括扇区判断、矢量作用时间计算、矢量作用顺序及切时间计算、PWM波的生成；（2）输出部分仿