没有合适的资源？快使用搜索试试~ 我知道了~

首页快速部署单机kafka集群（win环境）

快速部署单机kafka集群（win环境）

kafka

zookeeper

exp-blog.com

broker

生产者消费者

需积分: 50 12 下载量 116 浏览量更新于2023-03-16 评论收藏 343KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

试读

11页

本文不讲kafka集群原理，只谈部署步骤。默认读者已对kafka有最基本的认知，纯粹作为部署笔记，方便回忆。另外本文是基于Windows部署的，Linux的步骤是基本相同的（只是启动脚本位置不同）。 kafka集群类型： single broker（单节点单boker集群，亦即kafka只启一个broker消息中间件服务，producer、consumer、broker均通过zookeeper集群交换消息，具体可参考：http://exp-blog.com/2018/08/03/pid-2187/

资源详情

资源评论

资源推荐

{PAGE \* MERGEFORMAT}

快速部署单机 kafka 集群（win 环境）

By EXP (http://exp-blog.com) 2018-08-03

前言

本文不讲 kafka 集群原理，只谈部署步骤。

默认读者已对 kafka 有最基本的认知，纯粹作为部署笔记，方便回忆。

另外本文是基于 Windows 部署的，Linux 的步骤是基本相同的（只是启动脚本位置不同）。

由于 kafka 的运行依赖于 zookeeper，所以在运行 kafka 之前，需要先安装并运行 zookeeper。

不过本文没有使用 kafka 内置的 zookeeper，而是使用《{ HYPERLINK

"http://exp-blog.com/2018/08/03/pid-2173/" }》里的 zookeeper 集群，但原理是相同的。

环境

·JDK ： 1.8

·zookeeper ： 3.4.7

·zookeeper 集群规模： 3

·kafka ： 2.12-2.0.0

·kafka 安装目录：%INSTALL_DIR% = E:pachepache-kafka

（此处定义变量是为了下文方便说明，实际部署时应使用实际路径而非变量）

·kafka 集群类型： single broker（单节点单 boker 集群，亦即 kafka 只启一个 broker 消息中

间件服务，producer、consumer、broker 均通过 zookeeper 集群交换消息，具体可参考这篇文章：

《{ HYPERLINK "https://www.cnblogs.com/5iTech/articles/6043224.html" }》）

3. 安装

到 kafka 官网下载最新版：{ HYPERLINK "http://kafka.apache.org/" }

解压并重命名到 %INSTALL_DIR% 目录。

{PAGE \* MERGEFORMAT}

4. 配置

修改配置文件 %INSTALL_DIR%/config/log4j.properties ，找到参数 log4j.rootLogger ，在

其前面一行添加如下参数（注意实际部署时把变量 %INSTALL_DIR% 改成实际路径）：

kafka.logs.dir=%INSTALL_DIR%/tmp/kafka-logs

修改配置文件 %INSTALL_DIR%/config/server.properties 的参数如下（注意实际部署时把变

量 %INSTALL_DIR% 改成实际路径）：

broker.id=0

port=9092

host.name=localhost

log.dirs=%INSTALL_DIR%/tmp/kafka-logs

num.partitions=1

zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

运行

修改 %INSTALL_DIR%/bin/windows/kafka-run-class.bat 脚本，把其中的：

COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %K

AFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*

修改为：

COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %K

AFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*

亦即 "%CLASSPATH%" 需要增加双引号包围。

这是因为在 Windows 环境下，JDK 安装的默认路径都是 C:\Program Files\Java ，而因为其中

的 Program Files 有空格，会导致 kafka 启动时报错：

错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_77\lib\dt.jar;C:\Program

然后在 %INSTALL_DIR% 目录下新建一个 run-kafka.bat 脚本，内容如下：

start ./bin/windows/kafka-server-start.bat ./config/server.properties

{PAGE \* MERGEFORMAT}

这样只需运行 run-kafka.bat 脚本，即可启动 kafka （在此前需先启动 zookeeper 集群）。

至此 kafka 部署完成。

注：

若要启动多个

kafka

，只需要复制

server.properties

配置文件，并修改其中的

broker.id

、

port

、

log.dirs

参数，确保它们全局唯一，然后通过

kafka-server-start.bat

脚本加载不同的

server.properties

配置

文件即可（当然直接复制整套

kafka

程序也是也是可以的）

6. 创建主题（可选）

在 %INSTALL_DIR% 目录下新建一个 create-topic.bat 脚本，内容如下：

start ./bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1

--partitions 1 --topic

自定义主题名称

在 kafka 运行期间调用这个脚本，即可创建一个消息主题（命令参数中只需指定 zookeeper

集群中任意一台机器即可）。

但是这种创建主题的方式比较麻烦，建议还是通过代码执行主题创建。而且这个版本的 kafka

默认是可以自动创建主题的，就更没有这个必要了。

使用

Java

测试

kafka

消息发布

官方的 Maven 原生构件：

<groupId>org.apache.kafka</groupId>

<artifactId>kafka_2.12</artifactId>

</dependency>

<groupId>org.apache.kafka</groupId>

<artifactId>kafka-clients</artifactId>

</dependency>

剩余10页未读，继续阅读

linux安装kafka集群

在k8s中部署kafka集群怎么确定主从关系

在k8s中部署kafka集群时，可以通过设置broker的id来确定主从关系。每个broker都有一个唯一的id，其中id为0的broker被视为主broker，其余的broker则是从broker。在配置文件中，可以通过设置broker.id属性来指定每个...

给我写一段代码，内容是部署Kafka集群

如果你想部署Kafka集群，首先你需要安装Java运行环境，并且确保Java的环境变量已经设置。然后，下载Kafka安装包并解压到你想要安装的目录。接下来，修改配置文件，包括server.properties和zookeeper.properties，...

单机kafka安装部署

单机Kafka的安装部署相对简单。首先，你需要下载Kafka的安装包并进行解压。然后，你需要配置Kafka的zookeeper.properties文件，该文件位于kafka_2.12-2.5.0/config目录下。配置完成后，你可以运行Kafka。请按照...

kafka集群搭建文档

搭建Kafka集群需要按照一定的步骤进行，首先要准备好运行Kafka所需的环境，包括JDK、Zookeeper等。其次，需要下载Kafka的压缩包并解压，然后进行配置文件的修改，如server.properties和zookeeper.properties。接下来...

两个kafka集群可不可以互相消费

两个 Kafka 集群是可以互相消费的，但需要使用 Kafka Connect 来实现跨集群的数据复制。具体来说，你需要在每个 Kafka 集群上安装 Kafka Connect，并使用 Kafka Connect 的 MirrorMaker 插件来将一个 Kafka 集群中的...

helm安装kafka集群

要使用Helm安装Kafka集群，你可以按照以下步骤进行操作： 1. 首先，确保你已经安装了Helm和Kubernetes集群，并且已经配置好了Helm的权限。 2. 添加Kafka Helm Chart的存储库。执行以下命令： ``` helm repo add ...

nacos+kafka集群部署

对于Nacos和Kafka的集群部署，可以按照以下步骤进行操作： 1. Nacos的集群部署： - 下载Nacos的压缩包并解压。 - 修改`nacos/conf/cluster.conf`文件，配置集群中所有节点的IP地址和端口号。 - 启动每个节点的...

在k8s上部署 zookeeper + kafka 集群配置教程

好的，以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程： 1. 创建一个namespace 首先，我们需要创建一个namespace，用于部署zookeeper和kafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”...

小優YoU

粉丝: 1914
资源: 227

上传资源快速赚钱

我的内容管理收起

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

会员权益专享

快速部署单机kafka集群（win环境）

评论0

会员权益专享

最新资源

快速部署单机kafka集群（win环境）

评论0

MuleESB集成webservice+restful（sprintboot+mybatis+mysql）+activeMQ+javamail

windows下安装kafka需要的安装包

kafka搭建windows版本单机环境

在k8s上怎么部署Kafka集群

k8s部署单机kafka

ambari怎么集群部署kafka

kafka集群部署docker

linux搭建kafka集群

自己kafka集群作为消费者 消费他人kafka集群内的数据

k8s部署kafka集群

无法启动kafka集群

linux安装kafka集群

在k8s中部署kafka集群怎么确定主从关系

给我写一段代码，内容是部署Kafka集群

单机kafka安装部署

kafka集群搭建 文档

两个kafka集群可不可以互相消费

helm安装kafka集群

nacos+kafka集群部署

在k8s上部署 zookeeper + kafka 集群 配置教程

会员权益专享

最新资源

自己kafka集群作为消费者消费他人kafka集群内的数据

kafka集群搭建文档

在k8s上部署 zookeeper + kafka 集群配置教程