关闭kafka listener

时间: 2023-08-23 20:15:40 浏览: 95

kafka参数配置详解

Kafka参数配置详解 Kafka是一种流行的分布式流处理平台，用于构建实时数据管道和事件驱动的架构。为了确保Kafka集群的稳定运行和高性能，需要正确地配置Kafka参数。本文将详细介绍Kafka的参数配置，包括系统参数、Topic参数、ZooKeeper参数和日志参数。系统参数在Kafka集群中，每个 broker 节点都需要一个唯一的标识符，称为 broker.id。这个参数的值必须是一个正数。在这个示例中，broker.id 设置为 0。 Kafka broker 节点的监听端口号默认为 9092，但可以根据需要进行更改。在这个示例中，port 设置为 9092。 host.name 参数指定了 Kafka broker 节点的主机名。在这个示例中，host.name 设置为 debugo01。 num.network.threads 参数指定了处理网络请求的最大线程数。在这个示例中，num.network.threads 设置为 2。 num.io.threads 参数指定了处理磁盘I/O的线程数。在这个示例中，num.io.threads 设置为 8。 background.threads 参数指定了一些后台线程数。在这个示例中，background.threads 设置为 4。 queued.max.requests 参数指定了等待 IO 线程处理的请求队列的最大数。在这个示例中，queued.max.requests 设置为 500。 socket.send.buffer.bytes 和 socket.receive.buffer.bytes 参数分别指定了 socket 的发送缓冲区和接收缓冲区的大小。在这个示例中，socket.send.buffer.bytes 和 socket.receive.buffer.bytes 都设置为 1048576。 Topic 参数 num.partitions 参数指定了每个 Topic 的分区个数。在这个示例中，num.partitions 设置为 2。 auto.create.topics.enable 参数指定了是否允许自动创建 Topic。如果设置为 true，Kafka 将自动创建 Topic。在这个示例中，auto.create.topics.enable 设置为 true。 default.replication.factor 参数指定了一个 Topic 的默认分区 replication 因子。在这个示例中，default.replication.factor 设置为 1。 message.max.bytes 参数指定了消息体的最大大小，单位是字节。在这个示例中，message.max.bytes 设置为 1000000。 ZooKeeper 参数 zookeeper.connect 参数指定了 ZooKeeper quorum 设置。在这个示例中，zookeeper.connect 设置为 debugo01:2181,debugo02,debugo03。 zookeeper.connection.timeout.ms 参数指定了连接 ZooKeeper 的超时时间。在这个示例中，zookeeper.connection.timeout.ms 设置为 1000000。 zookeeper.sync.time.ms 参数指定了 ZooKeeper 集群中 leader 和 follower 之间的同步实际时间。在这个示例中，zookeeper.sync.time.ms 设置为 2000。日志参数 log.dirs 参数指定了日志存放目录。在这个示例中，log.dirs 设置为 /var/log/kafka。 log.flush.interval.messages 参数指定了当达到一定数量的消息时，会将数据 flush 到日志文件中。在这个示例中，log.flush.interval.messages 设置为 10000。 log.flush.interval.ms 参数指定了当达到一定时间时，执行一次强制的 flush 操作。在这个示例中，log.flush.interval.ms 设置为 1000。 log.flush.scheduler.interval.ms 参数指定了检查是否需要将日志 flush 的时间间隔。在这个示例中，log.flush.scheduler.interval.ms 设置为 3000。 log.cleanup.policy 参数指定了日志清理策略，可以是 delete 或 compact。在这个示例中，log.cleanup.policy 设置为 delete。 log.retention.hours 参数指定了日志保存时间，单位是小时。在这个示例中，log.retention.hours 设置为 168。 log.segment.bytes 参数指定了日志segment 文件的大小，超出该大小则追加到一个新的日志 segment 文件中。在这个示例中，log.segment.bytes 设置为 536870912。 log.roll.hours 参数指定了当达到一定时间时，会强制新建一个 segment。在这个示例中，log.roll.hours 设置为 24*7。 log.retention.check.interval.ms 参数指定了日志片段文件的检查周期，查看它们是否达到了删除策略的设置。在这个示例中，log.retention.check.interval.ms 设置为 60000。 log.cleaner.enable 参数指定了是否开启压缩日志清理。在这个示例中，log.cleaner.enable 设置为 false。 log.cleaner.delete.retention.ms 参数指定了对于压缩的日志保留的最长时间。在这个示例中，log.cleaner.delete.retention.ms 设置为 1 天。 Kafka 参数配置需要根据实际情况进行调整，以确保集群的稳定运行和高性能。

关闭Kafka listener的方法可以通过以下步骤实现。首先，在监听的地方给监听加一个id，例如：`public static final String KAFKA_LISTENER_ID = "KAFKA_ID";`，然后在方法上使用`@KafkaListener`注解指定该id和监听的topic。接下来，需要注入`KafkaListenerEndpointRegistry`，例如：`@Autowired private KafkaListenerEndpointRegistry registry;`。最后，通过调用`registry.getListenerContainer(KAFKA_LISTENER_ID).stop()`方法来关闭Kafka listener。这样就可以暂时关闭Kafka的监听了。\[1\] #### 引用[.reference_title] - *1* [Kafka动态关闭、开启监听](https://blog.csdn.net/qq_20989105/article/details/87917738)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

阅读全文

关闭kafka listener

相关推荐

spring-kafka-listener-sample

spring-kafka-batch-listener.zip

不使用 KafkaListener 注解，实现对应功能

tomcat关闭kafka消费者

docker容器安装Kafka

docker安装kafka后访问

docker安装kafka3

docker安装单节点kafka

kafka 设置编码格式

docker compose 安装Kafka 单节点

java 一个从kafka获取数据并入库的方法如何写成一个多线程方法

如何修改kafka重平衡策略为StickyAssignor策略，请给我python3代码

kafka_study.zip

springboot整合kafka，指定分区发送，批量消费，指定topic分区消费

jmeter-backend-listener-kafka：一个JMeter插件，使您可以将测试结果发送到Kafka服务器

kafka-3.5.1

kafka 插件kafka 插件kafka 插件

springboot-kafka

SpringBoot集成kafkaDemo

最新推荐

spring boot中多线程开发的注意事项总结

aiohttp-3.7.3-cp36-cp36m-win_amd64.whl.rar

基于Java中的swing类的图形化飞机游戏的开发练习.zip

SQLite：SQLite数据库创建与管理.docx

【完整源码+数据库】SpringBoot 集成 Spring Security短信验证码登录

探索AVL树算法：以Faculdade Senac Porto Alegre实践为例

管理建模和仿真的文件

【ggplot2绘图技巧】：R语言中的数据可视化艺术

HAL库怎样将ADC两个通道的电压结果输出到OLED上？

小学语文教学新工具：创新黑板设计解析