Java中消息队列任务的平滑关闭详解中消息队列任务的平滑关闭详解
对于消息队列的监听,我们一般使用Java写一个独立的程序,在Linux服务器上运行。程序启动后,通过消息队列客户
端接收消息,放入一个线程池进行异步处理,并发的快速处理。这篇文章主要给大家介绍了关于Java中消息队列任务
的平滑关闭的相关资料,需要的朋友可以参考下。
前言前言
消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终
一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ
消息队列应用场景消息队列应用场景
消息队列在实际应用中常用的使用场景:异步处理,应用解耦,流量削锋和消息通讯四个场景。
本文主要给大家介绍的是关于Java中消息队列任务平滑关闭的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看
详细的介绍吧。
1.问题背景问题背景
对于消息队列任务的监听,我们一般使用Java写一个独立的程序,在Linux服务器上运行。当订阅者程序启动后,会通过消息队列客
户端接收消息,放入线程池中并发的处理。
那么问题来了,当我们修改程序后,需要重新启动时,如何保证消息都能够被处理呢?
一些开源的消息队列中间件,会提供ACK机制(消息确认机制),当订阅者处理完消息后,会通知服务端删除对应消息,如果订阅者
出现异常,服务端未收到确认消费,则会重试发送。
那如果消息队列中间件没有提供ACK机制,或者为了高吞度量的考虑关闭了ACK功能,如何最大可能保证消息都能够被处理呢?
正常来说,订阅者程序关闭后,消息会在队列中堆积,等待订阅者下次订阅消费,所以未接收的消息是不会丢失的。可能出现的问题
就是在关闭的一瞬间,已经从消息队列中取出,但还没有被处理的消息。
因此我们需要一套平滑关闭的机制,保证在重启的时候,已接收的消息可以得到正常处理。
2.问题分析问题分析
平滑关闭的思路如下:
在关闭程序时,首先关闭消息订阅,保证不再接收新的消息。
关闭线程池,等待线程池中的消息处理完毕。
程序退出。
关闭消息订阅:消息队列的客户端都会提供关闭连接的方法,具体可以自行查看API。
关闭线程池:Java的ThreadPoolExecutor线程池提供shutdown()和shutdownNow()两个方法,区别是前者会等待线程池中的消息都处理完
毕,后者会直接停止所有线程并返回未处理完的线程List。因为我们需要使用shutdown()方法进行关闭,并通过isTerminated()方法,判断
线程池是否已经关闭。
那么问题又来了,我们如何通知到程序,需要执行关闭操作呢?
在Linux中,进程的关闭是通过信号传递的,我们可以用kill -9 pid关闭进程,除了-9之外,我们可以通过 kill -l,查看kill命令的其它信
号量。
这里提供两种关闭方法:
程序中添加Runtime.getRuntime().addShutdownHook钩子方法,SIGTERM,SIGINT,SIGHUP三种信号都会触发该方法(分别对应kill -
1/kill -2/kill -15,Ctrl+C也会触发SIGINT信号)。
程序中通过Signal类注册信号监听,比如USR2(对应kill -12),在handle方法中执行关闭操作。
补充说明:addShutdownHook方法和handle方法中如果再调用System.exit,会造成deadlock,使进程无法正常退出。