写一段kafka多个消费者组
时间: 2023-05-24 07:03:18 浏览: 259
Kafka支持多个消费者组,不同的消费者组可以独立消费同一个主题下的分区,这样可以实现更细粒度的控制和管理。以下是一个简单的示例,演示了如何使用python-kafka库实现多个消费者组:
```python
from kafka import KafkaConsumer
# 连接kafka broker
bootstrap_servers = ['localhost:9092']
# 创建消费者1
consumer1 = KafkaConsumer('test-topic', bootstrap_servers=bootstrap_servers,
group_id='group-1')
# 创建消费者2
consumer2 = KafkaConsumer('test-topic', bootstrap_servers=bootstrap_servers,
group_id='group-2')
for message in consumer1:
# 处理来自group-1的消息
print("group-1 received message: {}".format(message.value))
for message in consumer2:
# 处理来自group-2的消息
print("group-2 received message: {}".format(message.value))
```
在这个示例中,我们使用了两个不同的消费者组group-1和group-2,它们分别消费同一个主题test-topic下的消息。注意,不同的消费者组的group_id要不同,这是Kafka用来区分不同组的重要参数。另外,在实际应用中,我们往往会将消费者放在不同的进程或者机器上,以实现更好的扩展性和可靠性。
阅读全文