用python写一段Kafka消费者订阅分区的代码
时间: 2023-06-20 20:07:43 浏览: 138
python操作kafka实践的示例代码
下面是一个使用Python编写的Kafka消费者订阅分区的样例代码:
```python
from kafka import KafkaConsumer
# 创建Kafka消费者对象
consumer = KafkaConsumer(
'test_topic', # 消费者要订阅的主题
bootstrap_servers=['localhost:9092'], # Kafka broker地址
auto_offset_reset='earliest', # 当消费者第一次连接Kafka时,从最早的可用记录开始读取
enable_auto_commit=True, # 自动提交偏移量
group_id='my-group' # 消费者组ID
)
# 订阅指定分区
consumer.assign([TopicPartition('test_topic', 0)])
# 从分配的分区中读取消息
for message in consumer:
print(message.value.decode('utf-8'))
```
在代码中,我们首先创建了一个Kafka消费者对象,并指定了要订阅的主题、Kafka broker地址、消费者组ID等参数。接着,通过`assign`方法订阅指定的分区。最后,我们可以通过遍历消费者对象读取分区中的消息,并对其进行处理。
阅读全文