python kafka消费固定分区数据
时间: 2023-07-01 07:19:08 浏览: 108
指定时间段消费Kafka工具
要消费 Kafka 中的固定分区数据,需要使用 Kafka 的 Consumer API。下面是一个示例代码:
```python
from kafka import KafkaConsumer
from kafka import TopicPartition
# 设置要消费的分区
topic = 'my_topic'
partition = 0
# 创建一个 KafkaConsumer 对象并指定要消费的分区
consumer = KafkaConsumer(bootstrap_servers=['localhost:9092'])
tp = TopicPartition(topic, partition)
consumer.assign([tp])
# 从指定的 offset 开始消费消息
consumer.seek(tp, offset)
# 消费消息
for msg in consumer:
print(msg.value.decode('utf-8'))
```
在上面的代码中,我们首先创建了一个 KafkaConsumer 对象,然后使用 TopicPartition 类指定要消费的分区和要从哪个 offset 开始消费消息。最后,在一个 for 循环中遍历消费者对象,消费消息并输出。注意,上面的代码中的 offset 可以是任何有效的 offset 值,比如:最早的 offset(earliest)、最新的 offset(latest)或者一个特定的 offset 值。
阅读全文