使用Python操作Kafka

Python可以通过kafka-python库来操作Kafka。在使用之前需要先安装kafka-python库。使用KafkaProducer类可以向Kafka集群发送消息，使用KafkaConsumer类可以从Kafka集群消费消息。需要注意的是，Kafka的producer支持多线程，而consumer不支持多线程。下面是一个简单的demo：

1.发送消息到Kafka集群：

from kafka import KafkaProducer
import json

producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
data = {'name': 'John', 'age': 30}
producer.send('test_topic', json.dumps(data).encode('utf-8'))

2.从Kafka集群消费消息：

from kafka import KafkaConsumer
import json

consumer = KafkaConsumer('test_topic', bootstrap_servers=['localhost:9092'])
for message in consumer:
    data = json.loads(message.value.decode('utf-8'))
    print(data)