假设有一个学生表student,如表4-1所示,编写 Python 程序完成如下操作。(1)读取 student表的数据内容,将其转为JSON格式,发送给 Kafka。(2)从 Kafka 中获取 JSON格式数据,打印出来。
时间: 2024-11-20 12:43:58 浏览: 12
首先,为了完成这个任务,你需要安装`pandas`用于处理数据库数据,`kafka-python`用于操作Kafka,以及`json`用于将数据转换为JSON格式。假设你已经安装了这些库,以下是基本的步骤:
1. **读取并转换数据到JSON**
```python
import pandas as pd
from kafka import KafkaProducer
import json
# 假设你已经有了一个连接数据库的函数get_student_data()
df = get_student_data()
# 将DataFrame转换为字典列表,因为pandas DataFrame可以直接序列化为JSON
data_list = df.to_dict(orient='records')
# 创建一个Kafka生产者
producer = KafkaProducer(bootstrap_servers='localhost:9092') # 根据你的Kafka配置替换
# 发送每个记录到Kafka主题
for data in data_list:
json_data = json.dumps(data)
producer.send('student_table', json_data.encode('utf-8'))
# 关闭生产者
producer.close()
```
2. **从Kafka接收并打印JSON数据**
```python
from kafka import KafkaConsumer
consumer = KafkaConsumer(
'student_table',
bootstrap_servers='localhost:9092', # 同上
auto_offset_reset='earliest'
)
for message in consumer:
# 解析接收到的二进制消息为字符串
raw_message = message.value.decode('utf-8')
# 再次解析为JSON
received_data = json.loads(raw_message)
print(received_data)
```
注意:这里的`localhost:9092`是Kafka默认的服务地址,实际应用中应替换为你Kafka集群的真实IP和端口。同时,确保你的程序能连接到数据库、创建和消费Kafka主题,并且权限允许。
阅读全文