写python代码对文件夹下的csv文件分别进行读取,将读取到的结果写入到kafka集群的一个主题中,写完后关闭连接
时间: 2023-04-06 22:01:03 浏览: 168
python读写csv文件并增加行列的实例代码
可以的,以下是Python代码示例:
```python
import os
import csv
from kafka import KafkaProducer
# 连接Kafka集群
producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
# 遍历文件夹下的所有csv文件
folder_path = '/path/to/folder'
for filename in os.listdir(folder_path):
if filename.endswith('.csv'):
# 读取csv文件内容
with open(os.path.join(folder_path, filename), 'r') as f:
reader = csv.reader(f)
for row in reader:
# 将读取到的结果写入Kafka主题
producer.send('my_topic', str(row).encode('utf-8'))
# 关闭Kafka连接
producer.close()
```
以上代码可以将文件夹下所有以`.csv`结尾的文件读取并将内容写入到Kafka集群的`my_topic`主题中,最后关闭Kafka连接。
阅读全文