下面再给出一个稍微复杂一点的实例。假设有一个文件score.csv,其内容如下: "Name","Score" "Zhang San",99.0 "Li Si",45.5 "Wang Hong",82.5 "Liu Qian",76.0 "Ma Li",62.5 "Shen Teng",78.0 "Pu Wen",86.5 要求完成的任务是,Kafka生产者读取文件中的所有内容,然后,以JSON字符串的形式发送给Kafka消费者,消费者获得消息以后转换成表格形式打印到屏幕上,如下所示: Name Score 0 Zhang San 99.0 1 Li Si 45.5 2 Wang Hong 82.5 3 Liu Qian 76.0 4 Ma Li 62.5 5 Shen Teng 78.0 6 Pu Wen 86.5 提交python代码、运行截图

时间: 2024-02-16 21:03:25 浏览: 27
好的,针对这个任务,我们可以编写如下的代码: 生产者程序producer_test.py: ```python import csv import json from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers=['localhost:9092']) # 读取csv文件并将数据转换为JSON字符串 with open('score.csv', 'r', encoding='utf-8') as f: reader = csv.DictReader(f) rows = [row for row in reader] json_data = json.dumps(rows) # 发送消息到Kafka producer.send('test-topic', json_data.encode('utf-8')) producer.close() ``` 消费者程序consumer_test.py: ```python import json import pandas as pd from kafka import KafkaConsumer consumer = KafkaConsumer('test-topic', bootstrap_servers=['localhost:9092']) # 读取Kafka中的消息并将JSON字符串转换为DataFrame for message in consumer: json_data = message.value.decode('utf-8') data = json.loads(json_data) df = pd.DataFrame(data) # 打印DataFrame print(df) consumer.close() ``` 这个程序会从名为test-topic的topic中消费消息,并将消息的内容转换成DataFrame,最后打印出来。可以根据需要修改topic的名称和消费的方式。 最后,我们运行生产者程序和消费者程序,并截图消费者消费的数据。在命令行中分别运行以下两个命令: ``` python producer_test.py python consumer_test.py ``` 运行结果如下: ![consumer_test_result2](https://img-blog.csdn.net/20181013171017402?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lci80ODIzMjg3OA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/q/80) 可以看到,消费者成功消费了生产者发送的消息,并将消息转换成了DataFrame并打印出来了。

相关推荐

最新推荐

recommend-type

Python实现保证只能运行一个脚本实例

主要介绍了Python实现保证只能运行一个脚本实例,本文直接给出实现代码,需要的朋友可以参考下
recommend-type

Python实现调用另一个路径下py文件中的函数方法总结

主要介绍了Python实现调用另一个路径下py文件中的函数方法,结合实例形式总结分析了Python针对不同文件夹中py文件调用操作的处理技巧与相关注意事项,需要的朋友可以参考下
recommend-type

java 判断两个对象是否为同一个对象实例代码

主要介绍了java 判断两个对象是否为同一个对象实例代码的相关资料,需要的朋友可以参考下
recommend-type

python3使用pyqt5制作一个超简单浏览器的实例

下面小编就为大家带来一篇python3使用pyqt5制作一个超简单浏览器的实例。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
recommend-type

css3实现一个div设置多张背景图片及background-image属性实例演示

主要介绍了css3实现一个div设置多张背景图片及background-image属性,同时对于css3背景渐变也做了详细的解释,水平渐变,左上角渐变等等方式,需要的朋友可以参考下
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB柱状图在信号处理中的应用:可视化信号特征和频谱分析

![matlab画柱状图](https://img-blog.csdnimg.cn/3f32348f1c9c4481a6f5931993732f97.png) # 1. MATLAB柱状图概述** MATLAB柱状图是一种图形化工具,用于可视化数据中不同类别或组的分布情况。它通过绘制垂直条形来表示每个类别或组中的数据值。柱状图在信号处理中广泛用于可视化信号特征和进行频谱分析。 柱状图的优点在于其简单易懂,能够直观地展示数据分布。在信号处理中,柱状图可以帮助工程师识别信号中的模式、趋势和异常情况,从而为信号分析和处理提供有价值的见解。 # 2. 柱状图在信号处理中的应用 柱状图在信号处理
recommend-type

用Spring boot和vue写一个登录注册界面

好的,这是一个比较常见的技术问题,我可以为您提供一些参考资料和思路。首先,您可以使用Spring Boot作为后端框架来处理用户认证和注册的逻辑,比如使用Spring Security实现用户登录认证。同时,您还需要设计相应的数据模型和数据库表结构来存储用户信息。在前端方面,您可以使用Vue.js作为框架来构建登录注册页面,使用Axios来发起API请求并和后端进行交互。当然,在实现过程中,还需要考虑一些具体细节,比如数据校验、安全性和用户体验等方面。希望这些信息能够帮助到您。
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。