kafka 数据生成
时间: 2023-08-11 19:05:19 浏览: 133
kafka-python-fake-data-producer:Kafka Python伪数据生产器是一个完整的演示应用程序,可让您快速生成基于Python假比萨饼的流数据集并将其推送到Apache Kafka主题。 它提供了一个示例,说明如何创建大量假冒的流数据来填充Apache Kafka有多么容易
Kafka数据生成可以使用kafka-connect-datagen作为测试数据生成器。这是一个现成的工具,可以与Kafka集成,以最少的样板代码实现随机数据生成。\[1\] kafka-connect-datagen是一个高度可移植的自定义连接器插件,可以进一步扩展以支持集成测试和不同消息格式等功能。\[2\] 它是一个Kafka Connect源连接器,可以将数据从数据存储复制到Kafka。但是,与其他源连接器不同的是,datagen不会链接到任何数据存储,而是从内部生成数据。它实现了一些生命周期方法的钩子,延伸了SourceConnector和SourceTask,以实现数据生成的功能。\[3\]
#### 引用[.reference_title]
- *1* [Kafka Connect Datagen 创建测试数据生成器](https://blog.csdn.net/litlit023/article/details/112298723)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [使用Kafka Connect创建测试数据生成器](https://blog.csdn.net/weixin_30952535/article/details/97886362)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文