springboot 批量上传到kafka的topic
时间: 2023-09-10 16:11:01 浏览: 97
springboot整合kafka,指定分区发送,批量消费,指定topic分区消费
5星 · 资源好评率100%
你可以使用 KafkaTemplate 和 ListenableFuture 实现 Spring Boot 批量上传消息到 Kafka 的 topic。
首先,需要在 pom.xml 文件中添加 kafka-clients 依赖:
```
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>${kafka.version}</version>
</dependency>
```
然后,在 Spring Boot 配置文件中配置 Kafka 相关信息:
```
spring.kafka.bootstrap-servers=127.0.0.1:9092
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
```
接下来,在你的代码中注入 KafkaTemplate,然后使用 send 方法批量上传消息到 Kafka:
```
@Autowired
private KafkaTemplate<String, String> kafkaTemplate;
public void batchSendMessage(List<String> messages, String topic) {
ListenableFuture<SendResult<String, String>> futureList[] = new ListenableFuture[messages.size()];
for (int i = 0; i < messages.size(); i++) {
futureList[i] = kafkaTemplate.send(topic, messages.get(i));
}
try {
Futures.allAsList(futureList).get();
} catch (InterruptedException | ExecutionException e) {
// handle exception
}
}
```
这里使用了 Guava 库中的 Futures.allAsList() 方法,该方法可以将多个 ListenableFuture 合并成一个,然后等待所有 Future 完成。这样就可以实现批量上传消息到 Kafka 的功能了。
阅读全文