KafkaSource

KafkaSource是一个从Kafka的Topic中读取消息的Apache Kafka消费者。它有几个重要的属性，包括type、kafka.bootstrap.servers、kafka.consumer.group.id、kafka.topics和kafka.topics.regex。其中，type是source的类型，必须使用org.apache.flume.source.kafka.KafkaSource；kafka.bootstrap.servers是Kafka集群中的代理服务器列表；kafka.consumer.group.id是消费者组的唯一标识；kafka.topics是从哪些topic获取消息的列表；kafka.topics.regex是使用正则表达式定义该source订阅的topic的集合，优先级高于kafka.topics。此外，还有一些其他的参数可以配置，如batchSize用于设置一个批次中写入通道的最大消息数。\[1\]\[2\]

在配置KafkaSource时，可以在虚拟机中新建一个配置文件，例如kafka-mem-logger.conf。在该配置文件中，需要设置source的类型为org.apache.flume.source.kafka.KafkaSource，并配置相应的属性，如batchSize、kafka.bootstrap.servers和kafka.topics。同时，还需要设置channels和sinks的相关属性，以及迫使设置生效。\[3\]
#### 引用[.reference_title]
- *1* [flume学习05---Kafka Source](https://blog.csdn.net/wuxintdrh/article/details/64443996)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [flume第五讲kafka source(常用)](https://blog.csdn.net/weixin_45896475/article/details/105671981)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]