golang 数据采集框架 发送到kafka

将数据采集框架收集到的数据发送到 Kafka 是一个常见的场景，下面介绍一种使用 Golang 数据采集框架将数据发送到 Kafka 的实现方式。

1. 安装 sarama 库：sarama 是一个 Golang 的 Kafka 客户端库，可以方便地与 Kafka 交互。使用命令 `go get github.com/Shopify/sarama` 安装该库。

2. 初始化 Kafka 生产者：使用 sarama 库创建一个 Kafka 生产者对象，代码如下：

   import "github.com/Shopify/sarama"
   
   func newProducer(brokers []string) (sarama.AsyncProducer, error) {
       config := sarama.NewConfig()
       config.Producer.Return.Successes = true
       config.Producer.RequiredAcks = sarama.WaitForAll
       config.Producer.Compression = sarama.CompressionSnappy
       return sarama.NewAsyncProducer(brokers, config)
   }
   
   // brokers 参数是 Kafka 集群的地址列表，例如 []string{"localhost:9092"}
   producer, err := newProducer(brokers)
   if err != nil {
       panic(err)
   }
   defer producer.Close()

3. 将数据发送到 Kafka：使用采集框架收集到的数据，通过 Kafka 生产者对象将数据发送到 Kafka 集群，代码如下：

   func sendDataToKafka(data []byte, topic string, producer sarama.AsyncProducer) {
       message := &sarama.ProducerMessage{
           Topic: topic,
           Value: sarama.ByteEncoder(data),
       }
       producer.Input() <- message
   }
   
   // data 参数是采集到的数据，topic 参数是 Kafka 主题名称
   sendDataToKafka(data, topic, producer)

以上就是使用 Golang 数据采集框架将数据发送到 Kafka 的一个简单实现方式。需要注意的是，Kafka 生产者是异步的，需要在发送完成后等待确认或处理发送成功回调。