使用spark 对接kafka

使用 Spark 连接 Kafka，需要先安装 Kafka 驱动程序。然后，可以使用 Spark 中的 KafkaUtils 库来读取和写入 Kafka 中的数据。例如，可以使用以下代码读取 Kafka 中的数据：

val kafkaParams = Map[String, Object](
  "bootstrap.servers" -> "localhost:9092",
  "key.deserializer" -> classOf[StringDeserializer],
  "value.deserializer" -> classOf[StringDeserializer],
  "group.id" -> "use_a_separate_group_id_for_each_stream",
  "auto.offset.reset" -> "latest",
  "enable.auto.commit" -> (false: java.lang.Boolean)
)

val topics = Array("topicA", "topicB")
val stream = KafkaUtils.createDirectStream[String, String](
  streamingContext,
  PreferConsistent,
  Subscribe[String, String](topics, kafkaParams)
)

这里需要注意的是，需要指定kafka服务地址,以及反序列化方式，以及group_id, auto.offset.reset 等参数。

可以使用类似的方式写入数据到kafka中。