sparkstreaming读取kafka

Spark Streaming 支持从 Kafka 中读取数据。可以使用 KafkaUtils.createDirectStream() 方法从 Kafka 中读取数据流，并将其转换为 DStream。例如：

val kafkaParams = Map[String, String](
    "bootstrap.servers" -> "localhost:9092",
    "group.id" -> "group1",
    "auto.offset.reset" -> "latest",
    "enable.auto.commit" -> "false"
)
val topics = Set("topic1", "topic2")
val stream = KafkaUtils.createDirectStream[String, String](
    ssc,
    LocationStrategies.PreferConsistent,
    ConsumerStrategies.Subscribe[String, String](topics, kafkaParams)
)

其中，kafkaParams 是 Kafka 的连接参数，topics 是要读取的主题列表。