flink读取kafka数据

Apache Flink 是一个分布式流处理框架，可以读取 Kafka 中的数据进行处理。Flink 提供了一个 Kafka Consumer API，可以用来消费 Kafka 中的消息，并将其转换为 Flink 中的数据流。

以下是读取 Kafka 数据的示例代码：

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;

import java.util.Properties;

public class FlinkKafkaConsumerExample {

    public static void main(String[] args) throws Exception {

        // set up the execution environment
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // set up Kafka properties
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers", "localhost:9092");
        properties.setProperty("group.id", "test");

        // create a Kafka consumer
        FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>("my-topic", new SimpleStringSchema(), properties);

        // add the Kafka consumer as a source to the environment
        DataStream<String> stream = env.addSource(consumer);

        // do something with the stream
        stream.print();

        // execute the program
        env.execute("Flink Kafka Consumer");
    }
}

上述代码创建了一个 Flink 的数据流处理环境，并使用 FlinkKafkaConsumer API 创建了一个 Kafka 消费者。可以设置 Kafka 的配置信息，例如 Kafka 服务器地址、消费者组 ID、消费的主题等。最后，将 Kafka 消费者作为数据源添加到 Flink 环境中，并对数据流进行处理。在这个例子中，我们简单地将数据流打印出来。

需要注意的是，为了使用 FlinkKafkaConsumer API，需要添加以下 Maven 依赖：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.11</artifactId>
    <version>${flink.version}</version>
</dependency>

其中，${flink.version} 是 Flink 的版本号，可以根据实际情况进行替换。