flink 读取hdfs

Apache Flink 是一个开源的流处理框架，它支持从 Hadoop Distributed File System (HDFS) 中读取数据。Flink 提供了HadoopInputFormat作为其基础，允许用户轻松地将HDFS文件集作为输入源。

在 Flink 的 Java API 中，你可以这样做：

import org.apache.flink.api.common.io.TextFileInputFormat;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.tuple.Tuple2;

// 创建Flink环境
DataSet<String> textData = env.createInput(new TextFileInputFormat<>(new Path("hdfs://path/to/your/file"), "\n"));

// 如果文件包含键值对，可以使用 Tuple2 或自定义 POJO 类
DataSet<Tuple2<String, String>> keyValuePairs = textData.map(line -> { 
    String[] parts = line.split(",");
    return new Tuple2<>(parts, parts);
});

// 现在你可以进一步处理这些数据

在这个例子中，`TextFileInputFormat`用于读取文本文件，路径是你HDFS文件的实际位置，`\n`是分隔符。如果你想读取二进制文件或其他格式，需要相应地调整输入格式。