批量读取 hdfs 上一个路径里面的所有 csv 文件没

批量读取HDFS上指定路径下的所有CSV文件通常需要借助Apache Hadoop的生态系统，特别是Pig、Hive或Spark这样的大数据处理框架。这里是一个基本步骤的概述：

1. **使用Pig**:
- 首先，你需要安装Pig并配置好Hadoop环境。然后，可以创建一个 Pig Latin脚本，例如：

     A = LOAD 'hdfs://path/to/csvs/*.csv' USING PigStorage(',') AS (col1:chararray, col2:chararray);

这将加载所有CSV文件到Pig数据流A。

2. **使用Hive**:
- 如果你更熟悉SQL，Hive也支持类似的操作。创建外部表并指定路径：

     CREATE EXTERNAL TABLE csv_files (fields) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION 'hdfs://path/to/csvs';

然后你可以查询整个表获取所有数据。

3. **使用Spark**:
- 使用Spark SQL，你可以读取目录下的所有文件：

     spark.read.format("csv").option("header", "true").load("hdfs://path/to/csvs/*")

或者使用Scala:

     val df = spark.read.format("csv").option("header", "true").load("hdfs://path/to/csvs/")

记住，在使用上述方法之前，需要确保HDFS的权限设置正确，并且CSV文件的名称规则是可以匹配`*.*`通配符的。