spark读取多个目录

如果要使用 Spark 读取多个目录，可以使用通配符来指定需要读取的目录，例如：

val inputPath = "/path/to/directory/*"
val df = spark.read.format("csv").option("header", "true").load(inputPath)

这样就可以读取 `/path/to/directory` 下的所有目录中的 csv 文件。如果需要读取多个目录，可以将通配符替换为多个目录路径，以逗号分隔，例如：

val inputPath = "/path/to/directory1/*,/path/to/directory2/*"
val df = spark.read.format("csv").option("header", "true").load(inputPath)

这样就可以同时读取 `/path/to/directory1` 和 `/path/to/directory2` 下的所有 csv 文件。

相关问题

spark读取redis数据集群多个库

要使用 Spark 读取 Redis 数据集群中的多个库，可以按照以下步骤进行操作：

1. 首先，确保已经正确地配置了 Spark 的环境，并且已经安装了相应的依赖库，如 spark-redis 插件。

2. 在 Spark 程序中，首先创建一个 SparkSession 对象。可以使用以下代码：

val spark = SparkSession.builder
  .appName("Read Redis Cluster")
  .master("local[*]")
  .config("spark.redis.host", "172.16.0.1")
  .config("spark.redis.port", "6379")
  .getOrCreate()

在上述代码中，需要将 "172.16.0.1" 替换为 Redis 集群的 IP 地址，"6379" 替换为 Redis 的端口号。

3. 接下来，通过创建一个 RDD 来读取 Redis 数据。可以使用以下代码：

val redisConfig = Map("redis.host" -> "172.16.0.1", "redis.port" -> "6379")
val keysRDD = spark.sparkContext.fromRedisKV("redis-cluster-0", "keyPattern", 10, redisConfig)

在上述代码中，需要将 "redis-cluster-0" 替换为 Redis 中的一个库名称，"keyPattern" 替换为要读取的键的模式（可以使用通配符），"10" 替换为要并行读取的分区数。

4. 最后，可以对 RDD 进行进一步处理和分析。例如，可以使用以下代码计算键值对的总数：

val count = keysRDD.count()
println(s"Total number of key-value pairs: $count")

通过以上步骤，就可以使用 Spark 读取 Redis 数据集群中的多个库，并进行相应的分析和处理。当然，还可以根据实际需求进行更复杂的操作，如筛选特定键值对、进行聚合统计等。

spark读取hdfs上的多目录parquet文件

要使用Spark读取HDFS上的多目录Parquet文件，可以按照以下步骤操作：

1. 创建SparkSession对象

val spark = SparkSession.builder()
  .appName("Read Parquet Files from HDFS")
  .master("local[*]")
  .getOrCreate()

2. 读取Parquet文件

val df = spark.read.parquet("hdfs://<namenode>:<port>/<path1>,hdfs://<namenode>:<port>/<path2>,...")

其中，`<namenode>`是HDFS的NameNode节点地址，`<port>`是HDFS的端口号，`<path1>,<path2>,...`是多个Parquet文件所在的目录路径，用逗号分隔。

3. 显示数据

df.show()

以上就是使用Spark读取HDFS上的多目录Parquet文件的步骤。