spark集群查询minio文件的默认方式

Spark集群查询MinIO文件的默认方式是通过Hadoop的S3A客户端来访问MinIO对象存储。S3A客户端可以直接与S3兼容的对象存储通信，包括Amazon S3和MinIO等，支持读取和写入文件。在Spark中，可以使用以下方式来读取MinIO中的文件：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Read from MinIO")
  .master("local[*]")
  .config("spark.hadoop.fs.s3a.access.key", "minio-access-key")
  .config("spark.hadoop.fs.s3a.secret.key", "minio-secret-key")
  .config("spark.hadoop.fs.s3a.endpoint", "http://minio-host:9000")
  .config("spark.hadoop.fs.s3a.path.style.access", "true")
  .getOrCreate()

val df = spark.read.text("s3a://minio-bucket/path/to/file")
df.show()

在上面的代码中，我们使用SparkSession来创建一个Spark应用程序，并配置了连接MinIO所需的参数，包括访问密钥、密钥、终端节点和路径样式访问。然后，我们使用`spark.read.text()`方法来读取MinIO中的文本文件，并将其加载到DataFrame中。最后，我们使用`df.show()`方法显示DataFrame中的数据。