sparksql 大小写_Spark 2.4.0如何优雅地解决sparksql小文件过多的问题

关于 SparkSQL 的大小写问题，SparkSQL 默认是不区分大小写的。如果需要区分大小写，可以在创建表时指定表名的引号。

对于 SparkSQL 小文件过多的问题，可以采用以下几种优化方式：

1. 合并小文件：可以通过使用 Hadoop 的 MapReduce 程序对小文件进行合并，或者使用 Spark 的 coalesce 或 repartition 方法将小文件合并成较大的文件。

2. 压缩文件：可以使用 Hadoop 的 SequenceFile 或者使用 Spark 的 saveAsSequenceFile 方法将文件压缩成 SequenceFile 格式，从而减少文件数量。

3. 使用分区：可以使用 Spark 的 partitionBy 方法将数据按照指定的列分区，从而减少小文件数量。

4. 调整文件大小：可以通过调整 Spark 的输入格式和分片大小来控制文件大小，如使用 TextInputFormat 代替默认的 Hadoop FileInputFormat，并将输入分片大小调整为适当的值。

以上四种方法可以结合使用，从而优雅地解决 SparkSQL 小文件过多的问题。