sparksql 报错 diagnostics messages truncated,showing last 65536 chars out of 109563 怎么解决呢

这个报错是因为 SparkSQL 打印出的诊断信息太长，导致只显示了最后的 65536 个字符，而不是全部显示。解决这个问题的方法是通过增加日志级别来显示更详细的诊断信息，或者通过限制查询结果的大小来减少打印的数据量。以下是两种可能的解决方法：

1. 增加日志级别：在 SparkSQL 的配置文件中增加如下配置项，可以将日志级别设置为 DEBUG 或 TRACE，以显示更详细的诊断信息。

spark.sql.adaptive.enabled true
spark.sql.adaptive.join.enabled true
spark.sql.adaptive.skewJoin.enabled true
spark.sql.adaptive.coalescePartitions.enabled true
spark.sql.adaptive.localShuffleReader.enabled true
spark.sql.adaptive.advisoryPartitionSizeInBytes 128M

2. 限制查询结果大小：在 SparkSQL 中使用 LIMIT 子句来限制查询结果的大小，从而减少打印的数据量。例如，以下查询只返回前 100 行数据：

SELECT * FROM my_table LIMIT 100;