hive insert 报错java.lang.StackOverflowError
时间: 2024-06-13 19:09:45 浏览: 215
hive_jdbc_2.6.2.1002.zip
当执行Hive的insert操作时,有时会遇到java.lang.StackOverflowError错误。这通常是由于程序运行时Stack大小大于JVM设置大小所致。解决此问题的方法是在启动Spark-sql时添加--driver-java-options "-Xss10m"选项,将Stack大小设置为10MB。具体操作如下:
```shell
spark-sql --driver-java-options "-Xss10m"
```
另外,如果你使用的是Hive 2.3.0及以上版本,可以通过设置hive.vectorized.execution.enabled=false来解决此问题。这将禁用矢量化执行,从而减少Stack的使用。
阅读全文