java的spark2屏蔽 hadoop snappy压缩
时间: 2023-07-28 08:10:47 浏览: 282
支持snappy压缩的hadoop压缩包
在Java的Spark2中,您可以通过设置以下属性来屏蔽Hadoop Snappy压缩:
```
spark.hadoop.io.compression.codec.snappy.use.native=false
```
您可以将其添加到SparkConf中,如下所示:
```java
SparkConf conf = new SparkConf()
.setAppName("Your App Name")
.set("spark.hadoop.io.compression.codec.snappy.use.native", "false");
```
注意,这可能会影响性能,因为Spark将不再使用本机的Snappy库来压缩和解压缩数据。
阅读全文