java的spark2屏蔽 hadoop snappy压缩

在Java的Spark2中，您可以通过设置以下属性来屏蔽Hadoop Snappy压缩：

spark.hadoop.io.compression.codec.snappy.use.native=false

您可以将其添加到SparkConf中，如下所示：

SparkConf conf = new SparkConf()
        .setAppName("Your App Name")
        .set("spark.hadoop.io.compression.codec.snappy.use.native", "false");

注意，这可能会影响性能，因为Spark将不再使用本机的Snappy库来压缩和解压缩数据。

相关问题

spark2中屏蔽使用hadoop

在Spark 2中，可以通过以下方式屏蔽使用Hadoop：

1. 在SparkConf对象中设置`spark.hadoop.fs.AbstractFileSystem.hdfs.impl.disable.cache`参数为`true`，禁用Hadoop的FileSystem缓存机制。

SparkConf conf = new SparkConf()
    .setAppName("MyApp")
    .setMaster("local[*]")
    .set("spark.hadoop.fs.AbstractFileSystem.hdfs.impl.disable.cache", "true");
JavaSparkContext sc = new JavaSparkContext(conf);

2. 在JavaSparkContext对象中设置`spark.hadoop.fs.defaultFS`参数为非Hadoop的文件系统地址，例如使用本地文件系统。

SparkConf conf = new SparkConf()
    .setAppName("MyApp")
    .setMaster("local[*]")
    .set("spark.hadoop.fs.defaultFS", "file:///");
JavaSparkContext sc = new JavaSparkContext(conf);

通过以上两个步骤，可以完全屏蔽使用Hadoop，并使用非Hadoop的文件系统，例如本地文件系统。需要注意的是，屏蔽使用Hadoop可能会影响一些功能的使用，例如使用HDFS文件系统、使用Hadoop的压缩算法等。因此，需要根据具体情况选择是否使用此方法。

hadoop 2.7.3 snappy 压缩jar 包

要在Hadoop 2.7.3中使用Snappy压缩Jar包，首先需要确保已经安装了Snappy压缩库，并且在Hadoop的配置文件中进行了相应的配置。

首先，需要将Snappy压缩库的jar包添加到Hadoop的classpath中，可以通过编辑HADOOP_CLASSPATH环境变量或者将jar包放置在Hadoop的lib目录中实现。

其次，需要修改Hadoop的配置文件，找到core-site.xml和mapred-site.xml文件，分别添加如下配置：

在core-site.xml中添加以下内容：

<property>
  <name>io.compression.codec.snappy.class</name>
  <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

在mapred-site.xml中添加以下内容：

<property>
  <name>mapreduce.map.output.compress</name>
  <value>true</value>
</property>
<property>
  <name>mapreduce.map.output.compress.codec</name>
  <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
<property>
  <name>mapreduce.map.output.compress.type</name>
  <value>BLOCK</value>
</property>

配置完成后，将Snappy压缩的jar包打包成一个新的Jar文件，然后使用hadoop jar命令来提交作业并指定Snappy格式的压缩。

通过以上步骤，就可以在Hadoop 2.7.3中使用Snappy压缩Jar包了。这样可以提高数据处理的速度和效率，同时节省存储空间。