spark2中屏蔽使用hadoop
时间: 2023-07-08 11:43:05 浏览: 64
在Spark 2中,可以通过以下方式屏蔽使用Hadoop:
1. 在SparkConf对象中设置`spark.hadoop.fs.AbstractFileSystem.hdfs.impl.disable.cache`参数为`true`,禁用Hadoop的FileSystem缓存机制。
```java
SparkConf conf = new SparkConf()
.setAppName("MyApp")
.setMaster("local[*]")
.set("spark.hadoop.fs.AbstractFileSystem.hdfs.impl.disable.cache", "true");
JavaSparkContext sc = new JavaSparkContext(conf);
```
2. 在JavaSparkContext对象中设置`spark.hadoop.fs.defaultFS`参数为非Hadoop的文件系统地址,例如使用本地文件系统。
```java
SparkConf conf = new SparkConf()
.setAppName("MyApp")
.setMaster("local[*]")
.set("spark.hadoop.fs.defaultFS", "file:///");
JavaSparkContext sc = new JavaSparkContext(conf);
```
通过以上两个步骤,可以完全屏蔽使用Hadoop,并使用非Hadoop的文件系统,例如本地文件系统。需要注意的是,屏蔽使用Hadoop可能会影响一些功能的使用,例如使用HDFS文件系统、使用Hadoop的压缩算法等。因此,需要根据具体情况选择是否使用此方法。