Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); 指定分布式系统
时间: 2024-03-05 11:55:07 浏览: 56
【IT十八掌徐培成】Hadoop第03天-05.hdfs FileSystem API-read-filestatus.zip
要在代码中指定使用分布式文件系统,需要使用`FileSystem.get()`方法的重载形式,并指定文件系统的URI和配置对象。例如:
```
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://namenode1:8020"), conf);
```
这将返回一个指向分布式文件系统的文件系统对象,并使用指定的配置对象。在上面的例子中,文件系统的URI是`hdfs://namenode1:8020`,这意味着您的代码将连接到名为`namenode1`的NameNode节点,并使用默认的HDFS通信端口8020。
如果您的分布式文件系统启用了HA,您可以使用以下方式指定文件系统的URI:
```
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://mycluster");
conf.set("dfs.nameservices", "mycluster");
conf.set("dfs.client.failover.proxy.provider.mycluster",
"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
FileSystem fs = FileSystem.get(new URI("hdfs://mycluster"), conf);
```
在上面的例子中,`fs.defaultFS`属性指定了文件系统的默认URI,`dfs.nameservices`属性指定了HA集群的名称,`dfs.client.failover.proxy.provider.mycluster`属性指定了故障转移代理提供程序的类名称,`FileSystem.get()`方法的参数为`hdfs://mycluster`,即HA集群的名称。
阅读全文