hadoop用java写configuation是从hadoop引用了什么配置文件是coresite还是什么全名每个文件用处
时间: 2024-09-24 21:23:59 浏览: 37
Win10上操作Hadoop的配置文件hadoop2.7.4.rar
Hadoop 的配置主要是通过 XML 格式的配置文件来进行管理的,这两个主要的配置文件涉及到 Hadoop 配置的是 `core-site.xml` 和 `hdfs-site.xml`。
1. **core-site.xml**: 这个文件包含了 Hadoop 共享的系统属性和核心服务的配置,如 HDFS 名称节点和任务调度的相关信息。它定义了诸如 `fs.defaultFS`(默认文件系统)这样的核心属性,这是你在 Java 中配置 Hadoop 客户端连接到 HDFS 所需要引用的关键部分。例如,`fs.defaultFS` 指向的是具体的文件系统 URL,比如 `hdfs://namenode.example.com:9000`。
2. **hdfs-site.xml**: 专门用于 Hadoop 分布式文件系统的配置,例如副本策略、数据块大小、名称节点的地址等。如果你要在 Java 程序中创建 FileSystem 对象,并且指定了 `hdfs` 协议,那么这个文件就非常重要,因为它会告诉客户端如何连接到 HDFS 文件系统。
在编写 Java 代码中引用这些配置时,通常不需要直接导入整个文件,而是通过 `Configuration` 类,这个类会从类路径下读取这些配置文件的内容。例如:
```java
Configuration conf = new Configuration();
conf.addResource("core-site.xml");
conf.addResource("hdfs-site.xml");
FileSystem fs = FileSystem.get(conf);
```
这里 `addResource()` 方法会查找指定资源(即配置文件)的位置,并将其中的配置加载到 `Configuration` 对象中。
阅读全文