请写出Hadoop部署时,可能会用到的配置文件,及所在路径。每个配置文件可能配置的属性有什么,及属性用途。
时间: 2024-06-11 09:04:08 浏览: 96
Hadoop配置文件
Hadoop部署时可能会用到以下配置文件:
1. core-site.xml
- 路径:$HADOOP_HOME/etc/hadoop/core-site.xml
- 属性:
- fs.defaultFS:指定HDFS的URI,如hdfs://localhost:9000
- hadoop.tmp.dir:指定Hadoop的临时文件目录
- io.file.buffer.size:指定文件读写缓冲区的大小
- hadoop.proxyuser.hadoop.hosts:指定允许哪些主机代理用户访问Hadoop
2. hdfs-site.xml
- 路径:$HADOOP_HOME/etc/hadoop/hdfs-site.xml
- 属性:
- dfs.replication:指定HDFS的副本数,默认为3
- dfs.namenode.name.dir:指定NameNode的数据目录
- dfs.datanode.data.dir:指定DataNode的数据目录
- dfs.permissions.enabled:指定是否启用权限控制
- dfs.blocksize:指定块的大小,默认为128MB
3. mapred-site.xml
- 路径:$HADOOP_HOME/etc/hadoop/mapred-site.xml
- 属性:
- mapreduce.framework.name:指定MapReduce框架的类型,如yarn、local等
- mapreduce.jobtracker.address:指定JobTracker的地址
- mapreduce.jobtracker.http.address:指定JobTracker的HTTP地址
- mapreduce.jobhistory.address:指定JobHistoryServer的地址
- mapreduce.jobhistory.webapp.address:指定JobHistoryServer的Web地址
4. yarn-site.xml
- 路径:$HADOOP_HOME/etc/hadoop/yarn-site.xml
- 属性:
- yarn.resourcemanager.hostname:指定ResourceManager的主机名
- yarn.nodemanager.local-dirs:指定NodeManager的本地目录
- yarn.nodemanager.log-dirs:指定NodeManager的日志目录
- yarn.log-aggregation-enable:指定是否启用日志聚合
- yarn.scheduler.maximum-allocation-mb:指定单个容器的最大内存使用量
以上配置文件中的属性都是用来配置Hadoop集群的各种参数,可以根据实际需要进行修改和配置。
阅读全文