Hadoop 2.9.0 废除配置属性详解与替换指南

"Hadoop 2.9.0 版本已经淘汰了一组配置属性，这些属性在新版本中不再有效，并且已经被新的属性名称所取代。这份资料列举了所有被废弃的属性及其对应的更新属性名。" 在Hadoop 2.9.0版本中，为了保持系统的现代化和优化配置，一部分属性已被宣布为过时，不再推荐使用。以下是部分被废除的属性及其替代的新属性： 1. create.empty.dir.if.nonexist -> mapreduce.jobcontrol.createdir.ifnotexist 这个属性与MapReduce作业创建目录有关，现在应使用新的属性名来控制是否在不存在时创建目录。 2. dfs.access.time.precision -> dfs.namenode.accesstime.precision 这个属性控制文件访问时间的精度，现在在NameNode中使用新属性进行设置。 3. dfs.backup.address -> dfs.namenode.backup.address 这个属性与HDFS备份服务器的地址相关，现在应使用更新的名称指定NameNode备份服务的地址。 4. dfs.backup.http.address -> dfs.namenode.backup.http-address 同样是关于备份服务的HTTP地址，新的属性名更符合当前的命名规范。 5. dfs.balance.bandwidthPerSec -> dfs.datanode.balance.bandwidthPerSec 这个属性控制数据节点在平衡时的最大带宽，现在需要使用新属性来限制平衡操作的带宽。 6. dfs.block.size -> dfs.blocksize 文件块大小的配置，现在使用新属性名进行设置。 7. dfs.data.dir -> dfs.datanode.data.dir 数据节点存储数据的目录，新的属性名更加明确。 8. dfs.datanode.max.xcievers -> dfs.datanode.max.transfer.threads 这个属性控制数据节点的最大并发连接数，现在用新属性来设定最大传输线程数。 9. dfs.df.interval -> fs.df.interval 文件系统磁盘空间检查的间隔时间，新属性名更加通用。 10. dfs.encryption.key.provider.uri -> hadoop.security.key.provider.path 加密密钥提供者的URI，现在安全相关的配置使用新的属性名。 11. dfs.federation.nameservice.id -> dfs.nameservice.id 针对Federation环境下的名字服务ID，新属性名更简洁明了。 12. dfs.federation.nameservices -> dfs.nameservices 定义Federation中的多个名字服务，新属性名更加直观。 13. dfs.http.address -> dfs.namenode.http-address NameNode的HTTP服务地址，新的属性名强调了是针对NameNode的。 14. dfs.https.address -> dfs.namenode.https-address NameNode的HTTPS服务地址，新属性用于配置安全通信。 15. dfs.https.client.keystore.resource -> dfs.client.https.keystore.resource 客户端HTTPS的密钥库资源，新属性名更符合客户端的视角。 16. dfs.https.enable -> 开启HTTPS支持，新属性名可能为 dfs.http.policy ，用于设定HTTP或HTTPS策略。 17. dfs.http.port 和 dfs.https.port 也可能是被替换的对象，分别用新属性 dfs.namenode.http-port 和 dfs.namenode.https-port 替代。 这些改变是为了改进Hadoop的配置清晰度和一致性，避免使用过时的属性可能导致的问题。在升级到Hadoop 2.9.0或更高版本时，确保检查并更新所有相关配置，以防止因使用已废除属性而引发的错误。同时，理解这些新属性的工作原理对于维护和优化Hadoop集群的性能至关重要。