Hadoop 2.7新版本发布:64位安装、API升级与Eclipse插件指南

需积分: 9 10 下载量 12 浏览量 更新于2024-09-11 收藏 676KB PDF 举报
Hadoop 2.7版本是一个重要的里程碑,包含了多项关键增强和新功能。这个版本的更新重点如下: 1. **增强的安全性**:当使用HTTP proxy server时,Hadoop 2.7提供了更强大的认证机制,这对于通过proxy server访问WebHDFS的场景尤其有益。这确保了数据传输的安全性。 2. **新的标准库支持**:Hadoop引入了一种新的标准库,使得可以直接在Hadoop环境中处理Graphite数据,这扩展了其数据分析和监控的功能。 3. **HCFS规范**:版本更新规范了HCFS(Hadoop Compatible Filesystem),提升了文件系统API的兼容性和一致性,方便开发者更好地利用Hadoop的存储服务。 4. **HDFS改进**:Hadoop 2.7支持POSIX风格的FileSystem扩展属性,提供了更多的文件系统特性,同时也允许客户端通过OfflineImageViewer通过WebHDFS API来查看fsimage,提高了数据管理的灵活性。 5. **NFS网关优化**:NFS网关进行了优化和bug修复,并且不再需要Hadoop portmapper进行不必要的网络连接控制,简化了网络配置。 6. **YARN增强**:SecondaryNameNode, JournalNode, 和 DataNode 的可视化功能得到了提升,同时YARN的REST APIs现在支持写入和修改操作,便于用户远程管理和监控作业。 7. **时间戳管理**:在YARN中,时间戳的存储能力增强,有助于应用程序的跟踪和性能分析,支持Kerberos认证,增强了安全性。 8. **公平调度器**:公平调度器引入了动态按等级划分队列的能力,用户可以根据需要动态创建子队列,增加了调度策略的灵活性。 9. **下载资源**:提供了一系列下载链接,包括官方的hadoop-2.7.0.tar.gz安装包,以及不同类型的源码包(如64位编译包、关于阿里云定制的64位包)、Maven包,以及API文档和eclipse插件。由于eclipse插件因操作系统差异可能无法直接使用,建议用户自行根据操作系统调整或自定义。 Hadoop 2.7版本不仅在性能和安全方面有所提升,还引入了新的工具和服务,为大数据处理和管理提供了更加完善的功能集。对于Hadoop生态系统的使用者来说,这是一个值得升级和探索的重要版本。