Hadoop2.0：NameNode与JobTracker的扩展性解决方案

“TUP第九期马如悦的演讲PPT主要聚焦于Hadoop2.0的改进，特别是针对HDFS2.0的可扩展性和NameNode的可用性问题，以及MapReduce2.0的可扩展性和JobTracker的可用性。演讲内容还探讨了NameNode的内存管理挑战和解决方案，以及JobTracker在大规模集群中的CPU调度问题。” 在Hadoop2.0中，面临的主要挑战是NameNode的可扩展性。随着文件数量和数据规模的增长，NameNode的内存占用急剧增加，导致处理请求的压力增大。在演讲中提到，当文件数量达到10亿，块数量达到10亿时，NameNode的内存需求可能高达380GB，这无疑是一个巨大的负担。为了应对这个问题，社区提出了几种方案，包括HDFS2.0的引入，旨在解决NameNode的单点故障和扩展性问题。 马如悦提出的解决方案是创建一个文件对象管理服务，允许水平扩展并独立作为服务存在，支持多种命名空间管理，如FS和S3。这种设计将大部分数据和请求从NameNode中分离出来，减少其内存负载和请求压力。采用REST API的方式，可以进一步降低NameNode的负载，因为大部分耗时操作不再需要经过命名空间，降低了全局锁的使用，从而更有效地利用CPU资源。 另一方面，JobTracker的可扩展性问题主要是CPU调度和内存管理。在3000至5000台节点的集群中，约20万个任务会占用1GB的内存。马如悦的目标是在不大幅修改现有Hadoop架构的基础上，增强JobTracker的性能，使其能够应对更大规模的10万台节点集群的压力，并考虑未来的跨机房部署需求。 MapReduce2.0的引入也是为了解决JobTracker的可扩展性问题，通过将JobTracker拆分为Resource Manager（负责资源分配）和Application Master（每个应用有自己的Application Master，负责具体任务的调度），实现了更高效的资源管理和任务调度，从而适应更大规模的计算任务。 这份PPT着重讨论了Hadoop2.0如何通过优化NameNode和JobTracker来提升系统的可扩展性和可用性，以应对大数据时代所带来的挑战。通过这些改进，Hadoop2.0能够更好地支持大规模集群的运行，提高了整体的系统性能和稳定性。