hadoop 发展历程
时间: 2023-10-05 13:13:15 浏览: 135
Hadoop 是一个开源的分布式存储和计算平台,它的发展历程如下:
2004年,Google 发表了一篇论文《MapReduce:Simplified Data Processing on Large Clusters》,提出了大规模数据处理的 MapReduce 模型,并介绍了 Google 的分布式文件系统 GFS。
2006年,Apache Hadoop 项目由 Doug Cutting 和 Mike Cafarella 创建,目的是实现 MapReduce 模型和 GFS 文件系统的开源实现。
2008年,Hadoop 0.18.0 版本发布,实现了 HDFS 和 MapReduce 的稳定运行。Hadoop 开始吸引了越来越多的用户和贡献者,成为了当时最受欢迎的分布式计算框架。
2011年,Hadoop 1.0.0 版本发布,实现了对 HDFS 的高可用和容错支持。同时,Hadoop 生态系统开始丰富,包括 HBase、Hive、Pig 等子项目的出现。
2012年,Hadoop 2.0.0-alpha 版本发布,实现了 YARN(Yet Another Resource Negotiator)框架,使 Hadoop 不再仅限于 MapReduce,而可以支持更多的计算模型。同时,Hadoop 生态系统继续扩展,包括 Storm、Spark 等新的子项目的出现。
2014年,Hadoop 2.4.0 版本发布,实现了 NameNode 的高可用和容错支持。同时,Hadoop 生态系统继续壮大,包括 Kafka、Flink 等新的子项目的出现。
至今,Hadoop 已经成为了大数据处理领域的事实标准,并且在不断地发展和完善。
阅读全文