MApreduced的发展历史
时间: 2023-11-24 22:53:09 浏览: 157
MapReduce是一种分布式计算模型,最初由Google公司提出,用于大规模数据集(大于1TB)的并行运算。MapReduce的发展历史如下:
1. 2004年,Google公司提出了MapReduce的概念,并在自己的数据中心内部使用。
2. 2008年,Google公司发表了一篇论文《MapReduce: Simplified Data Processing on Large Clusters》,详细介绍了MapReduce的设计和实现。
3. 2008年,Apache Hadoop项目开始实现MapReduce,并成为Apache的顶级项目之一。
4. 2010年,Google公司发布了新的计算模型——FlumeJava,它是MapReduce的扩展,支持更多的操作,例如迭代计算。
5. 2012年,Google公司发布了新的计算模型——MillWheel,它是MapReduce的扩展,支持实时流处理。
6. 2014年,Apache Spark项目开始流行,它是一种新的计算模型,比MapReduce更快、更强大,支持更多的操作,例如内存计算、流处理、机器学习等。
7. 2015年,Google公司发布了新的计算模型——Dataflow,它是MapReduce的扩展,支持更多的操作,例如窗口计算、有状态计算等。
阅读全文