storm 和 flink发展历程
时间: 2023-05-04 15:06:06 浏览: 80
Storm 和 Flink 都是分布式流处理系统。Storm 是 Apache 家族的产品,是实时计算系统的一种流行选择;Flink 则是 Apache 新近孵化的开源系统,被广泛应用在流处理、批处理、图处理等场景。
Storm 由 Nathan Marz 开发,于2011年在 Github 上首次公开发布。Storm 最初是 Twitter 的实时计算业务员工的内部工具。Storm 在实现消息的分配和负载均衡上进行了改进,以实现更高效和可靠的工作。在 Twitter 上,Storm 成功的应用场景包括实时推荐和情感分析。随着对实时计算需求的探索,很快就被 Apache 吸纳为一个顶级开源项目。Storm 的2.0版本于2016年发布,增强了容错能力、并发控制等方面,提供了更好的性能和稳定性。
Flink 的起源可以追溯到2008年,当时它作为一个学术项目诞生。Flink 最初由德国工业大学柏林分校的数据处理实验室(DPL)推出,并于2014年开源。由于 Flink 强大的流处理功能,在阿里、Uber 等公司部署流计算任务中被广泛应用。
Flink 最初的设计理念是为实现低延迟的高阶流计算而创建的。Flink 支持常规和事件时间处理,并且可以轻松处理无限数据流。Flink 拥有不同的 API,例如批处理 SQL ,也有类 DataStream 的流数据处理 API。Flink 容错机制存储在内存或者磁盘上,如 Checkpointing 和 Savepoint。 Flink 通过计算过程中的状态保存和恢复,确保了数据的完整性。
总体而言,Storm 和 Flink 都是分布式实时流处理系统经过多年的不断创新发展的重要产品,在面对各种不同类型的开发场景以及数据流处理方面,它们发挥着不可替代的作用。