Storm: 1.列举几个常见的流计算框架。 2.试述流数据的特点。 3.试列举几种Stream Groupings 的方式。
时间: 2024-03-30 13:41:03 浏览: 150
Storm流计算项目
5星 · 资源好评率100%
好的,针对你的问题,我来逐一回答:
1. 常见的流计算框架包括:
- Apache Storm:分布式实时计算系统,支持高吞吐量和低延迟的数据流处理。
- Apache Flink:分布式流处理框架,支持高吞吐量和低延迟的数据流处理,并提供批处理和流处理的统一 API。
- Apache Kafka Streams:分布式流处理框架,基于 Kafka 平台,支持高吞吐量和低延迟的数据流处理。
- Apache Spark Streaming:流处理框架,基于 Spark 平台,支持高吞吐量和低延迟的数据流处理。
2. 流数据的特点包括:
- 数据无限:流数据是源源不断地产生的,没有终点。
- 数据实时:流数据是实时生成的,需要实时处理。
- 数据不可重复:流数据只能被处理一次,不能像批处理数据一样反复处理。
- 数据不可控:流数据的数量和速度是不可控的,需要动态调整处理能力。
3. Stream Groupings 是 Storm 中用于对流数据进行分组的方式,常见的 Stream Groupings 包括:
- Shuffle Grouping:随机分组,将数据随机分配给下游 Bolt。
- Fields Grouping:按字段分组,将具有相同字段值的数据分配给同一下游 Bolt。
- All Grouping:所有数据都分配给所有下游 Bolt。
- Global Grouping:所有数据都分配给一个下游 Bolt。
- None Grouping:不进行分组,将数据平均分配给下游 Bolt。
阅读全文