点评公司实时计算平台构建与实践

5星 · 超过95%的资源 需积分: 10 74 下载量 115 浏览量 更新于2024-07-21 1 收藏 1.67MB PDF 举报
“细细品味架构_第1期(实时计算在点评)”主要探讨了实时计算在点评(可能是大众点评网)的应用,以及相关的技术实践和行业趋势。文章内容包括实时计算的使用场景、点评如何构建实时计算平台、Storm的基础知识和可靠性保障、实时计算平台的扩展知识,如腾讯的实时计算平台、流式处理框架(Storm、Spark、Samza)的对比、SLA在Web服务中的应用、Storm的消息传输机制,以及1号店的流式计算解决方案和系统吞吐量的概念。 1. **实时计算在点评的使用场景**: - 在点评网这样的平台上,实时计算可能用于快速处理和分析用户行为数据,如点击流分析、实时推荐、热门商品排名更新、用户评价的即时处理等,以提升用户体验和运营效率。 2. **构建实时计算平台**: - 文章可能详细介绍了点评网如何整合实时计算、准实时计算和离线计算,实现任务的统一管理和监控,这通常涉及平台的高可用架构设计,包括容错机制、负载均衡和资源调度策略。 3. **Storm基础知识**: - Storm是一个分布式实时计算系统,它能够处理无界数据流,并保证每个数据元至少被处理一次。文章可能简述了Storm的基本原理、组件和配置。 4. **业务运行可靠性**: - 确保业务运行可靠性可能涉及到Storm的容错机制,例如,通过检查点和故障恢复策略来保证数据处理的正确性,以及监控和报警系统来及时发现并解决问题。 5. **知识扩展**: - 腾讯实时计算平台的介绍,包括其技术背景、实际意义、平台构成和面临的挑战,提供了不同公司对实时计算的实践对比。 - 流式大数据处理框架的比较,如Storm、Spark和Samza的异同,以及各自的适用场景,帮助读者理解各种框架的优缺点。 6. **SLA(服务水平协议)在Web服务中的应用**: - SLA是衡量服务质量的重要指标,文章可能讨论了SLA的定义、发展,以及如何通过SLA来保证Web服务的稳定性和性能。 7. **Storm的消息传输机制**: - Storm采用Netty替代ZMQ的原因,以及Netty的架构优势,可能有助于理解Storm如何高效地处理和传输数据。 8. **1号店的流式计算解决方案**: - 1号店在电商峰值期间如何利用流式计算提高处理能力,以及他们在实时计算领域的创新和成就。 9. **系统吞吐量(TPS)**: - TPS是衡量系统处理能力的关键指标,文章可能涵盖了TPS的计算方法、评估标准以及如何优化系统以提高TPS。 该期“细细品味架构”深入探讨了实时计算在点评网的实践,以及相关技术和行业洞见,为大数据开发人员提供了丰富的学习资料。