点评公司实时计算平台构建与实践
5星 · 超过95%的资源 需积分: 10 115 浏览量
更新于2024-07-21
1
收藏 1.67MB PDF 举报
“细细品味架构_第1期(实时计算在点评)”主要探讨了实时计算在点评(可能是大众点评网)的应用,以及相关的技术实践和行业趋势。文章内容包括实时计算的使用场景、点评如何构建实时计算平台、Storm的基础知识和可靠性保障、实时计算平台的扩展知识,如腾讯的实时计算平台、流式处理框架(Storm、Spark、Samza)的对比、SLA在Web服务中的应用、Storm的消息传输机制,以及1号店的流式计算解决方案和系统吞吐量的概念。
1. **实时计算在点评的使用场景**:
- 在点评网这样的平台上,实时计算可能用于快速处理和分析用户行为数据,如点击流分析、实时推荐、热门商品排名更新、用户评价的即时处理等,以提升用户体验和运营效率。
2. **构建实时计算平台**:
- 文章可能详细介绍了点评网如何整合实时计算、准实时计算和离线计算,实现任务的统一管理和监控,这通常涉及平台的高可用架构设计,包括容错机制、负载均衡和资源调度策略。
3. **Storm基础知识**:
- Storm是一个分布式实时计算系统,它能够处理无界数据流,并保证每个数据元至少被处理一次。文章可能简述了Storm的基本原理、组件和配置。
4. **业务运行可靠性**:
- 确保业务运行可靠性可能涉及到Storm的容错机制,例如,通过检查点和故障恢复策略来保证数据处理的正确性,以及监控和报警系统来及时发现并解决问题。
5. **知识扩展**:
- 腾讯实时计算平台的介绍,包括其技术背景、实际意义、平台构成和面临的挑战,提供了不同公司对实时计算的实践对比。
- 流式大数据处理框架的比较,如Storm、Spark和Samza的异同,以及各自的适用场景,帮助读者理解各种框架的优缺点。
6. **SLA(服务水平协议)在Web服务中的应用**:
- SLA是衡量服务质量的重要指标,文章可能讨论了SLA的定义、发展,以及如何通过SLA来保证Web服务的稳定性和性能。
7. **Storm的消息传输机制**:
- Storm采用Netty替代ZMQ的原因,以及Netty的架构优势,可能有助于理解Storm如何高效地处理和传输数据。
8. **1号店的流式计算解决方案**:
- 1号店在电商峰值期间如何利用流式计算提高处理能力,以及他们在实时计算领域的创新和成就。
9. **系统吞吐量(TPS)**:
- TPS是衡量系统处理能力的关键指标,文章可能涵盖了TPS的计算方法、评估标准以及如何优化系统以提高TPS。
该期“细细品味架构”深入探讨了实时计算在点评网的实践,以及相关技术和行业洞见,为大数据开发人员提供了丰富的学习资料。
2017-10-28 上传
2015-10-26 上传
2022-03-20 上传
2022-03-20 上传
2022-03-20 上传
2015-05-28 上传
2017-11-16 上传
2017-10-29 上传
2017-10-29 上传
虾皮
- 粉丝: 15
- 资源: 97
最新资源
- MATLAB实现小波阈值去噪:Visushrink硬软算法对比
- 易语言实现画板图像缩放功能教程
- 大模型推荐系统: 优化算法与模型压缩技术
- Stancy: 静态文件驱动的简单RESTful API与前端框架集成
- 掌握Java全文搜索:深入Apache Lucene开源系统
- 19计应19田超的Python7-1试题整理
- 易语言实现多线程网络时间同步源码解析
- 人工智能大模型学习与实践指南
- 掌握Markdown:从基础到高级技巧解析
- JS-PizzaStore: JS应用程序模拟披萨递送服务
- CAMV开源XML编辑器:编辑、验证、设计及架构工具集
- 医学免疫学情景化自动生成考题系统
- 易语言实现多语言界面编程教程
- MATLAB实现16种回归算法在数据挖掘中的应用
- ***内容构建指南:深入HTML与LaTeX
- Python实现维基百科“历史上的今天”数据抓取教程