饿了么大数据平台:建设历程、挑战与技术选型
![](https://csdnimg.cn/release/wenkucmsfe/public/img/starY.0159711c.png)
饿了么大数据平台分享由毕洪宇主讲,于2017年8月19日举行,该演讲主要探讨了饿了么公司在大数据平台建设中的经验和挑战。在2015年5月,饿了么成立专门的大数据团队,致力于提供30分钟送达的美好生活服务。他们的大数据平台涵盖了离线计算、实时计算以及逻辑架构和数据流向的设计。
在大数据平台现状部分,平台处理的数据量庞大,离线计算集群规模达到100至1000个节点,每天处理的不考虑副本的数据达到100TB,拥有超过9万个表和400个报表,同时执行着2万个MapReduce和Spark任务,计算数据吞吐量高达3PB/day。实时计算部分,集群规模在10到100个节点之间,支持高吞吐率的数据处理,包括Kafka每秒处理1M条记录。
面对的主要挑战包括人员不足、工作量大以及如何实现个性化服务(即“千人千面”),他们采取“Fire and Forget”的策略来提高效率和质量,同时致力于平台的稳定性和持续扩展。在技术选型上,饿了么团队根据不同的场景和需求进行了细致的权衡:
1. 对于海量数据的Ad-hoc查询,Presto因其良好的性能和稳定性被考虑,尽管团队对其了解稍显熟练;相比之下,Spark SQL虽然在社区支持和使用成本上具有优势,但在稳定性和学习成本上稍逊一筹。
2. 在海量存储和批处理需求上,HBase和Cassandra都被评估过,HBase在国内社区更活跃,而Cassandra在国外社区更为成熟,Cassandra的运维成本低且功能更易用,成为优选之一。
3. 对于实时计算引擎,团队选择了Storm作为首选,其次是Spark Streaming,而Flink则位列最后,Spark Streaming在社区支持上占据优势。
饿了么大数据平台的构建过程中,团队注重了技术的选择和优化,以适应不断增长的数据需求和业务挑战,同时也在探索如何在有限的资源下实现高效、稳定和灵活的数据处理能力。通过这些分享,我们可以了解到一个大型互联网公司如何运用大数据技术驱动业务发展。
2019-05-14 上传
2023-08-06 上传
2023-07-11 上传
2024-04-03 上传
2023-12-21 上传
2024-01-03 上传
2023-09-29 上传
![](https://profile-avatar.csdnimg.cn/6eac11f488af48fda3df2cfc13a98f78_erjin_ren.jpg!1)
Erjin_Ren
- 粉丝: 13
- 资源: 17
最新资源
- 多模态联合稀疏表示在视频目标跟踪中的应用
- Kubernetes资源管控与Gardener开源软件实践解析
- MPI集群监控与负载平衡策略
- 自动化PHP安全漏洞检测:静态代码分析与数据流方法
- 青苔数据CEO程永:技术生态与阿里云开放创新
- 制造业转型: HyperX引领企业上云策略
- 赵维五分享:航空工业电子采购上云实战与运维策略
- 单片机控制的LED点阵显示屏设计及其实现
- 驻云科技李俊涛:AI驱动的云上服务新趋势与挑战
- 6LoWPAN物联网边界路由器:设计与实现
- 猩便利工程师仲小玉:Terraform云资源管理最佳实践与团队协作
- 类差分度改进的互信息特征选择提升文本分类性能
- VERITAS与阿里云合作的混合云转型与数据保护方案
- 云制造中的生产线仿真模型设计与虚拟化研究
- 汪洋在PostgresChina2018分享:高可用 PostgreSQL 工具与架构设计
- 2018 PostgresChina大会:阿里云时空引擎Ganos在PostgreSQL中的创新应用与多模型存储