Mobike大数据平台构建与演进
版权申诉
136 浏览量
更新于2024-06-29
收藏 1.6MB PDF 举报
"Mobike大数据平台建设.pdf 是一份关于Mobike(摩拜单车)大数据平台构建的行业报告,涵盖了从平台介绍、团队职责、发展历程、业务应用、平台架构到平台建设等多个方面,以及对未来的展望。"
在 Mobike 的大数据平台建设中,他们构建了一个强大的基础设施来处理海量的数据。这个平台不仅在全球最大的互联网出行服务平台上运行,而且服务于10多个国家的200多个城市,每天处理超过3000万个订单,涉及700万辆摩拜单车,服务2亿多用户。为了满足这些需求,数据团队负责提供一站式的大数据服务平台,包括大数据存储计算平台和实时搜索服务平台,并确保数据计算逻辑和管理的标准化。
平台经历了快速的发展,从2017年初的10多个节点扩展到同年11月的100多个节点。业务范围广泛,涵盖日志处理、数据仓库、报表、红包车、反作弊、实时计算、车辆调度等多个领域。平台每日处理的数据量巨大,存储规模达到约1PB,日增量约为6TB,每天执行800多个作业,完成400,000多个任务。使用的工具有Hadoop、Kafka、HBase、Hive、Spark、Storm和ELK等。
在平台架构设计上,Mobike采用Logstash、Kafka和Flume-ng进行日志收集,HDFSHA+RMHA/AllonYarn用于离线处理,配合Hive数仓和Spark Mllib进行模型训练。实时处理则依靠Storm和Spark Streaming,同时提供Es实时搜索服务和全链路实时监控。此外,平台还利用Yum源、Puppet、Ansible、Zabbix和Ganglia进行系统管理和监控,其中Puppet用于配置统一管理,Ansible用于自动化部署。
在权限管理和优化方面,Mobike对HDFS进行了约束,规定了目录创建规则并设置了Quota限制。YARN按照作业类型划分了固定的队列,强制使用规范的Jobname,并根据部门和业务分配集群账号。数据权限通过HDFSAcl控制,而Job管理则通过工作流定义,结合GitLab CI实现自动提交。
对于未来,Mobike大数据平台预计会持续发展和优化,可能的方向包括但不限于进一步提升数据处理效率,优化实时计算能力,强化安全性和隐私保护,以及探索更多基于大数据的创新应用,以支持其在全球范围内不断增长的业务需求。
2018-02-11 上传
2019-09-11 上传
2020-03-23 上传
2019-07-11 上传
2022-05-24 上传
2023-10-21 上传
易小侠
- 粉丝: 6576
- 资源: 9万+
最新资源
- 掌握Jive for Android SDK:示例应用的使用指南
- Python中的贝叶斯建模与概率编程指南
- 自动化NBA球员统计分析与电子邮件报告工具
- 下载安卓购物经理带源代码完整项目
- 图片压缩包中的内容解密
- C++基础教程视频-数据类型与运算符详解
- 探索Java中的曼德布罗图形绘制
- VTK9.3.0 64位SDK包发布,图像处理开发利器
- 自导向运载平台的行业设计方案解读
- 自定义 Datadog 代理检查:Python 实现与应用
- 基于Python实现的商品推荐系统源码与项目说明
- PMing繁体版字体下载,设计师必备素材
- 软件工程餐厅项目存储库:Java语言实践
- 康佳LED55R6000U电视机固件升级指南
- Sublime Text状态栏插件:ShowOpenFiles功能详解
- 一站式部署thinksns社交系统,小白轻松上手