Mobike大数据平台构建与演进

"Mobike大数据平台建设.pdf 是一份关于Mobike(摩拜单车)大数据平台构建的行业报告，涵盖了从平台介绍、团队职责、发展历程、业务应用、平台架构到平台建设等多个方面，以及对未来的展望。" 在 Mobike 的大数据平台建设中，他们构建了一个强大的基础设施来处理海量的数据。这个平台不仅在全球最大的互联网出行服务平台上运行，而且服务于10多个国家的200多个城市，每天处理超过3000万个订单，涉及700万辆摩拜单车，服务2亿多用户。为了满足这些需求，数据团队负责提供一站式的大数据服务平台，包括大数据存储计算平台和实时搜索服务平台，并确保数据计算逻辑和管理的标准化。 平台经历了快速的发展，从2017年初的10多个节点扩展到同年11月的100多个节点。业务范围广泛，涵盖日志处理、数据仓库、报表、红包车、反作弊、实时计算、车辆调度等多个领域。平台每日处理的数据量巨大，存储规模达到约1PB，日增量约为6TB，每天执行800多个作业，完成400,000多个任务。使用的工具有Hadoop、Kafka、HBase、Hive、Spark、Storm和ELK等。 在平台架构设计上，Mobike采用Logstash、Kafka和Flume-ng进行日志收集，HDFSHA+RMHA/AllonYarn用于离线处理，配合Hive数仓和Spark Mllib进行模型训练。实时处理则依靠Storm和Spark Streaming，同时提供Es实时搜索服务和全链路实时监控。此外，平台还利用Yum源、Puppet、Ansible、Zabbix和Ganglia进行系统管理和监控，其中Puppet用于配置统一管理，Ansible用于自动化部署。 在权限管理和优化方面，Mobike对HDFS进行了约束，规定了目录创建规则并设置了Quota限制。YARN按照作业类型划分了固定的队列，强制使用规范的Jobname，并根据部门和业务分配集群账号。数据权限通过HDFSAcl控制，而Job管理则通过工作流定义，结合GitLab CI实现自动提交。 对于未来，Mobike大数据平台预计会持续发展和优化，可能的方向包括但不限于进一步提升数据处理效率，优化实时计算能力，强化安全性和隐私保护，以及探索更多基于大数据的创新应用，以支持其在全球范围内不断增长的业务需求。