宜信数据中台建设与演进实践
版权申诉
105 浏览量
更新于2024-07-02
收藏 2.49MB PDF 举报
"宜信数据中台的演进过程和实践主要涵盖了从早期的数据库阶段到数据中台阶段的发展,以及在此过程中对敏捷中间件的实践和数据治理的探索。"
在宜信的数据处理发展历程中,经历了五个阶段:
1. **数据库阶段**:初期基于RDBMS,使用存储过程进行数据处理,主要服务于单一的应用场景。
2. **数据仓库阶段**:随着业务增长,数据处理转向Hive或RDBMS结合ETL工具进行,同时报表和BI系统成为数据展示的主要手段。
3. **数据平台阶段**:存储和计算的多样性出现,支持更多类型的数据处理需求,如Hadoop、Hive等。
4. **数据中台阶段**:重点在于数据的统一、复用和自助服务,旨在提高数据的利用效率和响应速度。
5. **数据治理阶段**:引入数据治理,强调数据资产管理,确保数据的质量和安全性。
在**敏捷中间件实践**中,宜信面临数据时效性慢、需求处理效率低等问题。为解决这些问题,他们提出了**敏捷大数据中间件**的概念,包括dbus数据采集、wormhole实时处理、moonbox计算服务和davinci可视应用等组件。这些中间件旨在实现组件化、平台化、产品化和本地化,以标准化、接口化、配置化和可视化的方式,提供统一化、开放化和管控化的解决方案。通过这种方式,数据处理更加敏捷,门槛降低,迭代速度加快,且支持自助化、自动化和智能化操作,降低了人力和技术成本。
**数据流转架构**包括数据源层、集成层、总线层、流式处理层、存储层、数据服务层和应用层。数据源可以是关系数据库、日志文件或服务终端,通过数据采集平台DBus、消息总线Kafka、流式处理平台Wormhole进行处理,然后存储在如Druid、Kylin、Elasticsearch、MongoDB、Kudu、Cassandra、HBase、HDFS、Hive等不同类型的存储中。计算服务由Moonbox提供,而数据服务和应用则通过Davinci等可视化工具展现给用户。
在**数据治理探索**方面,宜信可能涉及了元数据管理、数据质量控制、数据安全策略、数据生命周期管理等方面,以确保数据的有效性和合规性。
宜信数据中台的进化历程展现了从传统数据处理向敏捷、高效和智能转变的过程,通过构建强大的数据基础设施和治理机制,提升了数据的价值和业务响应能力。
2021-07-02 上传
2024-07-01 上传
2021-06-05 上传
2021-04-08 上传
2022-07-03 上传
2021-08-08 上传
2021-09-03 上传
2021-11-03 上传
2021-10-06 上传
九层之台起于累土
- 粉丝: 371
- 资源: 1449
最新资源
- C语言快速排序算法的实现与应用
- KityFormula 编辑器压缩包功能解析
- 离线搭建Kubernetes 1.17.0集群教程与资源包分享
- Java毕业设计教学平台完整教程与源码
- 综合数据集汇总:浏览记录与市场研究分析
- STM32智能家居控制系统:创新设计与无线通讯
- 深入浅出C++20标准:四大新特性解析
- Real-ESRGAN: 开源项目提升图像超分辨率技术
- 植物大战僵尸杂交版v2.0.88:新元素新挑战
- 掌握数据分析核心模型,预测未来不是梦
- Android平台蓝牙HC-06/08模块数据交互技巧
- Python源码分享:计算100至200之间的所有素数
- 免费视频修复利器:Digital Video Repair
- Chrome浏览器新版本Adblock Plus插件发布
- GifSplitter:Linux下GIF转BMP的核心工具
- Vue.js开发教程:全面学习资源指南