"DBus数据总线平台安装文档:解决数据一致性和实时性的完美方案"
需积分: 0 187 浏览量
更新于2024-01-01
收藏 607KB DOCX 举报
DBus(数据总线)平台是一种解决企业中大量业务数据保存和同步的解决方案。在过去,同步数据的方法有很多种,但都存在诸多问题。为了解决数据一致性和实时性的问题,DBus项目应运而生。
1. 背景
在企业中,大量的业务数据分散在各个业务系统的数据库中。过去,同步数据的方法有很多种,但都存在各种问题。例如,在低峰期抽取数据可能会导致数据的重复抽取和不一致性。另外,使用sqoop从各个系统抽取数据的方法时效性差,一般只能保证T1的时效性。还有一种方案是通过trigger和时间戳来获取增量的变更,但这种方式对业务方的侵入性较大,还会带来性能损失等问题。
2. 解决方案
在了解和考虑了不同实现方式后,DBus项目认为基于日志的解决方案是较为合理的。该解决方案不仅能解决数据一致性和实时性的问题,还能提供消息订阅的方式给下游系统使用。DBus专注于数据的收集和实时数据流计算,通过简单灵活的配置,以无侵入的方式对源端数据进行采集。DBus采用高可用的流式计算框架,将公司各个IT系统在业务流程中产生的数据进行汇聚,并经过处理后转换成统一的JSON数据格式UMS。这样,DBus可以提供给不同下游客户进行订阅和消费,同时充当报表数据源和大数据分析数据源。
3. 功能介绍
DBus平台具有以下功能:
- 数据采集:DBus平台可以对源端业务系统的数据进行采集,通过简单且灵活的配置方式实现无侵入的数据采集。
- 实时数据流计算:DBus平台采用高可用的流式计算框架,能够对采集到的数据进行实时计算和处理。
- 数据汇聚:DBus平台将公司各个IT系统产生的数据进行汇聚,保证数据的一致性和完整性。
- 数据格式转换:DBus将采集到的数据转换为统一的JSON数据格式UMS,便于下游系统的订阅和消费。
- 消息订阅和消费:DBus平台充当报表数据源和大数据分析数据源,提供消息订阅和消费的方式给下游客户使用。
总结来说,DBus(数据总线)平台是一种解决企业大量业务数据保存和同步的解决方案。借助于基于日志的解决方案,DBus可以实现数据一致性和实时性。通过数据采集、实时数据流计算、数据汇聚、数据格式转换和消息订阅等功能,DBus可以提供给下游系统报表数据源和大数据分析数据源。DBus的优势在于简单灵活的配置方式、无侵入性的数据采集、高可用的流式计算框架和统一的JSON数据格式UMS。
2018-10-18 上传
2016-06-07 上传
2021-06-04 上传
2023-07-25 上传
2023-05-28 上传
2023-04-01 上传
2023-05-17 上传
2023-06-08 上传
2023-05-26 上传
![](https://profile-avatar.csdnimg.cn/292bd8aad7544bfe86a6693ad1a5a7c5_shujuelin.jpg!1)
数据指北Ai
- 粉丝: 1w+
- 资源: 2
最新资源
- Hadoop生态系统与MapReduce详解
- MDS系列三相整流桥模块技术规格与特性
- MFC编程:指针与句柄获取全面解析
- LM06:多模4G高速数据模块,支持GSM至TD-LTE
- 使用Gradle与Nexus构建私有仓库
- JAVA编程规范指南:命名规则与文件样式
- EMC VNX5500 存储系统日常维护指南
- 大数据驱动的互联网用户体验深度管理策略
- 改进型Booth算法:32位浮点阵列乘法器的高速设计与算法比较
- H3CNE网络认证重点知识整理
- Linux环境下MongoDB的详细安装教程
- 压缩文法的等价变换与多余规则删除
- BRMS入门指南:JBOSS安装与基础操作详解
- Win7环境下Android开发环境配置全攻略
- SHT10 C语言程序与LCD1602显示实例及精度校准
- 反垃圾邮件技术:现状与前景