微众银行的NebulaGraph实践:高可用与性能提升
140 浏览量
更新于2024-08-27
收藏 1.06MB PDF 举报
"微众银行在使用图数据库解决数据血缘问题时,经历了从JanusGraph到NebulaGraph的转变。JanusGraph由于依赖组件多、数据存储复杂以及高可用性挑战,使得数据写入性能不佳。相比之下,NebulaGraph在单节点低配机器上就能快速完成大量数据导入,且具有较好的查询性能。此外,NebulaGraph的高可用和容灾架构符合微众银行的严格要求,并提供了与大数据平台整合的工具,如Connector和Exchange。WeDataSphere架构中,数据从应用层经过数据交换层到达图数据库系统,覆盖批量、流式和在线数据处理。"
在微众银行的IT实践中,图数据库被用于数据治理,特别是数据血缘的追踪。起初,他们采用的是JanusGraph,一个基于HBase和Elasticsearch的图数据库解决方案。然而,JanusGraph的复杂性(多个依赖组件)和性能问题(数据写入慢)暴露出来,尤其是在处理大量数据时,如每天60万个点和百万级边,耗时约5小时。这种延迟影响了业务对实时血缘数据的需求。
为了解决这些问题,微众银行转向了NebulaGraph。NebulaGraph的优势在于其高效的写入性能,能够在低配置的单节点上迅速完成大规模数据导入,同时满足了微众银行对于查询性能的基本需求。更重要的是,NebulaGraph的架构设计在高可用性和容灾方面表现出色,符合银行严格的架构规范。
微众银行的大数据平台策略还包括与其他开源组件的集成,如NebulaGraph提供的Connector和Exchange,这些工具能够无缝对接大数据生态系统,增强了平台的整体功能。WeDataSphere架构描绘了一个典型的数据处理流程,数据从上层的应用层经由数据交换工具流向底层的图数据库,涵盖不同类型的实时和非实时数据处理需求。
在金融行业中,图数据库的应用场景广泛,包括风险评估、欺诈检测、客户关系管理等。微众银行选择NebulaGraph不仅解决了性能和高可用性问题,还为构建一个完整、高效的数据流生态打下了坚实的基础。通过这种方式,微众银行能够更好地利用数据血缘信息,提升决策效率和风险管理能力。
2023-08-26 上传
2021-03-03 上传
2022-05-11 上传
2022-05-12 上传
点击了解资源详情
点击了解资源详情
点击了解资源详情
点击了解资源详情
点击了解资源详情
weixin_38520275
- 粉丝: 7
- 资源: 915
最新资源
- 前端协作项目:发布猜图游戏功能与待修复事项
- Spring框架REST服务开发实践指南
- ALU课设实现基础与高级运算功能
- 深入了解STK:C++音频信号处理综合工具套件
- 华中科技大学电信学院软件无线电实验资料汇总
- CGSN数据解析与集成验证工具集:Python和Shell脚本
- Java实现的远程视频会议系统开发教程
- Change-OEM: 用Java修改Windows OEM信息与Logo
- cmnd:文本到远程API的桥接平台开发
- 解决BIOS刷写错误28:PRR.exe的应用与效果
- 深度学习对抗攻击库:adversarial_robustness_toolbox 1.10.0
- Win7系统CP2102驱动下载与安装指南
- 深入理解Java中的函数式编程技巧
- GY-906 MLX90614ESF传感器模块温度采集应用资料
- Adversarial Robustness Toolbox 1.15.1 工具包安装教程
- GNU Radio的供应商中立SDR开发包:gr-sdr介绍