微众银行的NebulaGraph实践:高可用与性能提升
150 浏览量
更新于2024-08-27
收藏 1.06MB PDF 举报
"微众银行在使用图数据库解决数据血缘问题时,经历了从JanusGraph到NebulaGraph的转变。JanusGraph由于依赖组件多、数据存储复杂以及高可用性挑战,使得数据写入性能不佳。相比之下,NebulaGraph在单节点低配机器上就能快速完成大量数据导入,且具有较好的查询性能。此外,NebulaGraph的高可用和容灾架构符合微众银行的严格要求,并提供了与大数据平台整合的工具,如Connector和Exchange。WeDataSphere架构中,数据从应用层经过数据交换层到达图数据库系统,覆盖批量、流式和在线数据处理。"
在微众银行的IT实践中,图数据库被用于数据治理,特别是数据血缘的追踪。起初,他们采用的是JanusGraph,一个基于HBase和Elasticsearch的图数据库解决方案。然而,JanusGraph的复杂性(多个依赖组件)和性能问题(数据写入慢)暴露出来,尤其是在处理大量数据时,如每天60万个点和百万级边,耗时约5小时。这种延迟影响了业务对实时血缘数据的需求。
为了解决这些问题,微众银行转向了NebulaGraph。NebulaGraph的优势在于其高效的写入性能,能够在低配置的单节点上迅速完成大规模数据导入,同时满足了微众银行对于查询性能的基本需求。更重要的是,NebulaGraph的架构设计在高可用性和容灾方面表现出色,符合银行严格的架构规范。
微众银行的大数据平台策略还包括与其他开源组件的集成,如NebulaGraph提供的Connector和Exchange,这些工具能够无缝对接大数据生态系统,增强了平台的整体功能。WeDataSphere架构描绘了一个典型的数据处理流程,数据从上层的应用层经由数据交换工具流向底层的图数据库,涵盖不同类型的实时和非实时数据处理需求。
在金融行业中,图数据库的应用场景广泛,包括风险评估、欺诈检测、客户关系管理等。微众银行选择NebulaGraph不仅解决了性能和高可用性问题,还为构建一个完整、高效的数据流生态打下了坚实的基础。通过这种方式,微众银行能够更好地利用数据血缘信息,提升决策效率和风险管理能力。
2023-08-26 上传
2021-03-03 上传
2023-09-22 上传
2023-04-26 上传
2023-08-22 上传
2023-04-26 上传
2023-09-08 上传
2023-05-13 上传
2023-06-10 上传
weixin_38520275
- 粉丝: 7
- 资源: 916
最新资源
- C++多态实现机制详解:虚函数与早期绑定
- Java多线程与异常处理详解
- 校园导游系统:无向图实现最短路径探索
- SQL2005彻底删除指南:避免重装失败
- GTD时间管理法:提升效率与组织生活的关键
- Python进制转换全攻略:从10进制到16进制
- 商丘物流业区位优势探究:发展战略与机遇
- C语言实训:简单计算器程序设计
- Oracle SQL命令大全:用户管理、权限操作与查询
- Struts2配置详解与示例
- C#编程规范与最佳实践
- C语言面试常见问题解析
- 超声波测距技术详解:电路与程序设计
- 反激开关电源设计:UC3844与TL431优化稳压
- Cisco路由器配置全攻略
- SQLServer 2005 CTE递归教程:创建员工层级结构