微众银行的NebulaGraph实践:高可用与性能提升

0 下载量 140 浏览量 更新于2024-08-27 收藏 1.06MB PDF 举报
"微众银行在使用图数据库解决数据血缘问题时,经历了从JanusGraph到NebulaGraph的转变。JanusGraph由于依赖组件多、数据存储复杂以及高可用性挑战,使得数据写入性能不佳。相比之下,NebulaGraph在单节点低配机器上就能快速完成大量数据导入,且具有较好的查询性能。此外,NebulaGraph的高可用和容灾架构符合微众银行的严格要求,并提供了与大数据平台整合的工具,如Connector和Exchange。WeDataSphere架构中,数据从应用层经过数据交换层到达图数据库系统,覆盖批量、流式和在线数据处理。" 在微众银行的IT实践中,图数据库被用于数据治理,特别是数据血缘的追踪。起初,他们采用的是JanusGraph,一个基于HBase和Elasticsearch的图数据库解决方案。然而,JanusGraph的复杂性(多个依赖组件)和性能问题(数据写入慢)暴露出来,尤其是在处理大量数据时,如每天60万个点和百万级边,耗时约5小时。这种延迟影响了业务对实时血缘数据的需求。 为了解决这些问题,微众银行转向了NebulaGraph。NebulaGraph的优势在于其高效的写入性能,能够在低配置的单节点上迅速完成大规模数据导入,同时满足了微众银行对于查询性能的基本需求。更重要的是,NebulaGraph的架构设计在高可用性和容灾方面表现出色,符合银行严格的架构规范。 微众银行的大数据平台策略还包括与其他开源组件的集成,如NebulaGraph提供的Connector和Exchange,这些工具能够无缝对接大数据生态系统,增强了平台的整体功能。WeDataSphere架构描绘了一个典型的数据处理流程,数据从上层的应用层经由数据交换工具流向底层的图数据库,涵盖不同类型的实时和非实时数据处理需求。 在金融行业中,图数据库的应用场景广泛,包括风险评估、欺诈检测、客户关系管理等。微众银行选择NebulaGraph不仅解决了性能和高可用性问题,还为构建一个完整、高效的数据流生态打下了坚实的基础。通过这种方式,微众银行能够更好地利用数据血缘信息,提升决策效率和风险管理能力。