金融业国产分布式数据库选型分工与参与方分析

1 下载量 68 浏览量 更新于2024-08-03 收藏 29KB DOCX 举报
在国产分布式数据库的选型分工过程中,涉及多个关键角色和部门,以确保项目的顺利实施和成功采用。以下是主要参与方及其职责: 1. **内部参与方** - **运维**:负责高可用性、存储、灾备、安全和监控,确保系统的稳定运行。他们需要设计和实施相应的解决方案,同时参与到决策过程中。 - **开发**:关注数据库的功能特性、代码兼容性和可移植性,需要评估技术对现有代码的影响,并可能需要进行相应的代码修改。 - **业务**:评估系统迁移对业务的影响,确保新数据库的选择不会对业务流程造成负面影响。 2. **外部合作方** - **厂商**:提供产品规格书,配合测试工作,并解答技术问题。他们在产品特性和技术实现上具有专业知识,对Pilot Operating Characteristics (POC) 测试起关键作用。 - **同业**:可能分享建设经验和最佳实践,对于参考案例和行业标准有重要作用。 3. **用户方** - **领导**:高层决策者,需要提供对新技术的政策支持和资源调配。 - **项目部门**:运维或开发部门主导,明确各自的侧重点,如运维强调稳定性,开发则注重功能实现。 - **采购部门**:负责遵守采购规定和审计要求,确保技术选择符合成本效益和合规性。 4. **数据库品牌方** - 提供POC资料,理解用户需求,分享成功案例,协助解决测试中的技术问题。 - 在功能、性能和业务测试中,根据具体需求提供技术支持和业务场景适应性。 5. **使用方**(具体到个人,如数据库产品经理): - 分析业务场景,确定数据库选择的标准,包括业务模型、测试计划、迁移策略以及故障切换方案。 - 组织并参与POC测试,根据测试结果形成最终的选型决策。 在国产分布式数据库的选型过程中,各参与方需紧密协作,以确保所选数据库能满足特定金融行业的业务需求,提升系统的稳定性和效率。通过充分沟通与测试,确保技术选择与实际业务无缝对接。
2023-01-08 上传
1. 大型分布式数据库解决方案 企业数据库的数据量很大时候,即使服务器在没有任何压力的情况下,某些复杂的查询 操作都会非常缓慢,影响最终用户的体验;当数据量很大的时候,对数据库的装载与导 出,备份与恢复,结构的调整,索引的调整等都会让数据库停止服务或者高负荷运转很 长时间,影响数据库的可用性和易管理性。 分区表技术 让用户能够把数据分散存放到不同的物理磁盘中,提高这些磁盘的并行处理能力,达到 优化查询性能的目的。但是分区表只能把数据分散到同一机器的不同磁盘中,也就是还 是依赖于一个机器的硬件资源,不能从根本上解决问题。 分布式分区视图 分布式分区视图允许用户将大型表中的数据分散到不同机器的数据库上,用户不需要知 道直接访问哪个基础表而是通过视图访问数据,在开发上有一定的透明性。但是并没有 简化分区数据集的管理、设计。用户使用分区视图时,必须单独创建、管理每个基础表 (在其中定义视图的表),而且必须单独为每个表管理数据完整性约束,管理工作变得非 常复杂。而且还有一些限制,比如不能使用自增列,不能有大数据对象。对于全局查询 并不是并行计算,有时还不如不分区的响应快。 库表散列 在开发基于库表散列的数据库架构,经过数次数据库升级,最终采用按照用户进行的库 表散列,但是这些都是基于自己业务逻辑进行的,没有一个通用的实现。客户在实际应 用中要投入很大的研发成本,面临很大的风险。 面对海量数据库在高并发的应用环境下,仅仅靠提升服务器的硬件配置是不能从根本上 解决问题的,分布式网格集群通过数据分区把数据拆分成更小的部分,分配到不同的服 务器中。查询可以由多个服务器上的CPU、I/O来共同负载,通过各节点并行处理数据来 提高性能;写入时,可以在多个分区数据库中并行写入,显著提升数据库的写入速度。 价值所在 通过分区把数据放到不同的机器中,每次查询可以由多个机器上的CPU,I/O来共同负 载,通过各节点并行处理数据来提高性能。 冗余的数据结构(矩阵列)消除了单点故障,任何一个机器出现故障后都不会影响系 统的正常 运行,数据库集群能提供不中断的服务。 无共享磁盘架构节省了硬件,利用中小型的服务器取代大型服务器大幅降低了硬件的 成本,系统中不再有闲置的资源,降低了系统TCO(总体拥有成本)。 分区把数据分成更小的部分,提高了数据库的可用性和可管理性。 根据业务的需要,访问层和数据层都可以增加,集群具有良好的扩展性。 中间件宿主在数据库中的创新使集群变得更透明,数据库的管理成本,以及面向数据 库的开发成本都最小化。 2. 数据实时复制解决方案 经过分析,大多数应用系统以查询操作为主,造成数据库压力迅速增加的主要因素也 是复杂的查询操作,为了能够得到同一份数据的多个副本来响应用户的查询,SQL Server 提供了复制技术(Replication),主要有合并复制、事务复制、快照复制等,这些技术 可以有效缓解查询的压力。伴随着企业发展的需要,企业对信息实时性要求越来越高, 如股票、航空票务、连锁店甚至是一些服务系统等等,这些系统的用户希望更新的数据 马上就可以查询到。 SQL Server数据库的复制/订阅技术 复制/订阅数技术可以实现读、写分离,数据先写到中心数据库上,写成功即返回给应用 程序;通过复制将数据复制到只读服务器,查询时从只读服务器查。 意味着订阅端的数据和中心数据库的数据不同步,是个异步的过程,所以数据滞后严重 ,数据同步的实时性得不到保障,中心数据库在正常的压力下10秒左右。当访问负荷很 高或者中心数据库在整理数据时,将出现大量DML操作延迟时间比较长或者出现堵塞的情 况; 某些修改操作需要重新建立复制关系并初始化,这期间需要停止数据库的读取服务,规 模越大的应用停止的时间越长,严重影响了数据库的可用性。 结论:复制订阅技术的实时性差,初始化时对系统的影响非常大;在数据复制过程中没 有采用智能的策略,数据的复制速度慢;中心数据库仍然为失败转移集群模式。 构建数据库集群,节点间数据同步都是实时的,数据是一致性的,可以部署为读、写分 离,也可以部署为所有节点可读可写;中间件监测到数据库变化并同步数据,数据同步 完成后客户端才会得到响应,同步过程是并发完成的,所以同步到多个数据库和同步到 一个数据库的时间基本相等;另外同步的过程是在事务的环境下完成的,保证了多份数 据在任何时刻数据的一致性。中间件在同步数据时采用了多项智能同步策略,满足了不 同类型的应用模式,可以同步数据,同步SQL语句,并行执行SQL语句,升级数据库的锁 ,启用数据压缩等。 同步过程是在SQL Server的执行环境中进行的,整个操作是在事务的环境下完成的,解决了数据实时性问 题,满足了用户对数据实时性的要求。 中间件在同步数据时采取了智能同步策略,同步速度更快;提供了多