没有合适的资源?快使用搜索试试~ 我知道了~
首页一线架构师云平台实战:从规划设计到全生命周期实践
一线架构师云平台实战:从规划设计到全生命周期实践
5星 · 超过95%的资源 需积分: 14 6 下载量 140 浏览量
更新于2024-07-16
收藏 7.16MB PDF 举报
“Cloud来了!云架构践行实录电子杂志合集.pdf”主要涵盖了云架构在企业中的实际应用,包括规划设计、实施交付、运维开发等多个环节的全生命周期最佳实践。这本电子杂志汇集了十位一线架构师的经验分享,涉及金融、轨道、证券等多个行业。
1. 虚拟化资源池:作为云数据中心的基础,虚拟化资源池能够提高硬件资源的利用率和灵活性。中国民生银行的崔增顺和福建省农村信用合作社的陈永发分别介绍了生产环境的虚拟化资源池架构设计和基于云计算、PowerHA技术的全系统同城容灾建设。通过虚拟化技术,企业能够构建高效、弹性的IT基础设施,提升灾难恢复能力。
2. 高可用与容灾:江西省农商银行的程祖桥探讨了基于IBM Power平台的四化设计,强调了系统的高可用性建设。聂奎甲分享了某证券公司如何通过云化基础架构提升灾难抵御能力和数据保护水平,确保在高峰交易期间的稳定运行。
3. 云管理平台:中国电信系统集成公司的郑金辉指出,好的云管平台应符合企业实际需求。北京中铁信科技有限公司的杜雅红和浙商银行的陆铮分别介绍了PowerVC云管平台设计方案和某银行私有云平台建设,展示了如何通过自动化、服务化管理实现资源优化。
4. 混合云:中国光大银行的解培强调,混合云建设的关键在于企业的云管理和使用能力。邓毓分享了Power和X86平台在PaaS层面上的和谐共存,展示了如何在不同架构间灵活调度资源。孙佳则讨论了面向金融行业的云平台项目,包括如何构建两地三中心容灾私有云,实现资源全局分配和扩展。
5. 数据中心与云平台:长春理想科技有限公司的崔哲详细阐述了从物理服务器架构到Power云平台的转型实践,助力轨道行业管理和扩展大型数据中心。同时,兴业数字金融服务(上海)股份有限公司的孙佳介绍了面向金融行业的云平台建设,提供了纳管异构虚拟化平台、构建私有云的案例。
这些内容为企业云架构的实践提供了丰富的参考和启示,不仅涵盖了云技术的实际应用,也包含了应对行业特定挑战的策略,对于理解并推动企业云转型具有极高的价值。
摘要
自2006年江西省农商行实现数据大集中
以来,业务稳步攀升,数据运行风险压力也
随之增加,如何全面提升系统灾难抵御能力
和数据保护水平,是我行重点工作,也是保
障各业务系统运行连续性的基础。2013年流
程银行改造后,我行对数据中心信息系统架
构进行了优化升级,同时对业务连续性保障
提出了更高要求。为建立符合当前信息系统
架构的同城灾备中心,扩大容灾保护的系统
类别和范围,结合银监会关于商业银行业务
连续性监管的指引意见,我行开始对灾备中
心系统进行全面建设,即全系统同城灾备中
心系统建设,历时两年,2016年完成了所有交
易类系统的同城灾备建设,实现了全业务系
统应用容灾,为我行业务连续性保障奠定了
技术壁垒。项目实施商IBM公司,负责硬件安
装及基础环境搭建。我社主要负责业务停业
时间安排、数据迁移及关键技术运用。
全系统同城容灾建设分成两部分,核心
业务系统同城容灾建设部分,已建立较完备
的两地三中心MGM(Metro Mirro and Global
Mirro)同城容灾架构,搭建3主机3存储的
POWERHA高可用性核心系统平台,本地两
存储通采用基于DS8880的Metro Mirror技术
实现核心类系统数据实时传输,生产、同城
灾备存储采用Global Mirror技术实现准实时
传输,RPO和RTO满足要求;外围类系统同城
容灾建设部分,数据层面,采用SVC Vdisk
Mirror技术实现本地两份数据保护,采用SVC
Metro Mirror技术实现远程数据同步复制;主
机层面,采用PowerVM技术快速搭建灾备系
统,采用PowerHA XD进行应用快速切换;应
用层面,应用接入基于F5/WAS等负载均衡
技术,实现用户访问有序分发至生产、灾备
中心,保障了生产、灾备中心的平台资源充
分利用,达到了数据中心应用双活建设目标
。同时试点DB2 Purescale技术,为全系统双
活建设提供准备。
项目背景
随着江西省农商行省级数据中心建设的
不断深入,以及信息化系统整合趋势的不断
发展,江西省农商行省级数据中心部署了全
省大量业务系统。特别是2013年流程银行改
造后,江西省农商行信息系统架构发生较大
变化,形成了前台集中受理,后台集中处理
模式,业务处理效率极大提升,于此同时,对
数据业务连续性与数据安全提出了更严格要求。因此,江
西农商行充分借鉴学习国有大行与国内外商业银行的宝
贵经验,综合考量了各重要业务系统的可靠性与风险程
度,依据江西农商行与各级监管机构的考核要求,参照“两
地三中心”的灾备体系建设模式,按照系统层次级别逐步
开展全系统同城容灾建设与双活试点。
一、 核心业务系统建设背景
自2006年实现数据大集中以来,随着数据的高度集
中,风险压力也随之增加,保障客户数据安全成为迫在眉
睫的难题,同时随着我行业务量稳步增长及科技发展,监
管部门要求也日趋严格,核心业务系统容灾建设经历了三
个阶段。
第一阶段业务量少,核心业务系统采用的是两台P570
小机,于本地搭建了基于MIMIX技术的容灾,并且没有外置
存储。由于MIMIX基于日志方式做数据复制,每到季度结息
与年终结算,数据延迟相差几个小时,日常维护量也非常
大,这对于业务量较少的情况,可以勉强满足要求。
随着我行业务稳步增长,核心业务系统进入了第二阶
段建设,核心业务系统采用了一台P780与原P570,搭建了
基于PowerHA技术的同城容灾,数据层面采用了DS8700
的Metro Mirror技术实现了生产、同城灾备数据实时传输,
达到了同城数据级容灾。相对第一阶段,技术上、性能上提
升几倍,但随着客户量稳步增长及业务连续性要求,此架
构仍存在许多缺陷,因为一旦核心业务系统宕机,没有可
用备机切换。
核心业务系统第三阶段建设,核心业务系统采用了两
台E870主机、两台DS8880存储,建立了较完备的两地三中
心MGM(Metro Mirro and Global Mirro)同城容灾架构,搭
建3主机3存储的POWERHA高可用性核心系统平台,本地
两存储通采用基于DS8880的Metro Mirror技术实现核心类
系统数据实时传输,生产、灾备存储采用Global Mirror技术
实现准实时传输。
二、 外围类系统建设背景
随着业务的快速发展,信息系统不断发展壮大,如何
进一步优化容灾系统,完善容灾备份机制,提高灾难抵御
能力,以保障各业务系统的持续高效运行愈发显得尤为重
要。
1 、 X86平台的交易类系统存储高可用保护缺陷。
我行存储优化升级后,构建基于SVC的存储虚拟化平
台,消除存储的单点故障隐患,实现了Power平台交易类
和管理类系统的数据整合和存储高可用保护。但X86平台,
部分交易类系统还是用内置硬盘存储数据,存在较大的数
据安全隐患,一旦内置硬盘故障,将会导致业务较长时间
的停顿风险。因此急需尽快利用SVC存储虚拟化平台完成
这部分交易类系统的存储高可用保护。
2 、 实现全业务系统应用容灾,增强业务连续性保障
能力。
我社现已完成的同城容灾建设包括核心系统的应用
级容灾和交易类系统的数据备份级容灾。灾备中心缺少外
围交易类系统主机平台,无法实现在灾备中心恢复系统业
务。亟需对同城容灾系统进行升级优化,搭建灾备中心外
围系统平台,建立生产与灾备中心间的外围系统数据实时
传输复制,实现所有系统业务的容灾切换可用,进而达到
全业务系统的应用级容灾,进一步提升灾难抵御能力。
3 、 为双活数据中心建设目标打下坚实基础
全系统同城灾备中心与Purescale试点的实现能够为
建设双活数据中心的最终目标打下坚实基础。从而改变灾
备中心职能,淡化主备数据中心差异,让双数据中心均衡
承担业务,充分利用设备,提升系统高可用水平。进一步提
升各重要业务系统的RPO/RTO能力,满足我社业务快速
跨步发展需要。
项目解决方案
充分借鉴学习国有大行与国内外商业银行的宝贵经
验,综合考量了各重要业务系统的可靠性与风险程度,依
据江西农商行与各级监管机构的考核要求,参照“两地三
中心”的灾备体系建设模式,采用SVC Metro Mirror、Vdisk
Mirror 、DS8880 Multiple Target MGM等存储虚拟化技术、
PowerHA技术、PowerVM、Vmware等云技术,按照系统层
次级别逐步开展全系统同城容灾建设,进行双活试点。
一、 核心业务系统容灾建设方案
通过存储Metro Mirror技术实现艾溪湖数据中心中主
备机数据保持一致;通过Multiple Target MGM高可用性解
决方案实现艾溪湖数据中心与青山湖数据中心双中心间
同城数据容灾,通过POWERHA+IASP技术实现主机切换。
1 、 架构先进性与技术关键点
(1)考虑核心的数据安全及高效率读写要求,经综合
考量,我行采用了最新、最先进的DS8880高性能存储,利
用业界最先进的Multiple Target MGM技术实现了核心同
城容灾建设。架构优势如下:
可搭建三地三中心架构(本地两份数据、同城灾备一
份数据、第三方中心一份),并支持存储三活,即三台存储
实时同步。以前架构只支持两地三中心建设,并且不支持
生产、灾备存储双活。
架构灵活、可靠。以前架构只支持源端到一个目标端
复制,假如有H1、H2、H3站点,H1-H2—H3只能搭建MGM
架构,即H1-H2为Metro Mirror复制,H2-H3为Global Mirror
复制。现在架构可灵活调整,支持源端到两个目标端复制,
即源端H1与H2、H3都可搭建Metro Mirror复制或一个
Metro Mirror与一个Global Mirror复制。
稳定性高、数据处理强。DS8880高端存储在容灾建设
架构中,在保持数据一致性下,对IO处理也是较先进的,例
下图DS8880 Metro Mirror、Global Mirror展示了写IO处理
过程。
(2)主机切换软件选型
城商行使用基于AS400的核心业务系统,主流切换软
件是PowerHA+IASP与MIMIX,此前我行也使用过MIMIX,运
维工作量大,数据一致性延时严重,切换不确定。随着业务
增长,我行果断放弃了该技术,它们各有优势,详见下表:
2 、 外围类系统容灾建设方案
外围类系统目前采取同城数据级容灾模式,通过TSM
端到端复制功能,每日向同城灾备中心传输数据。但灾备
中心缺少主机,无法恢复外围系统业务,而且备份数据级
灾备模式也限制了恢复业务的速度。
同时,生产中心外围交易系统经过存储整合升级,后
台使用基于SVC的存储级别镜像,所有交易业务系统在本
地均有双份后台存储数据,数据达到本地实时保护级别,
但仍缺少同城容灾系统。
基于此,我行采用基于SVC的Vdisk Mirror及Metro
Mirror技术实现交易类业务系统数据实时传输,部署同城
灾备中心主机系统平台,利用虚拟化技术,建立虚拟分区,
部署全套外围交易业务系统,实现外围交易系统的同城应
用级别容灾。
同城灾备外围交易系统当前架构图如下:
(1)X86平台同城灾备系统建设技术方案
X86平台同城灾备通过SVC stretch cluster方式实现存
储级别的双活是X86平台实现双活灾备系统的第一阶段。
升级优化后的同城灾备外围交易系统X86平台架构如
下:
升级后,通过SVC Stretch Cluster技术实现跨中心的数
据双活方案。对于服务器来说,逻辑层只看到一份数据,这
份逻辑数据对应两份物理拷贝,通过SVC同步写到生产中
心和同城容灾中的高端存储之上,生产中心和同城容灾中
心的服务器看到同一份数据,实现数据级别的同城容灾。
X86平台结合VMware跨中心集群部署方案,可实现应
用级别的同城容灾。VMware支持并行集群的应用可实现
跨中心双活,单机版的应用可任意部署与生产中心或同城
容灾中心,并根据需要在中心之间实现飘移。此方案需要
打通生产中心与同城容灾中心的二层网络,使VMware能
同时管理生产中心和同城容灾中心的服务器。
(2)Power平台同城灾备系统建设技术方案
同城灾备外围交易系统Power平台架构如下:
(3)PureAS平台同城灾备系统建设技术方案
在多点之间数据同步方面,将PureAS上的涉及数据处
理的GPFS与DB2服务器下移至Power平台,因此PureAS平
台数据级容灾方式与Power平台一致,如下图所示:
目前PureApplication上运行6个中间件平台(含WAS、
DB2、BPM、MQ、ESB、WODM、ECM、信贷等)服务,Active
Standby方案就是将运行在上面的中间件通过集群技术
实现多数据中心负载均衡,利用新购的一台PureAS(同时
可作为测试开发使用)部分资源作为同城灾备主机,通过
跨RACK应用集群部署的方式实现PureAS平台应用级别容
灾。PureAS平台应用级容灾建设架构图如下:
(4)Purescale测试与试点的技术方案
利用DB2数据库的PureScale群集技术可以在对应用
透明的场景下,实现数据库的高扩展性和高可用性。未来
江西农商行的外围系统的数据库会逐步从当前的单台服
务器为主生产服务器辅以一台服务器为冷备数据库服务
器的模式,转变到pureScale数据库多活群集模式。即外围
应用系统的数据库将统一规划,由一个或若干个pureS-
cale数据库群集支撑,其中每个pureScale群集都包含分布
于主生产机房和灾备机房的服务器,在正常生产时,这些
服务器同时提供数据服务,实现负载均衡;在故障发生时,
部分节点故障并不影响整个群集对外提供服务,实现系统
的高可用性。在数据库这个层面,双活群集可以实现灾备
场景中的RPO等于零,RTO近似于零(发生故障的数据节
点在宕机时正在修改的那一部分数据将被冻结一小段时
间,正常节点访问其余数据均不受影响)。
11
如下图所示,数据库群集由四个成员节点、一主一备
两个集群管理节点、一个GPFS共享存储池构成。其中,数
据群集的成员节点和集群管理节点能够分别放置于不同
的物理主机上,并且能够随着负载的增长进行水平扩展。
在此次容灾项目中,利用pureScale的GDPC技术,将上
图的典型架构转变为入下图所示的容灾结构:
其中,主生产站点包含一个集群管理节点(CF Pri)和两
个数据节点(Mbr1和Mbr3),容灾站点包含一个备用集群
管理节点(CF Sec)和两个数据节点(Mbr2和Mbr4)。生产
网络产生的数据操作请求,以负载均衡的方式由四个数据
节点进行响应,每个节点都可以读写所有数据,组成典型
的数据库共享磁盘(Share-disk)架构。四个节点中只要有
一个节点存活就能够对外提供完整的数据服务,但是这种
状况下数据服务的性能将下降到正常状态的四分之一。
集群数据被存储于利用GPFS管理的存储资源池中,逻
辑上,数据只有唯一的一份(上图中粉色的部分),数据库
日志有四份,对应由四个数据节点使用;物理上,日志数据
与交易数据被存为两份,分别放置于生产站点和容灾站
点,它们之间通过GPFS群集保证数据实时的双向复制。在
主生产站点和容灾站点之外的新余站点还将部署一个较
小的虚拟化服务器,用作集群的仲裁,当某个站点的所有
成员都宕机时,仲裁站点和存活站点的成员节点可以形成
多数,从而使GPFS群集继续正常工作,而不会因一个站点
的宕机而造成整个pureScale群集停止服务。
(5)选型、关键技术探讨及最优实践
PowerVM 技术
PowerVM 是基于IBM POWER 处理器的硬件平台上提
供的具有行业领先水平的虚拟化技术家族。它是IBM
Power System 虚拟化技术全新和统一的品牌(逻辑分区,
微分区,Hypervisor,虚拟I/O 服务器,APV,PowerVM Lx86,
Live Partition Mobility)。本次外围类系统容灾项目能快速
建设得益于PowerVM虚拟化技术,节省了机房物理空间与
电荷压力,缩短了人工部署环境时间,减轻了运维压力。由
于PowerVM是个大话题及篇幅问题,下面主要从关键技术
与实施经验进行初探。
CPU虚拟化
与PowerCloud相关的CPU虚拟化功能是动态逻辑分
区DPLAR功能和微分区功能MicroPartition。前者是手工调
整CPU的运算能力,后者是在手工指定的范围内,自动调
整CPU的运算能力。这两个功能都需要RMC的支持。如下
图所示:
网络虚拟化
PowerVM中网络虚拟化相当于是虚拟交换机与物理
交换机的级联。虚拟交换机我们无法通过命令行直接设
置,只能够通过HMC的profile中虚拟网卡的GUI界面中配
置。 如果虚拟网络需要访问外网的话,需要在VIOS中配置
Cloud来了!
云架构践行实录
类openstack接口,对接其他非Power云资源池,如KVM、
VMWARE等,最后对接ICO,ICO接管整个开放平台云资源
池,实现各类资源的部署自动化、标准化、快速化。
· 光纤路径最优实践
据我行实践,搭建VIOC的存储光纤网络路径4条为最
佳实践,性能最优,冗余性足够。倘若是通过POWERVC管
理,部署的每个VIOC,有 8条光纤路径,但对于银行核心类
业务高性能要求,一般是4条,AIX的存储多路径软件4条是
最优的。
二、 PowerHA/XD+SVC VDM+MM 技术优势及选型
1 、 选型
开始做外围类系统容灾建设时,我们讨论了三种方案,
经综合考试,我们选择了PowerHA/XD+SVC VDM+MM如下
表所示:
2 、 技术优势
此容灾方案建设,外围类系统消除了本地存储单点隐
患,实现了同城数据双活容灾,采用PowerHA/XD实现了主
机跨站点自动切换。本地主机故障,本地主机互相切换,本
地双主机故障,主机和存储均切灾备主机和存储。同时此
种架构可防范双中心间光纤光衰、线路延时、抖动甚至中
断产生脑裂的现象,极大提升本地站点系统的可靠性。发
生脑裂时,基于PowerHA/XD,生产端的主机数多于灾备站
点,发生脑裂仲裁时,生产站点总是赢得仲裁,将自动关闭
灾备站点主机,生产站点不受任何影响。
3 、 关键技术研讨
生产中心部署了两套SVC集群,灾备部署了一套SVC集
群,生产2套存储,通过SVC VDM保持实时同步,同城站点1
套存储,通过SVC Metrol Mirror保持实时同步。生产、同城
的存储数据复制通过DWDM间的裸光纤实现。对于不同站
点的主机来说,看到的是不同的LUN,整体架构非对称,无
需第三仲裁站点,两个站点的存储网络通过DWDM间的裸
光纤级联。如下图所示:
项目亮点
本项目建设内容繁多,考虑因素复杂,建设周期长,有
许多亮点值得同行借鉴。
1、架构先进,松耦合,易扩展。
核心业务系统采用了高端DS8880存储Multiple Target
MGM技术,搭建了3主机3存储的POWERHA高可用性核心
系统平台。架构清晰灵活,稳定性高,数据处理能力强,源
端数据支持双目标端数据复制,可搭建存储三活、三地三
中心。主机与数据独立,主机切换通过POWERHA+IASP实
现,数据的复制通过存储控制实现。
本对客户无感知。
项目总结
本项目的完成凝聚了江西省农商行全体智慧与力量,
也感谢合作伙伴一直以来的真诚协作。回想过去,项目每
个细节历历在目,有些经验或者建议与大家分享。
1、SVC缓存容灾问题。在实施SVC时最好部署两套。例
IO Group失效时,缓存数据没来得及写入存储,该IOGroup
中的两个节点同时故障,这时你只有一套SVC,你将会丢
失一部分写数据。解决该问题,需要搭建SVC容灾环境。例
在灾备搭建一套集群,通过SVC MM技术实现不同数据中
心间IO Group节点的缓存同步,避免数据丢失。
2、PowerVM网络、存储路径、VIOS高可用问题。
PowerVM技术在给我们带来方便的时候,我们更要考虑它
的稳定与安全性。在做PowerVM虚拟化时,一定要考虑好
网络带宽,网络冗余问题,如果不做好网络物理卡与虚拟
卡的绑定问题,将会造成网络单点问题。存储路径、VIOS高
可用问题,更不能忽略,这关系到POWERVM其上运行的
虚机稳定性及高可用。
3、PowerHA FOR I 双活问题。现在金融行业核心业务
读写分离非常迫切,都希望充分利用核心业务系统备机,
而当前PowerHA for I 不支持双活,备机不可用。但MIMIX基
于日志的数据复制虽然支持双活,但是性能远远不行。
4、高瞻远瞩,放眼未来。随技术革新,业务发展,双活
中心运行必是将来所趋,因此现在的灾备建设都是为双活
做准备,我行对部分数据库正进行DB2 PureScale技术试
点,效果良好。由于DB2 pureScale基于万兆网进行内存共
享,我行万兆网还未完全覆盖双中心,但正在计划筹备中,
我行已完成了数据、应用双活,就剩数据库层面双活了,
DB2 PureScale技术给我们实现数据库双活提供了技术基
础。DB2 PureScale技术强调使用的是集中化的锁管理和
全局缓存,CF节点机群管理。因此CF故障会不会导致全局
出现问题。结合实践,建议在整个集群里面,CF节点配置
一主一备的,主备实时同步,消除CF单点故障,但如果主
备CF节点同时宕机,集群也会受影响,因此建议两个CF节
点在物理位置上隔离,以实现冗余保护。
5、先内而外、先核心后次要。同城容灾顾名思义防范
意外,保护重要数据。因此做同城容灾时,首先分类,对核
心类业务先做,要不然次要的容灾做的很好,核心的反而
没有做,一旦核心出现故障,后果不堪设想。
6、要有分层概念,架构要清晰,易扩展,松耦合。我认
为我行灾备之所以能做的如此顺利,得益于之前的存储整
合。存储整合后,我们整体架构明晰,主机、数据、应用独立
分开,主机层面有那些技术可以做容灾技术,数据层面又
有那些,应用又有那些容灾技术,然后结合自身情况,独立
分析那些技术适合。
Shared Ethernet Adapter。物理交换机与虚拟交换机的级
联就由SEA实现的。SEA是由一个虚拟网卡和一个物理网
卡组成。生产环境中,需要搭建至少两个VIOS,每个VIOS上
至少配置一个SEA。以实现虚拟交换机到物理交换机两条
通道,同时需要配置控制链路来避免网络风暴发生。如下
图所示:
IO虚拟化
IO虚拟化主要有vSCSI方式和NPIV方式。这两种方式都
需要在VIOS上创建server adapter,在VIOC上创建client
adapter。然后在VIOS上执行命令,把物理资源映射给
server adapter。
两种方式都是通过hypervisor中内存通道传输数据,
在相同条件下性能相近。区别是:vSCSI方式映射存储的操
作是在VIOS上执行,NPIV方式映射存储的操作是在存储
上执行的。只有NPIV方式才能支持连接带库。
最优实践分享
· 网络带宽及高可用保障
一般来说所有物理网络adapter均分配给vios,在配备
两个vios的情况下,每个vios至少各分配两块网卡才能保
障网络高可用。但也存在这样的情况,一个vios配一个网
卡,网卡含有四个接口,两个端口分别接不同的网络交换
机,做主备etherchannel,尽管这样也可满足网络高可用
保障,但对于核心应用和关键类应用,这样仅仅只能满足
网络高可用,不能满足网络带宽的需求,尤其是在针对数
据传输较多,需要数据共享,或者需要专门的数据备份、带
内管理时,一张网卡完全不够用,因此每个vios两块网卡
是必须的。
· 网络安全保障
首先需要按照不同业务类别进行网络安全分区的划
分,例我行就划分了外联区、互联网区、核心区、管理区等。
每个网络安全分区再细分为WEB、应用、数据库、带内管
理、数据传输或者备份等,再对细分区分配一个或者几个
VLAN,例按业务分类,存在WEB、应用、数据库等VLAN。
在SEA网络设计时,应设计两个甚至三个SEA:业务
SEA(多个业务VLAN做Trunk),数据传输/共享/备份SEA(
多个VLAN做Trunk)或者数据传输/共享、备份各设计一个
SEA,对于数据量较大的备份,可以考虑上万兆网络。
每个网络安全分区按照上述设计,最上层再设计一个
统一管理网络,实现对每个安全分区管理网络的统一管
理,满足 PowerVM虚拟化资源池的网络架构性能、可靠性
要求,便于网络、运维管理。
· 云管平台、资源池统一管理
PowerVM技术是实现Power硬件虚拟化的基础,但如
果没有云管平台、资源池统一管理,人工操作还是大量存
在,并且杂乱无章,对业务系统批量上线的话,存在资源配
置不正确问题,因此我行基于实践经验,利用PowerVC实
现对PowerVM的接管,实现PowerVM虚拟化实施的自动
化,标准化和快速化,满足目前敏捷开发的需求,再通过
ICM接管PowerVC,实现Power云部署的流程化,并开放各
外围类系统同城容灾采用SVC Vdisk Mirror技术实现本
地两份数据保护,采用SVC Metro Mirror技术实现远程数据
同步复制,采用PowerHA XD进行应用快速切换,实现主机
与数据独立。SVC将来可通过同城的SVC Global Mirror技术
实现外围类交易异地容灾。
2、云技术广泛应用,有效降低机房运维压力。
Power平台采用PowerVM虚拟化技术、存储虚拟化技
术,快速搭建灾备系统,快速复制数据,减少了机房物理空
间与供电负荷压力,缩短人工部署与测试时间。X86平台采
用VMware云技术实现跨中心应用双活,单机版的应用可
任意部署与生产中心或同城容灾中心,并根据需要在中心
之间实现飘移。
3、SVC技术的成功应用,解决了异构存储问题。
SVC技术应用之前,我行的SAN网络架构和存储混乱,
存在数据孤岛,当时生产存储主要有DS3400,DS4700,
V7000,DS8100等,SAN网络架构各自为王,交易类、管理
类数据处理能力与存储不匹配,存储单点增加运维压力
等,经综合考量CDP与SVC技术,我行果断采用了SVC技术
进行了存储整合,为我行私有云与同城容灾建设奠定了坚
实基础,没有存储整合,就不可能有如今完善的容灾建设。
4、双活试点
随着云计算发展,将来双活中心必成趋势,江西农商
行立足现实,未雨绸缪,发挥科技引领作用。在建设灾备的
同时,双活建设开始试点,选取部分应用利用DB2数据库
的PureScale群集技术进行测试,以实现江西农商行的外
围系统的数据库从当前的单台服务器为主,生产服务器辅
以一台服务器为冷备数据库服务器的模式,转变到pureS-
cale数据库多活群集模式。
项目效果
一路走来,风雨兼程,江西农商行由无到有,由弱到强,
在江西农商行兄弟姐妹艰苦攻坚下,在合作伙伴友好协作
下,江西农商行全系统同城容灾建设取得了较大成效,详
细如下:
1、信息孤岛不再存在。经4年全系统容灾建设,对那些
超役设备,利用云技术,将超役设备虚拟化,并搭建同城容
灾,消除单点风险。对那些内置盘数据迁移至外置存储,通
过SVC VDM +MM技术实现数据同城容灾。
2、实现了核心业务系统数据应用级容灾
核心业务系统已建立较完备的两地三中心MGM(
Metro Mirro and Global Mirro)同城容灾架构,搭建3主机3
存储的POWERHA高可用性核心系统平台,本地两存储通
采用基于DS8880的Metro Mirror技术实现核心类系统数据
实时传输,生产、同城灾备存储采用Global Mirror技术实现
准实时传输。切换时间15分钟,RPO和RTO满足要求。
3、实现了外围类系统数据应用级容灾
在同城灾备中心建立所有交易类的灾备系统,利用
SVC实现存储数据实时同步复制,保证主数据中心故障时
存储数据不丢失,外围类业务系统切换时间控制在4小时
以内。
4、提高X86平台交易类系统的数据安全性
将X86平台的交易类系统数据由内置硬盘迁移至外置
存储,并利用灾备机房的第二存储实时保护数据,为灾备
建设打好基础,提高X86平台交易类系统的数据安全性和
灾备切换效率。
5、建立双活试点,为未来全面转向双活系统积累经验。
提高我社的双活技术能力,努力积累运维经验,提前
进行双活战略部署,对一套数据业务系统进行双活试点,
利用业内已有少量案例的DB2 PureScale GDPC技术实现
数据库及双活,配合F5组合成整体业务系统双活,力争做
到双数据中心同时运行业务,跨数据中心业务切换时间基
摘要
自2006年江西省农商行实现数据大集中
以来,业务稳步攀升,数据运行风险压力也
随之增加,如何全面提升系统灾难抵御能力
和数据保护水平,是我行重点工作,也是保
障各业务系统运行连续性的基础。2013年流
程银行改造后,我行对数据中心信息系统架
构进行了优化升级,同时对业务连续性保障
提出了更高要求。为建立符合当前信息系统
架构的同城灾备中心,扩大容灾保护的系统
类别和范围,结合银监会关于商业银行业务
连续性监管的指引意见,我行开始对灾备中
心系统进行全面建设,即全系统同城灾备中
心系统建设,历时两年,2016年完成了所有交
易类系统的同城灾备建设,实现了全业务系
统应用容灾,为我行业务连续性保障奠定了
技术壁垒。项目实施商IBM公司,负责硬件安
装及基础环境搭建。我社主要负责业务停业
时间安排、数据迁移及关键技术运用。
全系统同城容灾建设分成两部分,核心
业务系统同城容灾建设部分,已建立较完备
的两地三中心MGM(Metro Mirro and Global
Mirro)同城容灾架构,搭建3主机3存储的
POWERHA高可用性核心系统平台,本地两
存储通采用基于DS8880的Metro Mirror技术
实现核心类系统数据实时传输,生产、同城
灾备存储采用Global Mirror技术实现准实时
传输,RPO和RTO满足要求;外围类系统同城
容灾建设部分,数据层面,采用SVC Vdisk
Mirror技术实现本地两份数据保护,采用SVC
Metro Mirror技术实现远程数据同步复制;主
机层面,采用PowerVM技术快速搭建灾备系
统,采用PowerHA XD进行应用快速切换;应
用层面,应用接入基于F5/WAS等负载均衡
技术,实现用户访问有序分发至生产、灾备
中心,保障了生产、灾备中心的平台资源充
分利用,达到了数据中心应用双活建设目标
。同时试点DB2 Purescale技术,为全系统双
活建设提供准备。
项目背景
随着江西省农商行省级数据中心建设的
不断深入,以及信息化系统整合趋势的不断
发展,江西省农商行省级数据中心部署了全
省大量业务系统。特别是2013年流程银行改
造后,江西省农商行信息系统架构发生较大
变化,形成了前台集中受理,后台集中处理
模式,业务处理效率极大提升,于此同时,对
数据业务连续性与数据安全提出了更严格要求。因此,江
西农商行充分借鉴学习国有大行与国内外商业银行的宝
贵经验,综合考量了各重要业务系统的可靠性与风险程
度,依据江西农商行与各级监管机构的考核要求,参照“两
地三中心”的灾备体系建设模式,按照系统层次级别逐步
开展全系统同城容灾建设与双活试点。
一、 核心业务系统建设背景
自2006年实现数据大集中以来,随着数据的高度集
中,风险压力也随之增加,保障客户数据安全成为迫在眉
睫的难题,同时随着我行业务量稳步增长及科技发展,监
管部门要求也日趋严格,核心业务系统容灾建设经历了三
个阶段。
第一阶段业务量少,核心业务系统采用的是两台P570
小机,于本地搭建了基于MIMIX技术的容灾,并且没有外置
存储。由于MIMIX基于日志方式做数据复制,每到季度结息
与年终结算,数据延迟相差几个小时,日常维护量也非常
大,这对于业务量较少的情况,可以勉强满足要求。
随着我行业务稳步增长,核心业务系统进入了第二阶
段建设,核心业务系统采用了一台P780与原P570,搭建了
基于PowerHA技术的同城容灾,数据层面采用了DS8700
的Metro Mirror技术实现了生产、同城灾备数据实时传输,
达到了同城数据级容灾。相对第一阶段,技术上、性能上提
升几倍,但随着客户量稳步增长及业务连续性要求,此架
构仍存在许多缺陷,因为一旦核心业务系统宕机,没有可
用备机切换。
核心业务系统第三阶段建设,核心业务系统采用了两
台E870主机、两台DS8880存储,建立了较完备的两地三中
心MGM(Metro Mirro and Global Mirro)同城容灾架构,搭
建3主机3存储的POWERHA高可用性核心系统平台,本地
两存储通采用基于DS8880的Metro Mirror技术实现核心类
系统数据实时传输,生产、灾备存储采用Global Mirror技术
实现准实时传输。
二、 外围类系统建设背景
随着业务的快速发展,信息系统不断发展壮大,如何
进一步优化容灾系统,完善容灾备份机制,提高灾难抵御
能力,以保障各业务系统的持续高效运行愈发显得尤为重
要。
1 、 X86平台的交易类系统存储高可用保护缺陷。
我行存储优化升级后,构建基于SVC的存储虚拟化平
台,消除存储的单点故障隐患,实现了Power平台交易类
和管理类系统的数据整合和存储高可用保护。但X86平台,
部分交易类系统还是用内置硬盘存储数据,存在较大的数
据安全隐患,一旦内置硬盘故障,将会导致业务较长时间
的停顿风险。因此急需尽快利用SVC存储虚拟化平台完成
这部分交易类系统的存储高可用保护。
2 、 实现全业务系统应用容灾,增强业务连续性保障
能力。
我社现已完成的同城容灾建设包括核心系统的应用
级容灾和交易类系统的数据备份级容灾。灾备中心缺少外
围交易类系统主机平台,无法实现在灾备中心恢复系统业
务。亟需对同城容灾系统进行升级优化,搭建灾备中心外
围系统平台,建立生产与灾备中心间的外围系统数据实时
传输复制,实现所有系统业务的容灾切换可用,进而达到
全业务系统的应用级容灾,进一步提升灾难抵御能力。
3 、 为双活数据中心建设目标打下坚实基础
全系统同城灾备中心与Purescale试点的实现能够为
建设双活数据中心的最终目标打下坚实基础。从而改变灾
备中心职能,淡化主备数据中心差异,让双数据中心均衡
承担业务,充分利用设备,提升系统高可用水平。进一步提
升各重要业务系统的RPO/RTO能力,满足我社业务快速
跨步发展需要。
项目解决方案
充分借鉴学习国有大行与国内外商业银行的宝贵经
验,综合考量了各重要业务系统的可靠性与风险程度,依
据江西农商行与各级监管机构的考核要求,参照“两地三
中心”的灾备体系建设模式,采用SVC Metro Mirror、Vdisk
Mirror 、DS8880 Multiple Target MGM等存储虚拟化技术、
PowerHA技术、PowerVM、Vmware等云技术,按照系统层
次级别逐步开展全系统同城容灾建设,进行双活试点。
一、 核心业务系统容灾建设方案
通过存储Metro Mirror技术实现艾溪湖数据中心中主
备机数据保持一致;通过Multiple Target MGM高可用性解
决方案实现艾溪湖数据中心与青山湖数据中心双中心间
同城数据容灾,通过POWERHA+IASP技术实现主机切换。
1 、 架构先进性与技术关键点
(1)考虑核心的数据安全及高效率读写要求,经综合
考量,我行采用了最新、最先进的DS8880高性能存储,利
用业界最先进的Multiple Target MGM技术实现了核心同
城容灾建设。架构优势如下:
可搭建三地三中心架构(本地两份数据、同城灾备一
份数据、第三方中心一份),并支持存储三活,即三台存储
实时同步。以前架构只支持两地三中心建设,并且不支持
生产、灾备存储双活。
架构灵活、可靠。以前架构只支持源端到一个目标端
复制,假如有H1、H2、H3站点,H1-H2—H3只能搭建MGM
架构,即H1-H2为Metro Mirror复制,H2-H3为Global Mirror
复制。现在架构可灵活调整,支持源端到两个目标端复制,
即源端H1与H2、H3都可搭建Metro Mirror复制或一个
Metro Mirror与一个Global Mirror复制。
稳定性高、数据处理强。DS8880高端存储在容灾建设
架构中,在保持数据一致性下,对IO处理也是较先进的,例
下图DS8880 Metro Mirror、Global Mirror展示了写IO处理
过程。
(2)主机切换软件选型
城商行使用基于AS400的核心业务系统,主流切换软
件是PowerHA+IASP与MIMIX,此前我行也使用过MIMIX,运
维工作量大,数据一致性延时严重,切换不确定。随着业务
增长,我行果断放弃了该技术,它们各有优势,详见下表:
2 、 外围类系统容灾建设方案
外围类系统目前采取同城数据级容灾模式,通过TSM
端到端复制功能,每日向同城灾备中心传输数据。但灾备
中心缺少主机,无法恢复外围系统业务,而且备份数据级
灾备模式也限制了恢复业务的速度。
同时,生产中心外围交易系统经过存储整合升级,后
台使用基于SVC的存储级别镜像,所有交易业务系统在本
地均有双份后台存储数据,数据达到本地实时保护级别,
但仍缺少同城容灾系统。
基于此,我行采用基于SVC的Vdisk Mirror及Metro
Mirror技术实现交易类业务系统数据实时传输,部署同城
灾备中心主机系统平台,利用虚拟化技术,建立虚拟分区,
部署全套外围交易业务系统,实现外围交易系统的同城应
用级别容灾。
同城灾备外围交易系统当前架构图如下:
(1)X86平台同城灾备系统建设技术方案
X86平台同城灾备通过SVC stretch cluster方式实现存
储级别的双活是X86平台实现双活灾备系统的第一阶段。
升级优化后的同城灾备外围交易系统X86平台架构如
下:
升级后,通过SVC Stretch Cluster技术实现跨中心的数
据双活方案。对于服务器来说,逻辑层只看到一份数据,这
份逻辑数据对应两份物理拷贝,通过SVC同步写到生产中
心和同城容灾中的高端存储之上,生产中心和同城容灾中
心的服务器看到同一份数据,实现数据级别的同城容灾。
X86平台结合VMware跨中心集群部署方案,可实现应
用级别的同城容灾。VMware支持并行集群的应用可实现
跨中心双活,单机版的应用可任意部署与生产中心或同城
容灾中心,并根据需要在中心之间实现飘移。此方案需要
打通生产中心与同城容灾中心的二层网络,使VMware能
同时管理生产中心和同城容灾中心的服务器。
(2)Power平台同城灾备系统建设技术方案
同城灾备外围交易系统Power平台架构如下:
(3)PureAS平台同城灾备系统建设技术方案
在多点之间数据同步方面,将PureAS上的涉及数据处
理的GPFS与DB2服务器下移至Power平台,因此PureAS平
台数据级容灾方式与Power平台一致,如下图所示:
目前PureApplication上运行6个中间件平台(含WAS、
DB2、BPM、MQ、ESB、WODM、ECM、信贷等)服务,Active
Standby方案就是将运行在上面的中间件通过集群技术
实现多数据中心负载均衡,利用新购的一台PureAS(同时
可作为测试开发使用)部分资源作为同城灾备主机,通过
跨RACK应用集群部署的方式实现PureAS平台应用级别容
灾。PureAS平台应用级容灾建设架构图如下:
(4)Purescale测试与试点的技术方案
利用DB2数据库的PureScale群集技术可以在对应用
透明的场景下,实现数据库的高扩展性和高可用性。未来
江西农商行的外围系统的数据库会逐步从当前的单台服
务器为主生产服务器辅以一台服务器为冷备数据库服务
器的模式,转变到pureScale数据库多活群集模式。即外围
应用系统的数据库将统一规划,由一个或若干个pureS-
cale数据库群集支撑,其中每个pureScale群集都包含分布
于主生产机房和灾备机房的服务器,在正常生产时,这些
服务器同时提供数据服务,实现负载均衡;在故障发生时,
部分节点故障并不影响整个群集对外提供服务,实现系统
的高可用性。在数据库这个层面,双活群集可以实现灾备
场景中的RPO等于零,RTO近似于零(发生故障的数据节
点在宕机时正在修改的那一部分数据将被冻结一小段时
间,正常节点访问其余数据均不受影响)。
如下图所示,数据库群集由四个成员节点、一主一备
两个集群管理节点、一个GPFS共享存储池构成。其中,数
据群集的成员节点和集群管理节点能够分别放置于不同
的物理主机上,并且能够随着负载的增长进行水平扩展。
在此次容灾项目中,利用pureScale的GDPC技术,将上
图的典型架构转变为入下图所示的容灾结构:
其中,主生产站点包含一个集群管理节点(CF Pri)和两
个数据节点(Mbr1和Mbr3),容灾站点包含一个备用集群
管理节点(CF Sec)和两个数据节点(Mbr2和Mbr4)。生产
网络产生的数据操作请求,以负载均衡的方式由四个数据
节点进行响应,每个节点都可以读写所有数据,组成典型
的数据库共享磁盘(Share-disk)架构。四个节点中只要有
一个节点存活就能够对外提供完整的数据服务,但是这种
状况下数据服务的性能将下降到正常状态的四分之一。
集群数据被存储于利用GPFS管理的存储资源池中,逻
辑上,数据只有唯一的一份(上图中粉色的部分),数据库
日志有四份,对应由四个数据节点使用;物理上,日志数据
与交易数据被存为两份,分别放置于生产站点和容灾站
点,它们之间通过GPFS群集保证数据实时的双向复制。在
主生产站点和容灾站点之外的新余站点还将部署一个较
小的虚拟化服务器,用作集群的仲裁,当某个站点的所有
成员都宕机时,仲裁站点和存活站点的成员节点可以形成
多数,从而使GPFS群集继续正常工作,而不会因一个站点
的宕机而造成整个pureScale群集停止服务。
(5)选型、关键技术探讨及最优实践
PowerVM 技术
PowerVM 是基于IBM POWER 处理器的硬件平台上提
供的具有行业领先水平的虚拟化技术家族。它是IBM
Power System 虚拟化技术全新和统一的品牌(逻辑分区,
微分区,Hypervisor,虚拟I/O 服务器,APV,PowerVM Lx86,
Live Partition Mobility)。本次外围类系统容灾项目能快速
建设得益于PowerVM虚拟化技术,节省了机房物理空间与
电荷压力,缩短了人工部署环境时间,减轻了运维压力。由
于PowerVM是个大话题及篇幅问题,下面主要从关键技术
与实施经验进行初探。
CPU虚拟化
与PowerCloud相关的CPU虚拟化功能是动态逻辑分
区DPLAR功能和微分区功能MicroPartition。前者是手工调
整CPU的运算能力,后者是在手工指定的范围内,自动调
整CPU的运算能力。这两个功能都需要RMC的支持。如下
图所示:
网络虚拟化
PowerVM中网络虚拟化相当于是虚拟交换机与物理
交换机的级联。虚拟交换机我们无法通过命令行直接设
置,只能够通过HMC的profile中虚拟网卡的GUI界面中配
置。 如果虚拟网络需要访问外网的话,需要在VIOS中配置
类openstack接口,对接其他非Power云资源池,如KVM、
VMWARE等,最后对接ICO,ICO接管整个开放平台云资源
池,实现各类资源的部署自动化、标准化、快速化。
· 光纤路径最优实践
据我行实践,搭建VIOC的存储光纤网络路径4条为最
佳实践,性能最优,冗余性足够。倘若是通过POWERVC管
理,部署的每个VIOC,有 8条光纤路径,但对于银行核心类
业务高性能要求,一般是4条,AIX的存储多路径软件4条是
最优的。
二、 PowerHA/XD+SVC VDM+MM 技术优势及选型
1 、 选型
开始做外围类系统容灾建设时,我们讨论了三种方案,
经综合考试,我们选择了PowerHA/XD+SVC VDM+MM如下
表所示:
2 、 技术优势
此容灾方案建设,外围类系统消除了本地存储单点隐
患,实现了同城数据双活容灾,采用PowerHA/XD实现了主
机跨站点自动切换。本地主机故障,本地主机互相切换,本
地双主机故障,主机和存储均切灾备主机和存储。同时此
种架构可防范双中心间光纤光衰、线路延时、抖动甚至中
断产生脑裂的现象,极大提升本地站点系统的可靠性。发
生脑裂时,基于PowerHA/XD,生产端的主机数多于灾备站
点,发生脑裂仲裁时,生产站点总是赢得仲裁,将自动关闭
灾备站点主机,生产站点不受任何影响。
3 、 关键技术研讨
生产中心部署了两套SVC集群,灾备部署了一套SVC集
群,生产2套存储,通过SVC VDM保持实时同步,同城站点1
套存储,通过SVC Metrol Mirror保持实时同步。生产、同城
的存储数据复制通过DWDM间的裸光纤实现。对于不同站
点的主机来说,看到的是不同的LUN,整体架构非对称,无
需第三仲裁站点,两个站点的存储网络通过DWDM间的裸
光纤级联。如下图所示:
项目亮点
本项目建设内容繁多,考虑因素复杂,建设周期长,有
许多亮点值得同行借鉴。
1、架构先进,松耦合,易扩展。
核心业务系统采用了高端DS8880存储Multiple Target
MGM技术,搭建了3主机3存储的POWERHA高可用性核心
系统平台。架构清晰灵活,稳定性高,数据处理能力强,源
端数据支持双目标端数据复制,可搭建存储三活、三地三
中心。主机与数据独立,主机切换通过POWERHA+IASP实
现,数据的复制通过存储控制实现。
本对客户无感知。
项目总结
本项目的完成凝聚了江西省农商行全体智慧与力量,
也感谢合作伙伴一直以来的真诚协作。回想过去,项目每
个细节历历在目,有些经验或者建议与大家分享。
1、SVC缓存容灾问题。在实施SVC时最好部署两套。例
IO Group失效时,缓存数据没来得及写入存储,该IOGroup
中的两个节点同时故障,这时你只有一套SVC,你将会丢
失一部分写数据。解决该问题,需要搭建SVC容灾环境。例
在灾备搭建一套集群,通过SVC MM技术实现不同数据中
心间IO Group节点的缓存同步,避免数据丢失。
2、PowerVM网络、存储路径、VIOS高可用问题。
PowerVM技术在给我们带来方便的时候,我们更要考虑它
的稳定与安全性。在做PowerVM虚拟化时,一定要考虑好
网络带宽,网络冗余问题,如果不做好网络物理卡与虚拟
卡的绑定问题,将会造成网络单点问题。存储路径、VIOS高
可用问题,更不能忽略,这关系到POWERVM其上运行的
虚机稳定性及高可用。
3、PowerHA FOR I 双活问题。现在金融行业核心业务
读写分离非常迫切,都希望充分利用核心业务系统备机,
而当前PowerHA for I 不支持双活,备机不可用。但MIMIX基
于日志的数据复制虽然支持双活,但是性能远远不行。
4、高瞻远瞩,放眼未来。随技术革新,业务发展,双活
中心运行必是将来所趋,因此现在的灾备建设都是为双活
做准备,我行对部分数据库正进行DB2 PureScale技术试
点,效果良好。由于DB2 pureScale基于万兆网进行内存共
享,我行万兆网还未完全覆盖双中心,但正在计划筹备中,
我行已完成了数据、应用双活,就剩数据库层面双活了,
DB2 PureScale技术给我们实现数据库双活提供了技术基
础。DB2 PureScale技术强调使用的是集中化的锁管理和
全局缓存,CF节点机群管理。因此CF故障会不会导致全局
出现问题。结合实践,建议在整个集群里面,CF节点配置
一主一备的,主备实时同步,消除CF单点故障,但如果主
备CF节点同时宕机,集群也会受影响,因此建议两个CF节
点在物理位置上隔离,以实现冗余保护。
5、先内而外、先核心后次要。同城容灾顾名思义防范
意外,保护重要数据。因此做同城容灾时,首先分类,对核
心类业务先做,要不然次要的容灾做的很好,核心的反而
没有做,一旦核心出现故障,后果不堪设想。
6、要有分层概念,架构要清晰,易扩展,松耦合。我认
为我行灾备之所以能做的如此顺利,得益于之前的存储整
合。存储整合后,我们整体架构明晰,主机、数据、应用独立
分开,主机层面有那些技术可以做容灾技术,数据层面又
有那些,应用又有那些容灾技术,然后结合自身情况,独立
分析那些技术适合。
12
Shared Ethernet Adapter。物理交换机与虚拟交换机的级
联就由SEA实现的。SEA是由一个虚拟网卡和一个物理网
卡组成。生产环境中,需要搭建至少两个VIOS,每个VIOS上
至少配置一个SEA。以实现虚拟交换机到物理交换机两条
通道,同时需要配置控制链路来避免网络风暴发生。如下
图所示:
IO虚拟化
IO虚拟化主要有vSCSI方式和NPIV方式。这两种方式都
需要在VIOS上创建server adapter,在VIOC上创建client
adapter。然后在VIOS上执行命令,把物理资源映射给
server adapter。
两种方式都是通过hypervisor中内存通道传输数据,
在相同条件下性能相近。区别是:vSCSI方式映射存储的操
作是在VIOS上执行,NPIV方式映射存储的操作是在存储
上执行的。只有NPIV方式才能支持连接带库。
最优实践分享
· 网络带宽及高可用保障
一般来说所有物理网络adapter均分配给vios,在配备
两个vios的情况下,每个vios至少各分配两块网卡才能保
障网络高可用。但也存在这样的情况,一个vios配一个网
卡,网卡含有四个接口,两个端口分别接不同的网络交换
机,做主备etherchannel,尽管这样也可满足网络高可用
保障,但对于核心应用和关键类应用,这样仅仅只能满足
网络高可用,不能满足网络带宽的需求,尤其是在针对数
据传输较多,需要数据共享,或者需要专门的数据备份、带
内管理时,一张网卡完全不够用,因此每个vios两块网卡
是必须的。
· 网络安全保障
首先需要按照不同业务类别进行网络安全分区的划
分,例我行就划分了外联区、互联网区、核心区、管理区等。
每个网络安全分区再细分为WEB、应用、数据库、带内管
理、数据传输或者备份等,再对细分区分配一个或者几个
VLAN,例按业务分类,存在WEB、应用、数据库等VLAN。
在SEA网络设计时,应设计两个甚至三个SEA:业务
SEA(多个业务VLAN做Trunk),数据传输/共享/备份SEA(
多个VLAN做Trunk)或者数据传输/共享、备份各设计一个
SEA,对于数据量较大的备份,可以考虑上万兆网络。
每个网络安全分区按照上述设计,最上层再设计一个
统一管理网络,实现对每个安全分区管理网络的统一管
理,满足 PowerVM虚拟化资源池的网络架构性能、可靠性
要求,便于网络、运维管理。
· 云管平台、资源池统一管理
PowerVM技术是实现Power硬件虚拟化的基础,但如
果没有云管平台、资源池统一管理,人工操作还是大量存
在,并且杂乱无章,对业务系统批量上线的话,存在资源配
置不正确问题,因此我行基于实践经验,利用PowerVC实
现对PowerVM的接管,实现PowerVM虚拟化实施的自动
化,标准化和快速化,满足目前敏捷开发的需求,再通过
ICM接管PowerVC,实现Power云部署的流程化,并开放各
Cloud来了!
云架构践行实录
外围类系统同城容灾采用SVC Vdisk Mirror技术实现本
地两份数据保护,采用SVC Metro Mirror技术实现远程数据
同步复制,采用PowerHA XD进行应用快速切换,实现主机
与数据独立。SVC将来可通过同城的SVC Global Mirror技术
实现外围类交易异地容灾。
2、云技术广泛应用,有效降低机房运维压力。
Power平台采用PowerVM虚拟化技术、存储虚拟化技
术,快速搭建灾备系统,快速复制数据,减少了机房物理空
间与供电负荷压力,缩短人工部署与测试时间。X86平台采
用VMware云技术实现跨中心应用双活,单机版的应用可
任意部署与生产中心或同城容灾中心,并根据需要在中心
之间实现飘移。
3、SVC技术的成功应用,解决了异构存储问题。
SVC技术应用之前,我行的SAN网络架构和存储混乱,
存在数据孤岛,当时生产存储主要有DS3400,DS4700,
V7000,DS8100等,SAN网络架构各自为王,交易类、管理
类数据处理能力与存储不匹配,存储单点增加运维压力
等,经综合考量CDP与SVC技术,我行果断采用了SVC技术
进行了存储整合,为我行私有云与同城容灾建设奠定了坚
实基础,没有存储整合,就不可能有如今完善的容灾建设。
4、双活试点
随着云计算发展,将来双活中心必成趋势,江西农商
行立足现实,未雨绸缪,发挥科技引领作用。在建设灾备的
同时,双活建设开始试点,选取部分应用利用DB2数据库
的PureScale群集技术进行测试,以实现江西农商行的外
围系统的数据库从当前的单台服务器为主,生产服务器辅
以一台服务器为冷备数据库服务器的模式,转变到pureS-
cale数据库多活群集模式。
项目效果
一路走来,风雨兼程,江西农商行由无到有,由弱到强,
在江西农商行兄弟姐妹艰苦攻坚下,在合作伙伴友好协作
下,江西农商行全系统同城容灾建设取得了较大成效,详
细如下:
1、信息孤岛不再存在。经4年全系统容灾建设,对那些
超役设备,利用云技术,将超役设备虚拟化,并搭建同城容
灾,消除单点风险。对那些内置盘数据迁移至外置存储,通
过SVC VDM +MM技术实现数据同城容灾。
2、实现了核心业务系统数据应用级容灾
核心业务系统已建立较完备的两地三中心MGM(
Metro Mirro and Global Mirro)同城容灾架构,搭建3主机3
存储的POWERHA高可用性核心系统平台,本地两存储通
采用基于DS8880的Metro Mirror技术实现核心类系统数据
实时传输,生产、同城灾备存储采用Global Mirror技术实现
准实时传输。切换时间15分钟,RPO和RTO满足要求。
3、实现了外围类系统数据应用级容灾
在同城灾备中心建立所有交易类的灾备系统,利用
SVC实现存储数据实时同步复制,保证主数据中心故障时
存储数据不丢失,外围类业务系统切换时间控制在4小时
以内。
4、提高X86平台交易类系统的数据安全性
将X86平台的交易类系统数据由内置硬盘迁移至外置
存储,并利用灾备机房的第二存储实时保护数据,为灾备
建设打好基础,提高X86平台交易类系统的数据安全性和
灾备切换效率。
5、建立双活试点,为未来全面转向双活系统积累经验。
提高我社的双活技术能力,努力积累运维经验,提前
进行双活战略部署,对一套数据业务系统进行双活试点,
利用业内已有少量案例的DB2 PureScale GDPC技术实现
数据库及双活,配合F5组合成整体业务系统双活,力争做
到双数据中心同时运行业务,跨数据中心业务切换时间基
摘要
自2006年江西省农商行实现数据大集中
以来,业务稳步攀升,数据运行风险压力也
随之增加,如何全面提升系统灾难抵御能力
和数据保护水平,是我行重点工作,也是保
障各业务系统运行连续性的基础。2013年流
程银行改造后,我行对数据中心信息系统架
构进行了优化升级,同时对业务连续性保障
提出了更高要求。为建立符合当前信息系统
架构的同城灾备中心,扩大容灾保护的系统
类别和范围,结合银监会关于商业银行业务
连续性监管的指引意见,我行开始对灾备中
心系统进行全面建设,即全系统同城灾备中
心系统建设,历时两年,2016年完成了所有交
易类系统的同城灾备建设,实现了全业务系
统应用容灾,为我行业务连续性保障奠定了
技术壁垒。项目实施商IBM公司,负责硬件安
装及基础环境搭建。我社主要负责业务停业
时间安排、数据迁移及关键技术运用。
全系统同城容灾建设分成两部分,核心
业务系统同城容灾建设部分,已建立较完备
的两地三中心MGM(Metro Mirro and Global
Mirro)同城容灾架构,搭建3主机3存储的
POWERHA高可用性核心系统平台,本地两
存储通采用基于DS8880的Metro Mirror技术
实现核心类系统数据实时传输,生产、同城
灾备存储采用Global Mirror技术实现准实时
传输,RPO和RTO满足要求;外围类系统同城
容灾建设部分,数据层面,采用SVC Vdisk
Mirror技术实现本地两份数据保护,采用SVC
Metro Mirror技术实现远程数据同步复制;主
机层面,采用PowerVM技术快速搭建灾备系
统,采用PowerHA XD进行应用快速切换;应
用层面,应用接入基于F5/WAS等负载均衡
技术,实现用户访问有序分发至生产、灾备
中心,保障了生产、灾备中心的平台资源充
分利用,达到了数据中心应用双活建设目标
。同时试点DB2 Purescale技术,为全系统双
活建设提供准备。
项目背景
随着江西省农商行省级数据中心建设的
不断深入,以及信息化系统整合趋势的不断
发展,江西省农商行省级数据中心部署了全
省大量业务系统。特别是2013年流程银行改
造后,江西省农商行信息系统架构发生较大
变化,形成了前台集中受理,后台集中处理
模式,业务处理效率极大提升,于此同时,对
数据业务连续性与数据安全提出了更严格要求。因此,江
西农商行充分借鉴学习国有大行与国内外商业银行的宝
贵经验,综合考量了各重要业务系统的可靠性与风险程
度,依据江西农商行与各级监管机构的考核要求,参照“两
地三中心”的灾备体系建设模式,按照系统层次级别逐步
开展全系统同城容灾建设与双活试点。
一、 核心业务系统建设背景
自2006年实现数据大集中以来,随着数据的高度集
中,风险压力也随之增加,保障客户数据安全成为迫在眉
睫的难题,同时随着我行业务量稳步增长及科技发展,监
管部门要求也日趋严格,核心业务系统容灾建设经历了三
个阶段。
第一阶段业务量少,核心业务系统采用的是两台P570
小机,于本地搭建了基于MIMIX技术的容灾,并且没有外置
存储。由于MIMIX基于日志方式做数据复制,每到季度结息
与年终结算,数据延迟相差几个小时,日常维护量也非常
大,这对于业务量较少的情况,可以勉强满足要求。
随着我行业务稳步增长,核心业务系统进入了第二阶
段建设,核心业务系统采用了一台P780与原P570,搭建了
基于PowerHA技术的同城容灾,数据层面采用了DS8700
的Metro Mirror技术实现了生产、同城灾备数据实时传输,
达到了同城数据级容灾。相对第一阶段,技术上、性能上提
升几倍,但随着客户量稳步增长及业务连续性要求,此架
构仍存在许多缺陷,因为一旦核心业务系统宕机,没有可
用备机切换。
核心业务系统第三阶段建设,核心业务系统采用了两
台E870主机、两台DS8880存储,建立了较完备的两地三中
心MGM(Metro Mirro and Global Mirro)同城容灾架构,搭
建3主机3存储的POWERHA高可用性核心系统平台,本地
两存储通采用基于DS8880的Metro Mirror技术实现核心类
系统数据实时传输,生产、灾备存储采用Global Mirror技术
实现准实时传输。
二、 外围类系统建设背景
随着业务的快速发展,信息系统不断发展壮大,如何
进一步优化容灾系统,完善容灾备份机制,提高灾难抵御
能力,以保障各业务系统的持续高效运行愈发显得尤为重
要。
1 、 X86平台的交易类系统存储高可用保护缺陷。
我行存储优化升级后,构建基于SVC的存储虚拟化平
台,消除存储的单点故障隐患,实现了Power平台交易类
和管理类系统的数据整合和存储高可用保护。但X86平台,
部分交易类系统还是用内置硬盘存储数据,存在较大的数
据安全隐患,一旦内置硬盘故障,将会导致业务较长时间
的停顿风险。因此急需尽快利用SVC存储虚拟化平台完成
这部分交易类系统的存储高可用保护。
2 、 实现全业务系统应用容灾,增强业务连续性保障
能力。
我社现已完成的同城容灾建设包括核心系统的应用
级容灾和交易类系统的数据备份级容灾。灾备中心缺少外
围交易类系统主机平台,无法实现在灾备中心恢复系统业
务。亟需对同城容灾系统进行升级优化,搭建灾备中心外
围系统平台,建立生产与灾备中心间的外围系统数据实时
传输复制,实现所有系统业务的容灾切换可用,进而达到
全业务系统的应用级容灾,进一步提升灾难抵御能力。
3 、 为双活数据中心建设目标打下坚实基础
全系统同城灾备中心与Purescale试点的实现能够为
建设双活数据中心的最终目标打下坚实基础。从而改变灾
备中心职能,淡化主备数据中心差异,让双数据中心均衡
承担业务,充分利用设备,提升系统高可用水平。进一步提
升各重要业务系统的RPO/RTO能力,满足我社业务快速
跨步发展需要。
项目解决方案
充分借鉴学习国有大行与国内外商业银行的宝贵经
验,综合考量了各重要业务系统的可靠性与风险程度,依
据江西农商行与各级监管机构的考核要求,参照“两地三
中心”的灾备体系建设模式,采用SVC Metro Mirror、Vdisk
Mirror 、DS8880 Multiple Target MGM等存储虚拟化技术、
PowerHA技术、PowerVM、Vmware等云技术,按照系统层
次级别逐步开展全系统同城容灾建设,进行双活试点。
一、 核心业务系统容灾建设方案
通过存储Metro Mirror技术实现艾溪湖数据中心中主
备机数据保持一致;通过Multiple Target MGM高可用性解
决方案实现艾溪湖数据中心与青山湖数据中心双中心间
同城数据容灾,通过POWERHA+IASP技术实现主机切换。
1 、 架构先进性与技术关键点
(1)考虑核心的数据安全及高效率读写要求,经综合
考量,我行采用了最新、最先进的DS8880高性能存储,利
用业界最先进的Multiple Target MGM技术实现了核心同
城容灾建设。架构优势如下:
可搭建三地三中心架构(本地两份数据、同城灾备一
份数据、第三方中心一份),并支持存储三活,即三台存储
实时同步。以前架构只支持两地三中心建设,并且不支持
生产、灾备存储双活。
架构灵活、可靠。以前架构只支持源端到一个目标端
复制,假如有H1、H2、H3站点,H1-H2—H3只能搭建MGM
架构,即H1-H2为Metro Mirror复制,H2-H3为Global Mirror
复制。现在架构可灵活调整,支持源端到两个目标端复制,
即源端H1与H2、H3都可搭建Metro Mirror复制或一个
Metro Mirror与一个Global Mirror复制。
稳定性高、数据处理强。DS8880高端存储在容灾建设
架构中,在保持数据一致性下,对IO处理也是较先进的,例
下图DS8880 Metro Mirror、Global Mirror展示了写IO处理
过程。
(2)主机切换软件选型
城商行使用基于AS400的核心业务系统,主流切换软
件是PowerHA+IASP与MIMIX,此前我行也使用过MIMIX,运
维工作量大,数据一致性延时严重,切换不确定。随着业务
增长,我行果断放弃了该技术,它们各有优势,详见下表:
2 、 外围类系统容灾建设方案
外围类系统目前采取同城数据级容灾模式,通过TSM
端到端复制功能,每日向同城灾备中心传输数据。但灾备
中心缺少主机,无法恢复外围系统业务,而且备份数据级
灾备模式也限制了恢复业务的速度。
同时,生产中心外围交易系统经过存储整合升级,后
台使用基于SVC的存储级别镜像,所有交易业务系统在本
地均有双份后台存储数据,数据达到本地实时保护级别,
但仍缺少同城容灾系统。
基于此,我行采用基于SVC的Vdisk Mirror及Metro
Mirror技术实现交易类业务系统数据实时传输,部署同城
灾备中心主机系统平台,利用虚拟化技术,建立虚拟分区,
部署全套外围交易业务系统,实现外围交易系统的同城应
用级别容灾。
同城灾备外围交易系统当前架构图如下:
(1)X86平台同城灾备系统建设技术方案
X86平台同城灾备通过SVC stretch cluster方式实现存
储级别的双活是X86平台实现双活灾备系统的第一阶段。
升级优化后的同城灾备外围交易系统X86平台架构如
下:
升级后,通过SVC Stretch Cluster技术实现跨中心的数
据双活方案。对于服务器来说,逻辑层只看到一份数据,这
份逻辑数据对应两份物理拷贝,通过SVC同步写到生产中
心和同城容灾中的高端存储之上,生产中心和同城容灾中
心的服务器看到同一份数据,实现数据级别的同城容灾。
X86平台结合VMware跨中心集群部署方案,可实现应
用级别的同城容灾。VMware支持并行集群的应用可实现
跨中心双活,单机版的应用可任意部署与生产中心或同城
容灾中心,并根据需要在中心之间实现飘移。此方案需要
打通生产中心与同城容灾中心的二层网络,使VMware能
同时管理生产中心和同城容灾中心的服务器。
(2)Power平台同城灾备系统建设技术方案
同城灾备外围交易系统Power平台架构如下:
(3)PureAS平台同城灾备系统建设技术方案
在多点之间数据同步方面,将PureAS上的涉及数据处
理的GPFS与DB2服务器下移至Power平台,因此PureAS平
台数据级容灾方式与Power平台一致,如下图所示:
目前PureApplication上运行6个中间件平台(含WAS、
DB2、BPM、MQ、ESB、WODM、ECM、信贷等)服务,Active
Standby方案就是将运行在上面的中间件通过集群技术
实现多数据中心负载均衡,利用新购的一台PureAS(同时
可作为测试开发使用)部分资源作为同城灾备主机,通过
跨RACK应用集群部署的方式实现PureAS平台应用级别容
灾。PureAS平台应用级容灾建设架构图如下:
(4)Purescale测试与试点的技术方案
利用DB2数据库的PureScale群集技术可以在对应用
透明的场景下,实现数据库的高扩展性和高可用性。未来
江西农商行的外围系统的数据库会逐步从当前的单台服
务器为主生产服务器辅以一台服务器为冷备数据库服务
器的模式,转变到pureScale数据库多活群集模式。即外围
应用系统的数据库将统一规划,由一个或若干个pureS-
cale数据库群集支撑,其中每个pureScale群集都包含分布
于主生产机房和灾备机房的服务器,在正常生产时,这些
服务器同时提供数据服务,实现负载均衡;在故障发生时,
部分节点故障并不影响整个群集对外提供服务,实现系统
的高可用性。在数据库这个层面,双活群集可以实现灾备
场景中的RPO等于零,RTO近似于零(发生故障的数据节
点在宕机时正在修改的那一部分数据将被冻结一小段时
间,正常节点访问其余数据均不受影响)。
如下图所示,数据库群集由四个成员节点、一主一备
两个集群管理节点、一个GPFS共享存储池构成。其中,数
据群集的成员节点和集群管理节点能够分别放置于不同
的物理主机上,并且能够随着负载的增长进行水平扩展。
在此次容灾项目中,利用pureScale的GDPC技术,将上
图的典型架构转变为入下图所示的容灾结构:
其中,主生产站点包含一个集群管理节点(CF Pri)和两
个数据节点(Mbr1和Mbr3),容灾站点包含一个备用集群
管理节点(CF Sec)和两个数据节点(Mbr2和Mbr4)。生产
网络产生的数据操作请求,以负载均衡的方式由四个数据
节点进行响应,每个节点都可以读写所有数据,组成典型
的数据库共享磁盘(Share-disk)架构。四个节点中只要有
一个节点存活就能够对外提供完整的数据服务,但是这种
状况下数据服务的性能将下降到正常状态的四分之一。
集群数据被存储于利用GPFS管理的存储资源池中,逻
辑上,数据只有唯一的一份(上图中粉色的部分),数据库
日志有四份,对应由四个数据节点使用;物理上,日志数据
与交易数据被存为两份,分别放置于生产站点和容灾站
点,它们之间通过GPFS群集保证数据实时的双向复制。在
主生产站点和容灾站点之外的新余站点还将部署一个较
小的虚拟化服务器,用作集群的仲裁,当某个站点的所有
成员都宕机时,仲裁站点和存活站点的成员节点可以形成
多数,从而使GPFS群集继续正常工作,而不会因一个站点
的宕机而造成整个pureScale群集停止服务。
(5)选型、关键技术探讨及最优实践
PowerVM 技术
PowerVM 是基于IBM POWER 处理器的硬件平台上提
供的具有行业领先水平的虚拟化技术家族。它是IBM
Power System 虚拟化技术全新和统一的品牌(逻辑分区,
微分区,Hypervisor,虚拟I/O 服务器,APV,PowerVM Lx86,
Live Partition Mobility)。本次外围类系统容灾项目能快速
建设得益于PowerVM虚拟化技术,节省了机房物理空间与
电荷压力,缩短了人工部署环境时间,减轻了运维压力。由
于PowerVM是个大话题及篇幅问题,下面主要从关键技术
与实施经验进行初探。
CPU虚拟化
与PowerCloud相关的CPU虚拟化功能是动态逻辑分
区DPLAR功能和微分区功能MicroPartition。前者是手工调
整CPU的运算能力,后者是在手工指定的范围内,自动调
整CPU的运算能力。这两个功能都需要RMC的支持。如下
图所示:
网络虚拟化
PowerVM中网络虚拟化相当于是虚拟交换机与物理
交换机的级联。虚拟交换机我们无法通过命令行直接设
置,只能够通过HMC的profile中虚拟网卡的GUI界面中配
置。 如果虚拟网络需要访问外网的话,需要在VIOS中配置
13
类openstack接口,对接其他非Power云资源池,如KVM、
VMWARE等,最后对接ICO,ICO接管整个开放平台云资源
池,实现各类资源的部署自动化、标准化、快速化。
· 光纤路径最优实践
据我行实践,搭建VIOC的存储光纤网络路径4条为最
佳实践,性能最优,冗余性足够。倘若是通过POWERVC管
理,部署的每个VIOC,有 8条光纤路径,但对于银行核心类
业务高性能要求,一般是4条,AIX的存储多路径软件4条是
最优的。
二、 PowerHA/XD+SVC VDM+MM 技术优势及选型
1 、 选型
开始做外围类系统容灾建设时,我们讨论了三种方案,
经综合考试,我们选择了PowerHA/XD+SVC VDM+MM如下
表所示:
2 、 技术优势
此容灾方案建设,外围类系统消除了本地存储单点隐
患,实现了同城数据双活容灾,采用PowerHA/XD实现了主
机跨站点自动切换。本地主机故障,本地主机互相切换,本
地双主机故障,主机和存储均切灾备主机和存储。同时此
种架构可防范双中心间光纤光衰、线路延时、抖动甚至中
断产生脑裂的现象,极大提升本地站点系统的可靠性。发
生脑裂时,基于PowerHA/XD,生产端的主机数多于灾备站
点,发生脑裂仲裁时,生产站点总是赢得仲裁,将自动关闭
灾备站点主机,生产站点不受任何影响。
3 、 关键技术研讨
生产中心部署了两套SVC集群,灾备部署了一套SVC集
群,生产2套存储,通过SVC VDM保持实时同步,同城站点1
套存储,通过SVC Metrol Mirror保持实时同步。生产、同城
的存储数据复制通过DWDM间的裸光纤实现。对于不同站
点的主机来说,看到的是不同的LUN,整体架构非对称,无
需第三仲裁站点,两个站点的存储网络通过DWDM间的裸
光纤级联。如下图所示:
项目亮点
本项目建设内容繁多,考虑因素复杂,建设周期长,有
许多亮点值得同行借鉴。
1、架构先进,松耦合,易扩展。
核心业务系统采用了高端DS8880存储Multiple Target
MGM技术,搭建了3主机3存储的POWERHA高可用性核心
系统平台。架构清晰灵活,稳定性高,数据处理能力强,源
端数据支持双目标端数据复制,可搭建存储三活、三地三
中心。主机与数据独立,主机切换通过POWERHA+IASP实
现,数据的复制通过存储控制实现。
Cloud来了!
云架构践行实录
本对客户无感知。
项目总结
本项目的完成凝聚了江西省农商行全体智慧与力量,
也感谢合作伙伴一直以来的真诚协作。回想过去,项目每
个细节历历在目,有些经验或者建议与大家分享。
1、SVC缓存容灾问题。在实施SVC时最好部署两套。例
IO Group失效时,缓存数据没来得及写入存储,该IOGroup
中的两个节点同时故障,这时你只有一套SVC,你将会丢
失一部分写数据。解决该问题,需要搭建SVC容灾环境。例
在灾备搭建一套集群,通过SVC MM技术实现不同数据中
心间IO Group节点的缓存同步,避免数据丢失。
2、PowerVM网络、存储路径、VIOS高可用问题。
PowerVM技术在给我们带来方便的时候,我们更要考虑它
的稳定与安全性。在做PowerVM虚拟化时,一定要考虑好
网络带宽,网络冗余问题,如果不做好网络物理卡与虚拟
卡的绑定问题,将会造成网络单点问题。存储路径、VIOS高
可用问题,更不能忽略,这关系到POWERVM其上运行的
虚机稳定性及高可用。
3、PowerHA FOR I 双活问题。现在金融行业核心业务
读写分离非常迫切,都希望充分利用核心业务系统备机,
而当前PowerHA for I 不支持双活,备机不可用。但MIMIX基
于日志的数据复制虽然支持双活,但是性能远远不行。
4、高瞻远瞩,放眼未来。随技术革新,业务发展,双活
中心运行必是将来所趋,因此现在的灾备建设都是为双活
做准备,我行对部分数据库正进行DB2 PureScale技术试
点,效果良好。由于DB2 pureScale基于万兆网进行内存共
享,我行万兆网还未完全覆盖双中心,但正在计划筹备中,
我行已完成了数据、应用双活,就剩数据库层面双活了,
DB2 PureScale技术给我们实现数据库双活提供了技术基
础。DB2 PureScale技术强调使用的是集中化的锁管理和
全局缓存,CF节点机群管理。因此CF故障会不会导致全局
出现问题。结合实践,建议在整个集群里面,CF节点配置
一主一备的,主备实时同步,消除CF单点故障,但如果主
备CF节点同时宕机,集群也会受影响,因此建议两个CF节
点在物理位置上隔离,以实现冗余保护。
5、先内而外、先核心后次要。同城容灾顾名思义防范
意外,保护重要数据。因此做同城容灾时,首先分类,对核
心类业务先做,要不然次要的容灾做的很好,核心的反而
没有做,一旦核心出现故障,后果不堪设想。
6、要有分层概念,架构要清晰,易扩展,松耦合。我认
为我行灾备之所以能做的如此顺利,得益于之前的存储整
合。存储整合后,我们整体架构明晰,主机、数据、应用独立
分开,主机层面有那些技术可以做容灾技术,数据层面又
有那些,应用又有那些容灾技术,然后结合自身情况,独立
分析那些技术适合。
Shared Ethernet Adapter。物理交换机与虚拟交换机的级
联就由SEA实现的。SEA是由一个虚拟网卡和一个物理网
卡组成。生产环境中,需要搭建至少两个VIOS,每个VIOS上
至少配置一个SEA。以实现虚拟交换机到物理交换机两条
通道,同时需要配置控制链路来避免网络风暴发生。如下
图所示:
IO虚拟化
IO虚拟化主要有vSCSI方式和NPIV方式。这两种方式都
需要在VIOS上创建server adapter,在VIOC上创建client
adapter。然后在VIOS上执行命令,把物理资源映射给
server adapter。
两种方式都是通过hypervisor中内存通道传输数据,
在相同条件下性能相近。区别是:vSCSI方式映射存储的操
作是在VIOS上执行,NPIV方式映射存储的操作是在存储
上执行的。只有NPIV方式才能支持连接带库。
最优实践分享
· 网络带宽及高可用保障
一般来说所有物理网络adapter均分配给vios,在配备
两个vios的情况下,每个vios至少各分配两块网卡才能保
障网络高可用。但也存在这样的情况,一个vios配一个网
卡,网卡含有四个接口,两个端口分别接不同的网络交换
机,做主备etherchannel,尽管这样也可满足网络高可用
保障,但对于核心应用和关键类应用,这样仅仅只能满足
网络高可用,不能满足网络带宽的需求,尤其是在针对数
据传输较多,需要数据共享,或者需要专门的数据备份、带
内管理时,一张网卡完全不够用,因此每个vios两块网卡
是必须的。
· 网络安全保障
首先需要按照不同业务类别进行网络安全分区的划
分,例我行就划分了外联区、互联网区、核心区、管理区等。
每个网络安全分区再细分为WEB、应用、数据库、带内管
理、数据传输或者备份等,再对细分区分配一个或者几个
VLAN,例按业务分类,存在WEB、应用、数据库等VLAN。
在SEA网络设计时,应设计两个甚至三个SEA:业务
SEA(多个业务VLAN做Trunk),数据传输/共享/备份SEA(
多个VLAN做Trunk)或者数据传输/共享、备份各设计一个
SEA,对于数据量较大的备份,可以考虑上万兆网络。
每个网络安全分区按照上述设计,最上层再设计一个
统一管理网络,实现对每个安全分区管理网络的统一管
理,满足 PowerVM虚拟化资源池的网络架构性能、可靠性
要求,便于网络、运维管理。
· 云管平台、资源池统一管理
PowerVM技术是实现Power硬件虚拟化的基础,但如
果没有云管平台、资源池统一管理,人工操作还是大量存
在,并且杂乱无章,对业务系统批量上线的话,存在资源配
置不正确问题,因此我行基于实践经验,利用PowerVC实
现对PowerVM的接管,实现PowerVM虚拟化实施的自动
化,标准化和快速化,满足目前敏捷开发的需求,再通过
ICM接管PowerVC,实现Power云部署的流程化,并开放各
外围类系统同城容灾采用SVC Vdisk Mirror技术实现本
地两份数据保护,采用SVC Metro Mirror技术实现远程数据
同步复制,采用PowerHA XD进行应用快速切换,实现主机
与数据独立。SVC将来可通过同城的SVC Global Mirror技术
实现外围类交易异地容灾。
2、云技术广泛应用,有效降低机房运维压力。
Power平台采用PowerVM虚拟化技术、存储虚拟化技
术,快速搭建灾备系统,快速复制数据,减少了机房物理空
间与供电负荷压力,缩短人工部署与测试时间。X86平台采
用VMware云技术实现跨中心应用双活,单机版的应用可
任意部署与生产中心或同城容灾中心,并根据需要在中心
之间实现飘移。
3、SVC技术的成功应用,解决了异构存储问题。
SVC技术应用之前,我行的SAN网络架构和存储混乱,
存在数据孤岛,当时生产存储主要有DS3400,DS4700,
V7000,DS8100等,SAN网络架构各自为王,交易类、管理
类数据处理能力与存储不匹配,存储单点增加运维压力
等,经综合考量CDP与SVC技术,我行果断采用了SVC技术
进行了存储整合,为我行私有云与同城容灾建设奠定了坚
实基础,没有存储整合,就不可能有如今完善的容灾建设。
4、双活试点
随着云计算发展,将来双活中心必成趋势,江西农商
行立足现实,未雨绸缪,发挥科技引领作用。在建设灾备的
同时,双活建设开始试点,选取部分应用利用DB2数据库
的PureScale群集技术进行测试,以实现江西农商行的外
围系统的数据库从当前的单台服务器为主,生产服务器辅
以一台服务器为冷备数据库服务器的模式,转变到pureS-
cale数据库多活群集模式。
项目效果
一路走来,风雨兼程,江西农商行由无到有,由弱到强,
在江西农商行兄弟姐妹艰苦攻坚下,在合作伙伴友好协作
下,江西农商行全系统同城容灾建设取得了较大成效,详
细如下:
1、信息孤岛不再存在。经4年全系统容灾建设,对那些
超役设备,利用云技术,将超役设备虚拟化,并搭建同城容
灾,消除单点风险。对那些内置盘数据迁移至外置存储,通
过SVC VDM +MM技术实现数据同城容灾。
2、实现了核心业务系统数据应用级容灾
核心业务系统已建立较完备的两地三中心MGM(
Metro Mirro and Global Mirro)同城容灾架构,搭建3主机3
存储的POWERHA高可用性核心系统平台,本地两存储通
采用基于DS8880的Metro Mirror技术实现核心类系统数据
实时传输,生产、同城灾备存储采用Global Mirror技术实现
准实时传输。切换时间15分钟,RPO和RTO满足要求。
3、实现了外围类系统数据应用级容灾
在同城灾备中心建立所有交易类的灾备系统,利用
SVC实现存储数据实时同步复制,保证主数据中心故障时
存储数据不丢失,外围类业务系统切换时间控制在4小时
以内。
4、提高X86平台交易类系统的数据安全性
将X86平台的交易类系统数据由内置硬盘迁移至外置
存储,并利用灾备机房的第二存储实时保护数据,为灾备
建设打好基础,提高X86平台交易类系统的数据安全性和
灾备切换效率。
5、建立双活试点,为未来全面转向双活系统积累经验。
提高我社的双活技术能力,努力积累运维经验,提前
进行双活战略部署,对一套数据业务系统进行双活试点,
利用业内已有少量案例的DB2 PureScale GDPC技术实现
数据库及双活,配合F5组合成整体业务系统双活,力争做
到双数据中心同时运行业务,跨数据中心业务切换时间基
摘要
自2006年江西省农商行实现数据大集中
以来,业务稳步攀升,数据运行风险压力也
随之增加,如何全面提升系统灾难抵御能力
和数据保护水平,是我行重点工作,也是保
障各业务系统运行连续性的基础。2013年流
程银行改造后,我行对数据中心信息系统架
构进行了优化升级,同时对业务连续性保障
提出了更高要求。为建立符合当前信息系统
架构的同城灾备中心,扩大容灾保护的系统
类别和范围,结合银监会关于商业银行业务
连续性监管的指引意见,我行开始对灾备中
心系统进行全面建设,即全系统同城灾备中
心系统建设,历时两年,2016年完成了所有交
易类系统的同城灾备建设,实现了全业务系
统应用容灾,为我行业务连续性保障奠定了
技术壁垒。项目实施商IBM公司,负责硬件安
装及基础环境搭建。我社主要负责业务停业
时间安排、数据迁移及关键技术运用。
全系统同城容灾建设分成两部分,核心
业务系统同城容灾建设部分,已建立较完备
的两地三中心MGM(Metro Mirro and Global
Mirro)同城容灾架构,搭建3主机3存储的
POWERHA高可用性核心系统平台,本地两
存储通采用基于DS8880的Metro Mirror技术
实现核心类系统数据实时传输,生产、同城
灾备存储采用Global Mirror技术实现准实时
传输,RPO和RTO满足要求;外围类系统同城
容灾建设部分,数据层面,采用SVC Vdisk
Mirror技术实现本地两份数据保护,采用SVC
Metro Mirror技术实现远程数据同步复制;主
机层面,采用PowerVM技术快速搭建灾备系
统,采用PowerHA XD进行应用快速切换;应
用层面,应用接入基于F5/WAS等负载均衡
技术,实现用户访问有序分发至生产、灾备
中心,保障了生产、灾备中心的平台资源充
分利用,达到了数据中心应用双活建设目标
。同时试点DB2 Purescale技术,为全系统双
活建设提供准备。
项目背景
随着江西省农商行省级数据中心建设的
不断深入,以及信息化系统整合趋势的不断
发展,江西省农商行省级数据中心部署了全
省大量业务系统。特别是2013年流程银行改
造后,江西省农商行信息系统架构发生较大
变化,形成了前台集中受理,后台集中处理
模式,业务处理效率极大提升,于此同时,对
数据业务连续性与数据安全提出了更严格要求。因此,江
西农商行充分借鉴学习国有大行与国内外商业银行的宝
贵经验,综合考量了各重要业务系统的可靠性与风险程
度,依据江西农商行与各级监管机构的考核要求,参照“两
地三中心”的灾备体系建设模式,按照系统层次级别逐步
开展全系统同城容灾建设与双活试点。
一、 核心业务系统建设背景
自2006年实现数据大集中以来,随着数据的高度集
中,风险压力也随之增加,保障客户数据安全成为迫在眉
睫的难题,同时随着我行业务量稳步增长及科技发展,监
管部门要求也日趋严格,核心业务系统容灾建设经历了三
个阶段。
第一阶段业务量少,核心业务系统采用的是两台P570
小机,于本地搭建了基于MIMIX技术的容灾,并且没有外置
存储。由于MIMIX基于日志方式做数据复制,每到季度结息
与年终结算,数据延迟相差几个小时,日常维护量也非常
大,这对于业务量较少的情况,可以勉强满足要求。
随着我行业务稳步增长,核心业务系统进入了第二阶
段建设,核心业务系统采用了一台P780与原P570,搭建了
基于PowerHA技术的同城容灾,数据层面采用了DS8700
的Metro Mirror技术实现了生产、同城灾备数据实时传输,
达到了同城数据级容灾。相对第一阶段,技术上、性能上提
升几倍,但随着客户量稳步增长及业务连续性要求,此架
构仍存在许多缺陷,因为一旦核心业务系统宕机,没有可
用备机切换。
核心业务系统第三阶段建设,核心业务系统采用了两
台E870主机、两台DS8880存储,建立了较完备的两地三中
心MGM(Metro Mirro and Global Mirro)同城容灾架构,搭
建3主机3存储的POWERHA高可用性核心系统平台,本地
两存储通采用基于DS8880的Metro Mirror技术实现核心类
系统数据实时传输,生产、灾备存储采用Global Mirror技术
实现准实时传输。
二、 外围类系统建设背景
随着业务的快速发展,信息系统不断发展壮大,如何
进一步优化容灾系统,完善容灾备份机制,提高灾难抵御
能力,以保障各业务系统的持续高效运行愈发显得尤为重
要。
1 、 X86平台的交易类系统存储高可用保护缺陷。
我行存储优化升级后,构建基于SVC的存储虚拟化平
台,消除存储的单点故障隐患,实现了Power平台交易类
和管理类系统的数据整合和存储高可用保护。但X86平台,
部分交易类系统还是用内置硬盘存储数据,存在较大的数
据安全隐患,一旦内置硬盘故障,将会导致业务较长时间
的停顿风险。因此急需尽快利用SVC存储虚拟化平台完成
这部分交易类系统的存储高可用保护。
2 、 实现全业务系统应用容灾,增强业务连续性保障
能力。
我社现已完成的同城容灾建设包括核心系统的应用
级容灾和交易类系统的数据备份级容灾。灾备中心缺少外
围交易类系统主机平台,无法实现在灾备中心恢复系统业
务。亟需对同城容灾系统进行升级优化,搭建灾备中心外
围系统平台,建立生产与灾备中心间的外围系统数据实时
传输复制,实现所有系统业务的容灾切换可用,进而达到
全业务系统的应用级容灾,进一步提升灾难抵御能力。
3 、 为双活数据中心建设目标打下坚实基础
全系统同城灾备中心与Purescale试点的实现能够为
建设双活数据中心的最终目标打下坚实基础。从而改变灾
备中心职能,淡化主备数据中心差异,让双数据中心均衡
承担业务,充分利用设备,提升系统高可用水平。进一步提
升各重要业务系统的RPO/RTO能力,满足我社业务快速
跨步发展需要。
项目解决方案
充分借鉴学习国有大行与国内外商业银行的宝贵经
验,综合考量了各重要业务系统的可靠性与风险程度,依
据江西农商行与各级监管机构的考核要求,参照“两地三
中心”的灾备体系建设模式,采用SVC Metro Mirror、Vdisk
Mirror 、DS8880 Multiple Target MGM等存储虚拟化技术、
PowerHA技术、PowerVM、Vmware等云技术,按照系统层
次级别逐步开展全系统同城容灾建设,进行双活试点。
一、 核心业务系统容灾建设方案
通过存储Metro Mirror技术实现艾溪湖数据中心中主
备机数据保持一致;通过Multiple Target MGM高可用性解
决方案实现艾溪湖数据中心与青山湖数据中心双中心间
同城数据容灾,通过POWERHA+IASP技术实现主机切换。
1 、 架构先进性与技术关键点
(1)考虑核心的数据安全及高效率读写要求,经综合
考量,我行采用了最新、最先进的DS8880高性能存储,利
用业界最先进的Multiple Target MGM技术实现了核心同
城容灾建设。架构优势如下:
可搭建三地三中心架构(本地两份数据、同城灾备一
份数据、第三方中心一份),并支持存储三活,即三台存储
实时同步。以前架构只支持两地三中心建设,并且不支持
生产、灾备存储双活。
架构灵活、可靠。以前架构只支持源端到一个目标端
复制,假如有H1、H2、H3站点,H1-H2—H3只能搭建MGM
架构,即H1-H2为Metro Mirror复制,H2-H3为Global Mirror
复制。现在架构可灵活调整,支持源端到两个目标端复制,
即源端H1与H2、H3都可搭建Metro Mirror复制或一个
Metro Mirror与一个Global Mirror复制。
稳定性高、数据处理强。DS8880高端存储在容灾建设
架构中,在保持数据一致性下,对IO处理也是较先进的,例
下图DS8880 Metro Mirror、Global Mirror展示了写IO处理
过程。
(2)主机切换软件选型
城商行使用基于AS400的核心业务系统,主流切换软
件是PowerHA+IASP与MIMIX,此前我行也使用过MIMIX,运
维工作量大,数据一致性延时严重,切换不确定。随着业务
增长,我行果断放弃了该技术,它们各有优势,详见下表:
2 、 外围类系统容灾建设方案
外围类系统目前采取同城数据级容灾模式,通过TSM
端到端复制功能,每日向同城灾备中心传输数据。但灾备
中心缺少主机,无法恢复外围系统业务,而且备份数据级
灾备模式也限制了恢复业务的速度。
同时,生产中心外围交易系统经过存储整合升级,后
台使用基于SVC的存储级别镜像,所有交易业务系统在本
地均有双份后台存储数据,数据达到本地实时保护级别,
但仍缺少同城容灾系统。
基于此,我行采用基于SVC的Vdisk Mirror及Metro
Mirror技术实现交易类业务系统数据实时传输,部署同城
灾备中心主机系统平台,利用虚拟化技术,建立虚拟分区,
部署全套外围交易业务系统,实现外围交易系统的同城应
用级别容灾。
同城灾备外围交易系统当前架构图如下:
(1)X86平台同城灾备系统建设技术方案
X86平台同城灾备通过SVC stretch cluster方式实现存
储级别的双活是X86平台实现双活灾备系统的第一阶段。
升级优化后的同城灾备外围交易系统X86平台架构如
下:
升级后,通过SVC Stretch Cluster技术实现跨中心的数
据双活方案。对于服务器来说,逻辑层只看到一份数据,这
份逻辑数据对应两份物理拷贝,通过SVC同步写到生产中
心和同城容灾中的高端存储之上,生产中心和同城容灾中
心的服务器看到同一份数据,实现数据级别的同城容灾。
X86平台结合VMware跨中心集群部署方案,可实现应
用级别的同城容灾。VMware支持并行集群的应用可实现
跨中心双活,单机版的应用可任意部署与生产中心或同城
容灾中心,并根据需要在中心之间实现飘移。此方案需要
打通生产中心与同城容灾中心的二层网络,使VMware能
同时管理生产中心和同城容灾中心的服务器。
(2)Power平台同城灾备系统建设技术方案
同城灾备外围交易系统Power平台架构如下:
(3)PureAS平台同城灾备系统建设技术方案
在多点之间数据同步方面,将PureAS上的涉及数据处
理的GPFS与DB2服务器下移至Power平台,因此PureAS平
台数据级容灾方式与Power平台一致,如下图所示:
目前PureApplication上运行6个中间件平台(含WAS、
DB2、BPM、MQ、ESB、WODM、ECM、信贷等)服务,Active
Standby方案就是将运行在上面的中间件通过集群技术
实现多数据中心负载均衡,利用新购的一台PureAS(同时
可作为测试开发使用)部分资源作为同城灾备主机,通过
跨RACK应用集群部署的方式实现PureAS平台应用级别容
灾。PureAS平台应用级容灾建设架构图如下:
(4)Purescale测试与试点的技术方案
利用DB2数据库的PureScale群集技术可以在对应用
透明的场景下,实现数据库的高扩展性和高可用性。未来
江西农商行的外围系统的数据库会逐步从当前的单台服
务器为主生产服务器辅以一台服务器为冷备数据库服务
器的模式,转变到pureScale数据库多活群集模式。即外围
应用系统的数据库将统一规划,由一个或若干个pureS-
cale数据库群集支撑,其中每个pureScale群集都包含分布
于主生产机房和灾备机房的服务器,在正常生产时,这些
服务器同时提供数据服务,实现负载均衡;在故障发生时,
部分节点故障并不影响整个群集对外提供服务,实现系统
的高可用性。在数据库这个层面,双活群集可以实现灾备
场景中的RPO等于零,RTO近似于零(发生故障的数据节
点在宕机时正在修改的那一部分数据将被冻结一小段时
间,正常节点访问其余数据均不受影响)。
如下图所示,数据库群集由四个成员节点、一主一备
两个集群管理节点、一个GPFS共享存储池构成。其中,数
据群集的成员节点和集群管理节点能够分别放置于不同
的物理主机上,并且能够随着负载的增长进行水平扩展。
在此次容灾项目中,利用pureScale的GDPC技术,将上
图的典型架构转变为入下图所示的容灾结构:
其中,主生产站点包含一个集群管理节点(CF Pri)和两
个数据节点(Mbr1和Mbr3),容灾站点包含一个备用集群
管理节点(CF Sec)和两个数据节点(Mbr2和Mbr4)。生产
网络产生的数据操作请求,以负载均衡的方式由四个数据
节点进行响应,每个节点都可以读写所有数据,组成典型
的数据库共享磁盘(Share-disk)架构。四个节点中只要有
一个节点存活就能够对外提供完整的数据服务,但是这种
状况下数据服务的性能将下降到正常状态的四分之一。
集群数据被存储于利用GPFS管理的存储资源池中,逻
辑上,数据只有唯一的一份(上图中粉色的部分),数据库
日志有四份,对应由四个数据节点使用;物理上,日志数据
与交易数据被存为两份,分别放置于生产站点和容灾站
点,它们之间通过GPFS群集保证数据实时的双向复制。在
主生产站点和容灾站点之外的新余站点还将部署一个较
小的虚拟化服务器,用作集群的仲裁,当某个站点的所有
成员都宕机时,仲裁站点和存活站点的成员节点可以形成
多数,从而使GPFS群集继续正常工作,而不会因一个站点
的宕机而造成整个pureScale群集停止服务。
(5)选型、关键技术探讨及最优实践
PowerVM 技术
PowerVM 是基于IBM POWER 处理器的硬件平台上提
供的具有行业领先水平的虚拟化技术家族。它是IBM
Power System 虚拟化技术全新和统一的品牌(逻辑分区,
微分区,Hypervisor,虚拟I/O 服务器,APV,PowerVM Lx86,
Live Partition Mobility)。本次外围类系统容灾项目能快速
建设得益于PowerVM虚拟化技术,节省了机房物理空间与
电荷压力,缩短了人工部署环境时间,减轻了运维压力。由
于PowerVM是个大话题及篇幅问题,下面主要从关键技术
与实施经验进行初探。
CPU虚拟化
与PowerCloud相关的CPU虚拟化功能是动态逻辑分
区DPLAR功能和微分区功能MicroPartition。前者是手工调
整CPU的运算能力,后者是在手工指定的范围内,自动调
整CPU的运算能力。这两个功能都需要RMC的支持。如下
图所示:
网络虚拟化
PowerVM中网络虚拟化相当于是虚拟交换机与物理
交换机的级联。虚拟交换机我们无法通过命令行直接设
置,只能够通过HMC的profile中虚拟网卡的GUI界面中配
置。 如果虚拟网络需要访问外网的话,需要在VIOS中配置
类openstack接口,对接其他非Power云资源池,如KVM、
VMWARE等,最后对接ICO,ICO接管整个开放平台云资源
池,实现各类资源的部署自动化、标准化、快速化。
· 光纤路径最优实践
据我行实践,搭建VIOC的存储光纤网络路径4条为最
佳实践,性能最优,冗余性足够。倘若是通过POWERVC管
理,部署的每个VIOC,有 8条光纤路径,但对于银行核心类
业务高性能要求,一般是4条,AIX的存储多路径软件4条是
最优的。
二、 PowerHA/XD+SVC VDM+MM 技术优势及选型
1 、 选型
开始做外围类系统容灾建设时,我们讨论了三种方案,
经综合考试,我们选择了PowerHA/XD+SVC VDM+MM如下
表所示:
2 、 技术优势
此容灾方案建设,外围类系统消除了本地存储单点隐
患,实现了同城数据双活容灾,采用PowerHA/XD实现了主
机跨站点自动切换。本地主机故障,本地主机互相切换,本
地双主机故障,主机和存储均切灾备主机和存储。同时此
种架构可防范双中心间光纤光衰、线路延时、抖动甚至中
断产生脑裂的现象,极大提升本地站点系统的可靠性。发
生脑裂时,基于PowerHA/XD,生产端的主机数多于灾备站
点,发生脑裂仲裁时,生产站点总是赢得仲裁,将自动关闭
灾备站点主机,生产站点不受任何影响。
3 、 关键技术研讨
生产中心部署了两套SVC集群,灾备部署了一套SVC集
群,生产2套存储,通过SVC VDM保持实时同步,同城站点1
套存储,通过SVC Metrol Mirror保持实时同步。生产、同城
的存储数据复制通过DWDM间的裸光纤实现。对于不同站
点的主机来说,看到的是不同的LUN,整体架构非对称,无
需第三仲裁站点,两个站点的存储网络通过DWDM间的裸
光纤级联。如下图所示:
项目亮点
本项目建设内容繁多,考虑因素复杂,建设周期长,有
许多亮点值得同行借鉴。
1、架构先进,松耦合,易扩展。
核心业务系统采用了高端DS8880存储Multiple Target
MGM技术,搭建了3主机3存储的POWERHA高可用性核心
系统平台。架构清晰灵活,稳定性高,数据处理能力强,源
端数据支持双目标端数据复制,可搭建存储三活、三地三
中心。主机与数据独立,主机切换通过POWERHA+IASP实
现,数据的复制通过存储控制实现。
本对客户无感知。
项目总结
本项目的完成凝聚了江西省农商行全体智慧与力量,
也感谢合作伙伴一直以来的真诚协作。回想过去,项目每
个细节历历在目,有些经验或者建议与大家分享。
1、SVC缓存容灾问题。在实施SVC时最好部署两套。例
IO Group失效时,缓存数据没来得及写入存储,该IOGroup
中的两个节点同时故障,这时你只有一套SVC,你将会丢
失一部分写数据。解决该问题,需要搭建SVC容灾环境。例
在灾备搭建一套集群,通过SVC MM技术实现不同数据中
心间IO Group节点的缓存同步,避免数据丢失。
2、PowerVM网络、存储路径、VIOS高可用问题。
PowerVM技术在给我们带来方便的时候,我们更要考虑它
的稳定与安全性。在做PowerVM虚拟化时,一定要考虑好
网络带宽,网络冗余问题,如果不做好网络物理卡与虚拟
卡的绑定问题,将会造成网络单点问题。存储路径、VIOS高
可用问题,更不能忽略,这关系到POWERVM其上运行的
虚机稳定性及高可用。
3、PowerHA FOR I 双活问题。现在金融行业核心业务
读写分离非常迫切,都希望充分利用核心业务系统备机,
而当前PowerHA for I 不支持双活,备机不可用。但MIMIX基
于日志的数据复制虽然支持双活,但是性能远远不行。
4、高瞻远瞩,放眼未来。随技术革新,业务发展,双活
中心运行必是将来所趋,因此现在的灾备建设都是为双活
做准备,我行对部分数据库正进行DB2 PureScale技术试
点,效果良好。由于DB2 pureScale基于万兆网进行内存共
享,我行万兆网还未完全覆盖双中心,但正在计划筹备中,
我行已完成了数据、应用双活,就剩数据库层面双活了,
DB2 PureScale技术给我们实现数据库双活提供了技术基
础。DB2 PureScale技术强调使用的是集中化的锁管理和
全局缓存,CF节点机群管理。因此CF故障会不会导致全局
出现问题。结合实践,建议在整个集群里面,CF节点配置
一主一备的,主备实时同步,消除CF单点故障,但如果主
备CF节点同时宕机,集群也会受影响,因此建议两个CF节
点在物理位置上隔离,以实现冗余保护。
5、先内而外、先核心后次要。同城容灾顾名思义防范
意外,保护重要数据。因此做同城容灾时,首先分类,对核
心类业务先做,要不然次要的容灾做的很好,核心的反而
没有做,一旦核心出现故障,后果不堪设想。
6、要有分层概念,架构要清晰,易扩展,松耦合。我认
为我行灾备之所以能做的如此顺利,得益于之前的存储整
合。存储整合后,我们整体架构明晰,主机、数据、应用独立
分开,主机层面有那些技术可以做容灾技术,数据层面又
有那些,应用又有那些容灾技术,然后结合自身情况,独立
分析那些技术适合。
Shared Ethernet Adapter。物理交换机与虚拟交换机的级
联就由SEA实现的。SEA是由一个虚拟网卡和一个物理网
卡组成。生产环境中,需要搭建至少两个VIOS,每个VIOS上
至少配置一个SEA。以实现虚拟交换机到物理交换机两条
通道,同时需要配置控制链路来避免网络风暴发生。如下
图所示:
IO虚拟化
IO虚拟化主要有vSCSI方式和NPIV方式。这两种方式都
需要在VIOS上创建server adapter,在VIOC上创建client
adapter。然后在VIOS上执行命令,把物理资源映射给
server adapter。
两种方式都是通过hypervisor中内存通道传输数据,
在相同条件下性能相近。区别是:vSCSI方式映射存储的操
作是在VIOS上执行,NPIV方式映射存储的操作是在存储
上执行的。只有NPIV方式才能支持连接带库。
最优实践分享
· 网络带宽及高可用保障
一般来说所有物理网络adapter均分配给vios,在配备
两个vios的情况下,每个vios至少各分配两块网卡才能保
障网络高可用。但也存在这样的情况,一个vios配一个网
卡,网卡含有四个接口,两个端口分别接不同的网络交换
机,做主备etherchannel,尽管这样也可满足网络高可用
保障,但对于核心应用和关键类应用,这样仅仅只能满足
网络高可用,不能满足网络带宽的需求,尤其是在针对数
据传输较多,需要数据共享,或者需要专门的数据备份、带
内管理时,一张网卡完全不够用,因此每个vios两块网卡
是必须的。
· 网络安全保障
首先需要按照不同业务类别进行网络安全分区的划
分,例我行就划分了外联区、互联网区、核心区、管理区等。
每个网络安全分区再细分为WEB、应用、数据库、带内管
理、数据传输或者备份等,再对细分区分配一个或者几个
VLAN,例按业务分类,存在WEB、应用、数据库等VLAN。
在SEA网络设计时,应设计两个甚至三个SEA:业务
SEA(多个业务VLAN做Trunk),数据传输/共享/备份SEA(
多个VLAN做Trunk)或者数据传输/共享、备份各设计一个
SEA,对于数据量较大的备份,可以考虑上万兆网络。
每个网络安全分区按照上述设计,最上层再设计一个
统一管理网络,实现对每个安全分区管理网络的统一管
理,满足 PowerVM虚拟化资源池的网络架构性能、可靠性
要求,便于网络、运维管理。
·
云管平台、资源池统一管理
PowerVM技术是实现Power硬件虚拟化的基础,但如
果没有云管平台、资源池统一管理,人工操作还是大量存
在,并且杂乱无章,对业务系统批量上线的话,存在资源配
置不正确问题,因此我行基于实践经验,利用PowerVC实
现对PowerVM的接管,实现PowerVM虚拟化实施的自动
化,标准化和快速化,满足目前敏捷开发的需求,再通过
ICM接管PowerVC,实现Power云部署的流程化,并开放各
15
外围类系统同城容灾采用SVC Vdisk Mirror技术实现本
地两份数据保护,采用SVC Metro Mirror技术实现远程数据
同步复制,采用PowerHA XD进行应用快速切换,实现主机
与数据独立。SVC将来可通过同城的SVC Global Mirror技术
实现外围类交易异地容灾。
2、云技术广泛应用,有效降低机房运维压力。
Power平台采用PowerVM虚拟化技术、存储虚拟化技
术,快速搭建灾备系统,快速复制数据,减少了机房物理空
间与供电负荷压力,缩短人工部署与测试时间。X86平台采
用VMware云技术实现跨中心应用双活,单机版的应用可
任意部署与生产中心或同城容灾中心,并根据需要在中心
之间实现飘移。
3、SVC技术的成功应用,解决了异构存储问题。
SVC技术应用之前,我行的SAN网络架构和存储混乱,
存在数据孤岛,当时生产存储主要有DS3400,DS4700,
V7000,DS8100等,SAN网络架构各自为王,交易类、管理
类数据处理能力与存储不匹配,存储单点增加运维压力
等,经综合考量CDP与SVC技术,我行果断采用了SVC技术
进行了存储整合,为我行私有云与同城容灾建设奠定了坚
实基础,没有存储整合,就不可能有如今完善的容灾建设。
4、双活试点
随着云计算发展,将来双活中心必成趋势,江西农商
行立足现实,未雨绸缪,发挥科技引领作用。在建设灾备的
同时,双活建设开始试点,选取部分应用利用DB2数据库
的PureScale群集技术进行测试,以实现江西农商行的外
围系统的数据库从当前的单台服务器为主,生产服务器辅
以一台服务器为冷备数据库服务器的模式,转变到pureS-
cale数据库多活群集模式。
项目效果
一路走来,风雨兼程,江西农商行由无到有,由弱到强,
在江西农商行兄弟姐妹艰苦攻坚下,在合作伙伴友好协作
下,江西农商行全系统同城容灾建设取得了较大成效,详
细如下:
1、信息孤岛不再存在。经4年全系统容灾建设,对那些
超役设备,利用云技术,将超役设备虚拟化,并搭建同城容
灾,消除单点风险。对那些内置盘数据迁移至外置存储,通
过SVC VDM +MM技术实现数据同城容灾。
2、实现了核心业务系统数据应用级容灾
核心业务系统已建立较完备的两地三中心MGM(
Metro Mirro and Global Mirro)同城容灾架构,搭建3主机3
存储的POWERHA高可用性核心系统平台,本地两存储通
采用基于DS8880的Metro Mirror技术实现核心类系统数据
实时传输,生产、同城灾备存储采用Global Mirror技术实现
准实时传输。切换时间15分钟,RPO和RTO满足要求。
3、实现了外围类系统数据应用级容灾
在同城灾备中心建立所有交易类的灾备系统,利用
SVC实现存储数据实时同步复制,保证主数据中心故障时
存储数据不丢失,外围类业务系统切换时间控制在4小时
以内。
4、提高X86平台交易类系统的数据安全性
将X86平台的交易类系统数据由内置硬盘迁移至外置
存储,并利用灾备机房的第二存储实时保护数据,为灾备
建设打好基础,提高X86平台交易类系统的数据安全性和
灾备切换效率。
5、建立双活试点,为未来全面转向双活系统积累经验。
提高我社的双活技术能力,努力积累运维经验,提前
进行双活战略部署,对一套数据业务系统进行双活试点,
利用业内已有少量案例的DB2 PureScale GDPC技术实现
数据库及双活,配合F5组合成整体业务系统双活,力争做
到双数据中心同时运行业务,跨数据中心业务切换时间基
Cloud来了!
云架构践行实录
摘要
自2006年江西省农商行实现数据大集中
以来,业务稳步攀升,数据运行风险压力也
随之增加,如何全面提升系统灾难抵御能力
和数据保护水平,是我行重点工作,也是保
障各业务系统运行连续性的基础。2013年流
程银行改造后,我行对数据中心信息系统架
构进行了优化升级,同时对业务连续性保障
提出了更高要求。为建立符合当前信息系统
架构的同城灾备中心,扩大容灾保护的系统
类别和范围,结合银监会关于商业银行业务
连续性监管的指引意见,我行开始对灾备中
心系统进行全面建设,即全系统同城灾备中
心系统建设,历时两年,2016年完成了所有交
易类系统的同城灾备建设,实现了全业务系
统应用容灾,为我行业务连续性保障奠定了
技术壁垒。项目实施商IBM公司,负责硬件安
装及基础环境搭建。我社主要负责业务停业
时间安排、数据迁移及关键技术运用。
全系统同城容灾建设分成两部分,核心
业务系统同城容灾建设部分,已建立较完备
的两地三中心MGM(Metro Mirro and Global
Mirro)同城容灾架构,搭建3主机3存储的
POWERHA高可用性核心系统平台,本地两
存储通采用基于DS8880的Metro Mirror技术
实现核心类系统数据实时传输,生产、同城
灾备存储采用Global Mirror技术实现准实时
传输,RPO和RTO满足要求;外围类系统同城
容灾建设部分,数据层面,采用SVC Vdisk
Mirror技术实现本地两份数据保护,采用SVC
Metro Mirror技术实现远程数据同步复制;主
机层面,采用PowerVM技术快速搭建灾备系
统,采用PowerHA XD进行应用快速切换;应
用层面,应用接入基于F5/WAS等负载均衡
技术,实现用户访问有序分发至生产、灾备
中心,保障了生产、灾备中心的平台资源充
分利用,达到了数据中心应用双活建设目标
。同时试点DB2 Purescale技术,为全系统双
活建设提供准备。
项目背景
随着江西省农商行省级数据中心建设的
不断深入,以及信息化系统整合趋势的不断
发展,江西省农商行省级数据中心部署了全
省大量业务系统。特别是2013年流程银行改
造后,江西省农商行信息系统架构发生较大
变化,形成了前台集中受理,后台集中处理
模式,业务处理效率极大提升,于此同时,对
数据业务连续性与数据安全提出了更严格要求。因此,江
西农商行充分借鉴学习国有大行与国内外商业银行的宝
贵经验,综合考量了各重要业务系统的可靠性与风险程
度,依据江西农商行与各级监管机构的考核要求,参照“两
地三中心”的灾备体系建设模式,按照系统层次级别逐步
开展全系统同城容灾建设与双活试点。
一、 核心业务系统建设背景
自2006年实现数据大集中以来,随着数据的高度集
中,风险压力也随之增加,保障客户数据安全成为迫在眉
睫的难题,同时随着我行业务量稳步增长及科技发展,监
管部门要求也日趋严格,核心业务系统容灾建设经历了三
个阶段。
第一阶段业务量少,核心业务系统采用的是两台P570
小机,于本地搭建了基于MIMIX技术的容灾,并且没有外置
存储。由于MIMIX基于日志方式做数据复制,每到季度结息
与年终结算,数据延迟相差几个小时,日常维护量也非常
大,这对于业务量较少的情况,可以勉强满足要求。
随着我行业务稳步增长,核心业务系统进入了第二阶
段建设,核心业务系统采用了一台P780与原P570,搭建了
基于PowerHA技术的同城容灾,数据层面采用了DS8700
的Metro Mirror技术实现了生产、同城灾备数据实时传输,
达到了同城数据级容灾。相对第一阶段,技术上、性能上提
升几倍,但随着客户量稳步增长及业务连续性要求,此架
构仍存在许多缺陷,因为一旦核心业务系统宕机,没有可
用备机切换。
核心业务系统第三阶段建设,核心业务系统采用了两
台E870主机、两台DS8880存储,建立了较完备的两地三中
心MGM(Metro Mirro and Global Mirro)同城容灾架构,搭
建3主机3存储的POWERHA高可用性核心系统平台,本地
两存储通采用基于DS8880的Metro Mirror技术实现核心类
系统数据实时传输,生产、灾备存储采用Global Mirror技术
实现准实时传输。
二、 外围类系统建设背景
随着业务的快速发展,信息系统不断发展壮大,如何
进一步优化容灾系统,完善容灾备份机制,提高灾难抵御
能力,以保障各业务系统的持续高效运行愈发显得尤为重
要。
1 、 X86平台的交易类系统存储高可用保护缺陷。
我行存储优化升级后,构建基于SVC的存储虚拟化平
台,消除存储的单点故障隐患,实现了Power平台交易类
和管理类系统的数据整合和存储高可用保护。但X86平台,
部分交易类系统还是用内置硬盘存储数据,存在较大的数
据安全隐患,一旦内置硬盘故障,将会导致业务较长时间
的停顿风险。因此急需尽快利用SVC存储虚拟化平台完成
这部分交易类系统的存储高可用保护。
2 、 实现全业务系统应用容灾,增强业务连续性保障
能力。
我社现已完成的同城容灾建设包括核心系统的应用
级容灾和交易类系统的数据备份级容灾。灾备中心缺少外
围交易类系统主机平台,无法实现在灾备中心恢复系统业
务。亟需对同城容灾系统进行升级优化,搭建灾备中心外
围系统平台,建立生产与灾备中心间的外围系统数据实时
传输复制,实现所有系统业务的容灾切换可用,进而达到
全业务系统的应用级容灾,进一步提升灾难抵御能力。
3 、 为双活数据中心建设目标打下坚实基础
全系统同城灾备中心与Purescale试点的实现能够为
建设双活数据中心的最终目标打下坚实基础。从而改变灾
备中心职能,淡化主备数据中心差异,让双数据中心均衡
承担业务,充分利用设备,提升系统高可用水平。进一步提
升各重要业务系统的RPO/RTO能力,满足我社业务快速
跨步发展需要。
项目解决方案
充分借鉴学习国有大行与国内外商业银行的宝贵经
验,综合考量了各重要业务系统的可靠性与风险程度,依
据江西农商行与各级监管机构的考核要求,参照“两地三
中心”的灾备体系建设模式,采用SVC Metro Mirror、Vdisk
Mirror 、DS8880 Multiple Target MGM等存储虚拟化技术、
PowerHA技术、PowerVM、Vmware等云技术,按照系统层
次级别逐步开展全系统同城容灾建设,进行双活试点。
一、 核心业务系统容灾建设方案
通过存储Metro Mirror技术实现艾溪湖数据中心中主
备机数据保持一致;通过Multiple Target MGM高可用性解
决方案实现艾溪湖数据中心与青山湖数据中心双中心间
同城数据容灾,通过POWERHA+IASP技术实现主机切换。
1 、 架构先进性与技术关键点
(1)考虑核心的数据安全及高效率读写要求,经综合
考量,我行采用了最新、最先进的DS8880高性能存储,利
用业界最先进的Multiple Target MGM技术实现了核心同
城容灾建设。架构优势如下:
可搭建三地三中心架构(本地两份数据、同城灾备一
份数据、第三方中心一份),并支持存储三活,即三台存储
实时同步。以前架构只支持两地三中心建设,并且不支持
生产、灾备存储双活。
架构灵活、可靠。以前架构只支持源端到一个目标端
复制,假如有H1、H2、H3站点,H1-H2—H3只能搭建MGM
架构,即H1-H2为Metro Mirror复制,H2-H3为Global Mirror
复制。现在架构可灵活调整,支持源端到两个目标端复制,
即源端H1与H2、H3都可搭建Metro Mirror复制或一个
Metro Mirror与一个Global Mirror复制。
稳定性高、数据处理强。DS8880高端存储在容灾建设
架构中,在保持数据一致性下,对IO处理也是较先进的,例
下图DS8880 Metro Mirror、Global Mirror展示了写IO处理
过程。
(2)主机切换软件选型
城商行使用基于AS400的核心业务系统,主流切换软
件是PowerHA+IASP与MIMIX,此前我行也使用过MIMIX,运
维工作量大,数据一致性延时严重,切换不确定。随着业务
增长,我行果断放弃了该技术,它们各有优势,详见下表:
2 、 外围类系统容灾建设方案
外围类系统目前采取同城数据级容灾模式,通过TSM
端到端复制功能,每日向同城灾备中心传输数据。但灾备
中心缺少主机,无法恢复外围系统业务,而且备份数据级
灾备模式也限制了恢复业务的速度。
同时,生产中心外围交易系统经过存储整合升级,后
台使用基于SVC的存储级别镜像,所有交易业务系统在本
地均有双份后台存储数据,数据达到本地实时保护级别,
但仍缺少同城容灾系统。
基于此,我行采用基于SVC的Vdisk Mirror及Metro
Mirror技术实现交易类业务系统数据实时传输,部署同城
灾备中心主机系统平台,利用虚拟化技术,建立虚拟分区,
部署全套外围交易业务系统,实现外围交易系统的同城应
用级别容灾。
同城灾备外围交易系统当前架构图如下:
(1)X86平台同城灾备系统建设技术方案
X86平台同城灾备通过SVC stretch cluster方式实现存
储级别的双活是X86平台实现双活灾备系统的第一阶段。
升级优化后的同城灾备外围交易系统X86平台架构如
下:
升级后,通过SVC Stretch Cluster技术实现跨中心的数
据双活方案。对于服务器来说,逻辑层只看到一份数据,这
份逻辑数据对应两份物理拷贝,通过SVC同步写到生产中
心和同城容灾中的高端存储之上,生产中心和同城容灾中
心的服务器看到同一份数据,实现数据级别的同城容灾。
X86平台结合VMware跨中心集群部署方案,可实现应
用级别的同城容灾。VMware支持并行集群的应用可实现
跨中心双活,单机版的应用可任意部署与生产中心或同城
容灾中心,并根据需要在中心之间实现飘移。此方案需要
打通生产中心与同城容灾中心的二层网络,使VMware能
同时管理生产中心和同城容灾中心的服务器。
(2)Power平台同城灾备系统建设技术方案
同城灾备外围交易系统Power平台架构如下:
(3)PureAS平台同城灾备系统建设技术方案
在多点之间数据同步方面,将PureAS上的涉及数据处
理的GPFS与DB2服务器下移至Power平台,因此PureAS平
台数据级容灾方式与Power平台一致,如下图所示:
目前PureApplication上运行6个中间件平台(含WAS、
DB2、BPM、MQ、ESB、WODM、ECM、信贷等)服务,Active
Standby方案就是将运行在上面的中间件通过集群技术
实现多数据中心负载均衡,利用新购的一台PureAS(同时
可作为测试开发使用)部分资源作为同城灾备主机,通过
跨RACK应用集群部署的方式实现PureAS平台应用级别容
灾。PureAS平台应用级容灾建设架构图如下:
(4)Purescale测试与试点的技术方案
利用DB2数据库的PureScale群集技术可以在对应用
透明的场景下,实现数据库的高扩展性和高可用性。未来
江西农商行的外围系统的数据库会逐步从当前的单台服
务器为主生产服务器辅以一台服务器为冷备数据库服务
器的模式,转变到pureScale数据库多活群集模式。即外围
应用系统的数据库将统一规划,由一个或若干个pureS-
cale数据库群集支撑,其中每个pureScale群集都包含分布
于主生产机房和灾备机房的服务器,在正常生产时,这些
服务器同时提供数据服务,实现负载均衡;在故障发生时,
部分节点故障并不影响整个群集对外提供服务,实现系统
的高可用性。在数据库这个层面,双活群集可以实现灾备
场景中的RPO等于零,RTO近似于零(发生故障的数据节
点在宕机时正在修改的那一部分数据将被冻结一小段时
间,正常节点访问其余数据均不受影响)。
如下图所示,数据库群集由四个成员节点、一主一备
两个集群管理节点、一个GPFS共享存储池构成。其中,数
据群集的成员节点和集群管理节点能够分别放置于不同
的物理主机上,并且能够随着负载的增长进行水平扩展。
在此次容灾项目中,利用pureScale的GDPC技术,将上
图的典型架构转变为入下图所示的容灾结构:
其中,主生产站点包含一个集群管理节点(CF Pri)和两
个数据节点(Mbr1和Mbr3),容灾站点包含一个备用集群
管理节点(CF Sec)和两个数据节点(Mbr2和Mbr4)。生产
网络产生的数据操作请求,以负载均衡的方式由四个数据
节点进行响应,每个节点都可以读写所有数据,组成典型
的数据库共享磁盘(Share-disk)架构。四个节点中只要有
一个节点存活就能够对外提供完整的数据服务,但是这种
状况下数据服务的性能将下降到正常状态的四分之一。
集群数据被存储于利用GPFS管理的存储资源池中,逻
辑上,数据只有唯一的一份(上图中粉色的部分),数据库
日志有四份,对应由四个数据节点使用;物理上,日志数据
与交易数据被存为两份,分别放置于生产站点和容灾站
点,它们之间通过GPFS群集保证数据实时的双向复制。在
主生产站点和容灾站点之外的新余站点还将部署一个较
小的虚拟化服务器,用作集群的仲裁,当某个站点的所有
成员都宕机时,仲裁站点和存活站点的成员节点可以形成
多数,从而使GPFS群集继续正常工作,而不会因一个站点
的宕机而造成整个pureScale群集停止服务。
(5)选型、关键技术探讨及最优实践
PowerVM 技术
PowerVM 是基于IBM POWER 处理器的硬件平台上提
供的具有行业领先水平的虚拟化技术家族。它是IBM
Power System 虚拟化技术全新和统一的品牌(逻辑分区,
微分区,Hypervisor,虚拟I/O 服务器,APV,PowerVM Lx86,
Live Partition Mobility)。本次外围类系统容灾项目能快速
建设得益于PowerVM虚拟化技术,节省了机房物理空间与
电荷压力,缩短了人工部署环境时间,减轻了运维压力。由
于PowerVM是个大话题及篇幅问题,下面主要从关键技术
与实施经验进行初探。
CPU虚拟化
与PowerCloud相关的CPU虚拟化功能是动态逻辑分
区DPLAR功能和微分区功能MicroPartition。前者是手工调
整CPU的运算能力,后者是在手工指定的范围内,自动调
整CPU的运算能力。这两个功能都需要RMC的支持。如下
图所示:
网络虚拟化
PowerVM中网络虚拟化相当于是虚拟交换机与物理
交换机的级联。虚拟交换机我们无法通过命令行直接设
置,只能够通过HMC的profile中虚拟网卡的GUI界面中配
置。 如果虚拟网络需要访问外网的话,需要在VIOS中配置
类openstack接口,对接其他非Power云资源池,如KVM、
VMWARE等,最后对接ICO,ICO接管整个开放平台云资源
池,实现各类资源的部署自动化、标准化、快速化。
· 光纤路径最优实践
据我行实践,搭建VIOC的存储光纤网络路径4条为最
佳实践,性能最优,冗余性足够。倘若是通过POWERVC管
理,部署的每个VIOC,有 8条光纤路径,但对于银行核心类
业务高性能要求,一般是4条,AIX的存储多路径软件4条是
最优的。
二、 PowerHA/XD+SVC VDM+MM 技术优势及选型
1 、 选型
开始做外围类系统容灾建设时,我们讨论了三种方案,
经综合考试,我们选择了PowerHA/XD+SVC VDM+MM如下
表所示:
2 、 技术优势
此容灾方案建设,外围类系统消除了本地存储单点隐
患,实现了同城数据双活容灾,采用PowerHA/XD实现了主
机跨站点自动切换。本地主机故障,本地主机互相切换,本
地双主机故障,主机和存储均切灾备主机和存储。同时此
种架构可防范双中心间光纤光衰、线路延时、抖动甚至中
断产生脑裂的现象,极大提升本地站点系统的可靠性。发
生脑裂时,基于PowerHA/XD,生产端的主机数多于灾备站
点,发生脑裂仲裁时,生产站点总是赢得仲裁,将自动关闭
灾备站点主机,生产站点不受任何影响。
3 、 关键技术研讨
生产中心部署了两套SVC集群,灾备部署了一套SVC集
群,生产2套存储,通过SVC VDM保持实时同步,同城站点1
套存储,通过SVC Metrol Mirror保持实时同步。生产、同城
的存储数据复制通过DWDM间的裸光纤实现。对于不同站
点的主机来说,看到的是不同的LUN,整体架构非对称,无
需第三仲裁站点,两个站点的存储网络通过DWDM间的裸
光纤级联。如下图所示:
项目亮点
本项目建设内容繁多,考虑因素复杂,建设周期长,有
许多亮点值得同行借鉴。
1、架构先进,松耦合,易扩展。
核心业务系统采用了高端DS8880存储Multiple Target
MGM技术,搭建了3主机3存储的POWERHA高可用性核心
系统平台。架构清晰灵活,稳定性高,数据处理能力强,源
端数据支持双目标端数据复制,可搭建存储三活、三地三
中心。主机与数据独立,主机切换通过POWERHA+IASP实
现,数据的复制通过存储控制实现。
16
本对客户无感知。
项目总结
本项目的完成凝聚了江西省农商行全体智慧与力量,
也感谢合作伙伴一直以来的真诚协作。回想过去,项目每
个细节历历在目,有些经验或者建议与大家分享。
1、SVC缓存容灾问题。在实施SVC时最好部署两套。例
IO Group失效时,缓存数据没来得及写入存储,该IOGroup
中的两个节点同时故障,这时你只有一套SVC,你将会丢
失一部分写数据。解决该问题,需要搭建SVC容灾环境。例
在灾备搭建一套集群,通过SVC MM技术实现不同数据中
心间IO Group节点的缓存同步,避免数据丢失。
2、PowerVM网络、存储路径、VIOS高可用问题。
PowerVM技术在给我们带来方便的时候,我们更要考虑它
的稳定与安全性。在做PowerVM虚拟化时,一定要考虑好
网络带宽,网络冗余问题,如果不做好网络物理卡与虚拟
卡的绑定问题,将会造成网络单点问题。存储路径、VIOS高
可用问题,更不能忽略,这关系到POWERVM其上运行的
虚机稳定性及高可用。
3、PowerHA FOR I 双活问题。现在金融行业核心业务
读写分离非常迫切,都希望充分利用核心业务系统备机,
而当前PowerHA for I 不支持双活,备机不可用。但MIMIX基
于日志的数据复制虽然支持双活,但是性能远远不行。
4、高瞻远瞩,放眼未来。随技术革新,业务发展,双活
中心运行必是将来所趋,因此现在的灾备建设都是为双活
做准备,我行对部分数据库正进行DB2 PureScale技术试
点,效果良好。由于DB2 pureScale基于万兆网进行内存共
享,我行万兆网还未完全覆盖双中心,但正在计划筹备中,
我行已完成了数据、应用双活,就剩数据库层面双活了,
DB2 PureScale技术给我们实现数据库双活提供了技术基
础。DB2 PureScale技术强调使用的是集中化的锁管理和
全局缓存,CF节点机群管理。因此CF故障会不会导致全局
出现问题。结合实践,建议在整个集群里面,CF节点配置
一主一备的,主备实时同步,消除CF单点故障,但如果主
备CF节点同时宕机,集群也会受影响,因此建议两个CF节
点在物理位置上隔离,以实现冗余保护。
5、先内而外、先核心后次要。同城容灾顾名思义防范
意外,保护重要数据。因此做同城容灾时,首先分类,对核
心类业务先做,要不然次要的容灾做的很好,核心的反而
没有做,一旦核心出现故障,后果不堪设想。
6、要有分层概念,架构要清晰,易扩展,松耦合。我认
为我行灾备之所以能做的如此顺利,得益于之前的存储整
合。存储整合后,我们整体架构明晰,主机、数据、应用独立
分开,主机层面有那些技术可以做容灾技术,数据层面又
有那些,应用又有那些容灾技术,然后结合自身情况,独立
分析那些技术适合。
Cloud来了!
云架构践行实录
Shared Ethernet Adapter。物理交换机与虚拟交换机的级
联就由SEA实现的。SEA是由一个虚拟网卡和一个物理网
卡组成。生产环境中,需要搭建至少两个VIOS,每个VIOS上
至少配置一个SEA。以实现虚拟交换机到物理交换机两条
通道,同时需要配置控制链路来避免网络风暴发生。如下
图所示:
IO虚拟化
IO虚拟化主要有vSCSI方式和NPIV方式。这两种方式都
需要在VIOS上创建server adapter,在VIOC上创建client
adapter。然后在VIOS上执行命令,把物理资源映射给
server adapter。
两种方式都是通过hypervisor中内存通道传输数据,
在相同条件下性能相近。区别是:vSCSI方式映射存储的操
作是在VIOS上执行,NPIV方式映射存储的操作是在存储
上执行的。只有NPIV方式才能支持连接带库。
最优实践分享
· 网络带宽及高可用保障
一般来说所有物理网络adapter均分配给vios,在配备
两个vios的情况下,每个vios至少各分配两块网卡才能保
障网络高可用。但也存在这样的情况,一个vios配一个网
卡,网卡含有四个接口,两个端口分别接不同的网络交换
机,做主备etherchannel,尽管这样也可满足网络高可用
保障,但对于核心应用和关键类应用,这样仅仅只能满足
网络高可用,不能满足网络带宽的需求,尤其是在针对数
据传输较多,需要数据共享,或者需要专门的数据备份、带
内管理时,一张网卡完全不够用,因此每个vios两块网卡
是必须的。
· 网络安全保障
首先需要按照不同业务类别进行网络安全分区的划
分,例我行就划分了外联区、互联网区、核心区、管理区等。
每个网络安全分区再细分为WEB、应用、数据库、带内管
理、数据传输或者备份等,再对细分区分配一个或者几个
VLAN,例按业务分类,存在WEB、应用、数据库等VLAN。
在SEA网络设计时,应设计两个甚至三个SEA:业务
SEA(多个业务VLAN做Trunk),数据传输/共享/备份SEA(
多个VLAN做Trunk)或者数据传输/共享、备份各设计一个
SEA,对于数据量较大的备份,可以考虑上万兆网络。
每个网络安全分区按照上述设计,最上层再设计一个
统一管理网络,实现对每个安全分区管理网络的统一管
理,满足 PowerVM虚拟化资源池的网络架构性能、可靠性
要求,便于网络、运维管理。
· 云管平台、资源池统一管理
PowerVM技术是实现Power硬件虚拟化的基础,但如
果没有云管平台、资源池统一管理,人工操作还是大量存
在,并且杂乱无章,对业务系统批量上线的话,存在资源配
置不正确问题,因此我行基于实践经验,利用PowerVC实
现对PowerVM的接管,实现PowerVM虚拟化实施的自动
化,标准化和快速化,满足目前敏捷开发的需求,再通过
ICM接管PowerVC,实现Power云部署的流程化,并开放各
外围类系统同城容灾采用SVC Vdisk Mirror技术实现本
地两份数据保护,采用SVC Metro Mirror技术实现远程数据
同步复制,采用PowerHA XD进行应用快速切换,实现主机
与数据独立。SVC将来可通过同城的SVC Global Mirror技术
实现外围类交易异地容灾。
2、云技术广泛应用,有效降低机房运维压力。
Power平台采用PowerVM虚拟化技术、存储虚拟化技
术,快速搭建灾备系统,快速复制数据,减少了机房物理空
间与供电负荷压力,缩短人工部署与测试时间。X86平台采
用VMware云技术实现跨中心应用双活,单机版的应用可
任意部署与生产中心或同城容灾中心,并根据需要在中心
之间实现飘移。
3、SVC技术的成功应用,解决了异构存储问题。
SVC技术应用之前,我行的SAN网络架构和存储混乱,
存在数据孤岛,当时生产存储主要有DS3400,DS4700,
V7000,DS8100等,SAN网络架构各自为王,交易类、管理
类数据处理能力与存储不匹配,存储单点增加运维压力
等,经综合考量CDP与SVC技术,我行果断采用了SVC技术
进行了存储整合,为我行私有云与同城容灾建设奠定了坚
实基础,没有存储整合,就不可能有如今完善的容灾建设。
4、双活试点
随着云计算发展,将来双活中心必成趋势,江西农商
行立足现实,未雨绸缪,发挥科技引领作用。在建设灾备的
同时,双活建设开始试点,选取部分应用利用DB2数据库
的PureScale群集技术进行测试,以实现江西农商行的外
围系统的数据库从当前的单台服务器为主,生产服务器辅
以一台服务器为冷备数据库服务器的模式,转变到pureS-
cale数据库多活群集模式。
项目效果
一路走来,风雨兼程,江西农商行由无到有,由弱到强,
在江西农商行兄弟姐妹艰苦攻坚下,在合作伙伴友好协作
下,江西农商行全系统同城容灾建设取得了较大成效,详
细如下:
1、信息孤岛不再存在。经4年全系统容灾建设,对那些
超役设备,利用云技术,将超役设备虚拟化,并搭建同城容
灾,消除单点风险。对那些内置盘数据迁移至外置存储,通
过SVC VDM +MM技术实现数据同城容灾。
2、实现了核心业务系统数据应用级容灾
核心业务系统已建立较完备的两地三中心MGM(
Metro Mirro and Global Mirro)同城容灾架构,搭建3主机3
存储的POWERHA高可用性核心系统平台,本地两存储通
采用基于DS8880的Metro Mirror技术实现核心类系统数据
实时传输,生产、同城灾备存储采用Global Mirror技术实现
准实时传输。切换时间15分钟,RPO和RTO满足要求。
3、实现了外围类系统数据应用级容灾
在同城灾备中心建立所有交易类的灾备系统,利用
SVC实现存储数据实时同步复制,保证主数据中心故障时
存储数据不丢失,外围类业务系统切换时间控制在4小时
以内。
4、提高X86平台交易类系统的数据安全性
将X86平台的交易类系统数据由内置硬盘迁移至外置
存储,并利用灾备机房的第二存储实时保护数据,为灾备
建设打好基础,提高X86平台交易类系统的数据安全性和
灾备切换效率。
5、建立双活试点,为未来全面转向双活系统积累经验。
提高我社的双活技术能力,努力积累运维经验,提前
进行双活战略部署,对一套数据业务系统进行双活试点,
利用业内已有少量案例的DB2 PureScale GDPC技术实现
数据库及双活,配合F5组合成整体业务系统双活,力争做
到双数据中心同时运行业务,跨数据中心业务切换时间基
剩余102页未读,继续阅读
2804 浏览量
2021-10-10 上传
1387 浏览量
2021-10-10 上传
2024-07-11 上传
2021-10-14 上传
wajika
- 粉丝: 2
- 资源: 16
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- gtk-sharp-2.12.44,安装Snapdragon Profiler所需环境
- 商业源码-编程源码-Blue Magic Board v2.3.zip
- Unity Mega-Fiers 3.49.zip
- 保温墙窗台节点图
- kaggle_challenges
- 人脸识别
- flink源码分析
- IO:java基础io流
- 技术交底及其安全资料库-电动凿岩机安全操作规程技术交底
- 计时器实现3秒切换一次内容.rar
- 商业源码-编程源码-Okphp Newsgator(新闻CMS系统) v1.1.zip
- YunEC云商城_1.3.zip
- 3bc-lang:这是一种只有3个CPU寄存器位的机器语言,其思想是使其变得如此简单和直观,以便可以在打Kong卡上轻松读取
- typable-react:编写React道具类型以便轻松提取到文档中
- Strathweb.CacheOutput, 允许你缓存ApiControllers输出的ASP.NET Web API CacheOutput库.zip
- 议程
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功