交通银行核心系统分布式实践

背景:客户需求和痛点

交通银行已有核心ECIF、贷记卡核心、借记卡新核心等数百套系统上线OceanBase分布式数据库。其中,贷记卡(俗称信用卡)属于 A类核心业务系统,支撑了信用卡授权、用卡、额度、账务等核心业务功能,约7千万卡量,日交易量和数据量都在千万级别。

交通银行贷记卡是当年由法国服务商ATOS 源讯建设,使用IBM Z/OS 大型机 + CICS+ DB2+COBOL 为基础,该系统已上线运行十余年,在册卡量超过7000万,日均授权交易量1200万,日均查询维护交易量近2亿,每日批量运行时间约11.5小时,且与发卡量成正比增长,给系统运行安全已经带来巨大风险。

  • 容灾标准高:贷记卡业务支撑着交行上亿客户交易,需要满足7x24小时持续服务,高可用容灾要求达到5级。

  • 建设成本高:原有业务系统基于传统大机和DB2数据库的封闭模式运行架构,IT建设成本高昂。

  • 备机房资源浪费:近年来随着业务并发量的不断增加,数据库系统处理能力不足的问题凸显。冷备机房随时待命但不提供数据服务,资源利用率低。

  • 旧架构无法满足新增长要求:当前贷记卡核心使用IBM大型机+CICS+DB2 for zOS的技术体系,整体架构稳定但技术栈封闭、很难水平扩展,且IT投入巨大,无法满足快速增长的业务量和快速响应各种新的业务需求。

选型:客户选型主要考虑哪些因素?

  • 城市级容灾:两地四中心,满足金融行业5级容灾要求

  • 高性能:数据量和业务量较大,性能要求极高;业务复杂度高,对数据库的功能与性能要求对标大机;OceanBase交易耗时达到大型机水准

  • 架构先进:专有云+分布式微服务单元化+分布式数据库。新开发系统,业务体量大,开发任务重,OceanBase对于此类重要系统的良好支撑能力

  • 节约成本:每年数千万

实践:具体方案

  • 整体解决方案:阿里云+SOFA中间件+OceanBase分布式数据库整体技术栈,实现两地四中心多地多活+单元化设计,示范意义重大。

  • 多租户方案:基于OceanBase多租户特性,跨多集群百租户百库百表单元化设计,其中5个单元化(Rzone)集群:每个集群20个租户,每个租户对应一套分片库/表,总共百租户/百库/百表,统一按客户内部编号分片;实现资源隔离和减少爆炸。通过OceanBase租户切主能力配合应用流量分配实现机房级访问收敛和流量调拨。

  • 迁移方案:通过OMS实现百库百表-单库数据同步,解决类似催收批量等非单元化语境下的数据聚合访问需求。OceanBase超高的写入性能,支持长亮、天阳分别采用联机写入和多表join写入等不同的数据迁移方式,4小时内完成全量7T数据从大机卸数、数据转换和加载。

新一代分布式云计算平台是交通银行分布式信息系统建设关键“底座”,也是未来分布式技术框架的核心。结合贷记卡系统重构建设,新云平台按照全行一体化协同、一体化运维、一体化分布式技术栈的建设要求,对张江中心、同城中心、武汉中心和测试云等多个环境进行规划和建设。

交通银行的架构方案采用阿里云+SOFA+OceanBase单元化多机房多活整体解决方案。OceanBase提供两地四中心五副本+主备库高可用方案。OceanBase采用同城三机房容灾部署架构+异地主备集群架构。其中OceanBase主集群采用“2+2+1”五副本方式部署,通过Paxos协议保证同城三机房数据强一致性;同时上海同城机房多活,可按照流量比例进行调拨。

比较特殊的是,因为银行客户应用系统只是简单的主备架构,不能够像 OceanBase 一样是多地多中心,为了防止张江主机房出现双断(和金桥、漕河泾全部失去联系), OceanBase 除了在武汉有一个备份集群, 还在张江主机房增加了一个备份集群。这种部署也显示了 OceanBase 的灵活性。

成果:价值体现

OceanBase作为交通银行分布式信息系统建设关键“底座”和核心,帮助交通银行整体IT体系向新一代云平台、分布式架构全面转型。

  • 成本:贷记卡核心系统从大型主机下移到国产化x86服务器,云原生、低端服务器资源,降低了主机mips的消耗,每年节约IT成本数千万元

  • 容灾: 实现两地四中心的城市级容灾方案,满足5级容灾要求,满足7x24小时服务要求;快速恢复、流量调拨,高冗余、机房/城市级容灾,同城容灾要求RPO=0,RTO分钟级,达到金融行业最高灾难恢复能力6级;低风险:故障影响隔离、爆炸半径小

  • 性能:得益于OceanBase强大的处理能力和水平扩展能力,从容应对双十一、最红星期五等业务高峰,保证业务性能指标

  • 效率:实现自动化运维、可观测+安全生产

  • 未来发展:全栈阿里云技术,专有云 + 分布式数据库 + 分布式微服务单元化业务改造,满足未来10年业务增长需求

  • 其他:实现了既定的核心设计要求(四高两低)

交通银行核心系统分布式实践对于OceanBase、交融银行以及金融行业意义重大:

站在OceanBase视角:交通银行贷记卡系统是单个业务系统最大规模的OceanBase集群;该系统成功上线,将开创银行核心上云战略新的篇章。

站在交通银行视角:交通银行贷记卡系统属于A类核心业务系统,其上云首次实现了国有大行核心系统从IBM大机集中式架构,向云上分布式单元化金融级架构的技术转型。目标支撑上亿卡量,千万级别的日均交易量,并通过“同城双活+异地灾备”的两地三中心容灾架构,确保核心业务RPO为0。生产环境性能测试已达到金融类交易6000TPS+非金融类交易20000TPS的目标值。

站在金融行业视角:金融行业是中国企业级IT建设高水准的代表,五大国有银行更是其中的佼佼者。交通银行在全面上云的规划和决心远超其他国有大行,本次和阿里云+OceanBase携手,对双方都有深远的意义,极具标杆价值。核心应用贷记卡系统是和存贷核心并列的两大银行核心系统,是国内大行大机下移的第一个核心系统,具有极其重要的示范效应。

请使用浏览器的分享功能分享到微信等