“两地三中心”工程目标是实现业务的高连续性。在基础和软硬件设施具备的情况下应用系统设计是关键，设计的重点是如何确保应用系统及其使用数据的持续有效。经过慎密的研究和论证，工商银行决定采用双中心双活部署策略消除应用系统单点运行风险、避免生产数据孤本丢失、实现跨中心相互快速接管对外服务。

中国工商银行股份有限公司软件开发中心高级专家 李旭风

　　20世纪末在大型商业银行中率先推行IT系统全国“数据集中”的工商银行，2004年又对南北两个数据中心重新定位，构建了一个生产、一个灾备的“两大中心”运行管理体系，成为国内首个具备千公里级远程灾备中心和实现数据实时远程备份的大型商业银行。随着客户理财意识的增强、金融市场的进一步活跃、互联网从空间模式向时间模式的转移，以及工商银行综合化和全球化战略的推进，客户、市场、技术和业务都对IT系统提出了更高要求。为了进一步提升IT系统的业务连续性，工商银行启动了“两地三中心”工程，即在“两大中心”体系基础上，新增距生产中心数十千米、可隔离中心级故障的同城中心，构建“同城双中心+异地中心”新架构，并基于云概念对三中心职能进行重新布局，确保任一中心的灾难(含部分系统故障或整个中心灾难)都不影响全行的对外服务。工程覆盖基础设施、系统、网络、应用等诸多领域，仅应用软件改造就是一个极其复杂和庞大的系统工程。

　　一、“两地三中心”对应用系统的挑战

　　“两地三中心”工程目标是实现业务的高连续性。在基础和软硬件设施具备的情况下应用系统设计是关键，设计的重点是如何确保应用系统及其使用数据的持续有效。经过慎密的研究和论证，工商银行决定采用双中心双活部署策略消除应用系统单点运行风险、避免生产数据孤本丢失、实现跨中心相互快速接管对外服务。实现上述目标面临如下挑战。

　　1.成本挑战——应用改造面广

　　“双中心双活”是指部署在两个中心的关联应用系统共同支撑IT系统的运行，双活通常有三种模式：同时调度到两个系统作相同运算的冗余对称式双活、随机调度到任一系统处理的平衡对称式双活和按规则调度到指定系统处理的非对称式双活，对于交易型系统三种模式都需要由应用软件确保双活系统的处理同步和数据一致性。工商银行应用系统经历了四代演变，已发展为高度集中的全功能银行系统，经营方针和服务策略传导机制高效、管理高度统一、运行成本较低、系统稳定等优势明显，非常适合客户规模大、覆盖范围广、业务种类多、业务量大的要求。保持既有优势实施双活，涉及业务处理全流程多环节，应用改造面广是双活面临的成本挑战。

　　2.技术挑战——数据复制量大

　　数据是IT系统处理对象和业务连续的依据。工商银行的客户数量和交易规模居全球银行前列，高峰时段仅核心银行数据库更新每秒就达数十万行。为了避免生产数据孤本丢失，数据必须瞬时复制到物理隔离的不同中心，且不能因此延缓交易响应速度而影响用户感受。直接引入业界流行的磁盘镜像或数据库复制技术很难满足工商银行的高负载和高时效要求，必须依靠应用辅助手段提高数据复制速度、实时监控数据同步健壮性和延时状况、应对复制工具失效异常等，数据复制效率及有效利用是双活面临的技术挑战。

　　3.实用性挑战——无缝切换要求高

　　作为高等级的高可用技术实践，双活的最大特点是任一系统或中心异常，其服务都能够被另一系统或中心无缝接管。工商银行的信息系统是一个庞大的体系，整个体系包含主机核心银行系统和众多开放平台外围系统，系统稳定运行要考虑系统软硬件故障、网络通信故障、中心灾难等不可预知的风险，以及设备和系统维护、系统和应用版本投产等计划性的停机，任何一个环节的短暂中断都可能对业务造成影响，影响范围可能局部或全局。双活建设要从理论模型走向实际应用、从符合计划性切换演练要求上升到服务于生产常规性调度，需要不间断侦测、自动识别、准确隔离、快速切换，无缝切换是双活面临的实用性挑战。

　　二、“两地三中心”应用系统体系架构特点

　　“两地三中心”工程重点围绕数据存储保护、应用双活部署、复制数据实时可用、灾备影响最小化、监控切换自动化、容灾资源利用等对应用系统及其使用数据进行规划和改造。

　　1.数据远程多重镜像

　　“两地三中心”工程继承和发扬了“数据集中”架部优势，全行性生产数据实时复制、存放在物理隔离的中心(见表1)

　　2.应用双活多点云部署

　　“两地三中心”的建设原则是：支撑对外服务的主机和开放平台系统都必须实施双中心双活(包括多中心多点接入，下同)，以云概念在三个数据中心进行部署，部署原则见表2。

　　3.数据库镜像支持在线访问

　　为了减少数据库系统运行单点风险和进一步缩短数据库切换时间，数据库镜像遵循原则见表3

　　4.灾难隔离区段最小化

　　“两地三中心”的容灾能力进一步加强，支持按故障或灾难影响范围的最小化切换，切换策略见表4。

　　5.实时监控和切换自动化

　　“两地三中心”采用三中心一体化监控体系和自动化切换机制。监控与切换机制见表5。

　　6.容灾资源利用最大化

　　“两地三中心”作为容灾工程，平时容灾资源均处于就绪和正常工作状态，各中心的主要职能定位见表6。

　　7.“两地三中心”应用架构概略

　　“两地三中心”应用架构概略如图1所示。

　　三、“两地三中心”应用改造典型案例思路和实践

　　1.主机并行处理系统

　　主机并行系统的运行模式见表7。

　　基于日常查询模式和要求，主机并行处理系统的主要改造原则见表8。

　　分离后的查询统计和增值类交易服务请求以及后台作业，称为可分离查询业务，通过网关实时路由到同城中心，目前日均分流交易量1000多万笔，有效地分担主机生产系统的压力。同时，监控平台会对主机并行处理系统的运行状况进行监控，当出现故障或复制延迟异常能自动回切到主机生产系统，确保对外服务不受影响。

　　2.数据库快速复制

　　数据复制是“两地三中心”工程的基础和双活的前提，主机双活要求两个数据库相对独立和故障隔离、复制期间均支持正常访问，实现数据复制准确、高效。应用系统在数据复制准确性方面采用的措施见表9。应用系统在数据复制高效性方面采用的措施见表10。

　　3.开放平台系统及网关接入双活改造

　　支撑业务双活的开放平台应用系统包括客户端、外围系统应用、网关等多个层面和环节，针对开放平台双活改造的策略见表11。

　　4.生产原始数据双保险

　　实际上，除了通过磁盘镜像和数据库镜像进行数据复制外，捕捉源端数据变化的驱动数据和运算规则，在目标端重新运算，同样可以让目标端再现运算结果，从而达到数据复制的目的。而交易请求数据和批量处理文件就是驱动数据，交易和批量处理程序就是运算规则。

　　根据上述原理，对网关交易请求数据和批量处理文件进行截流，并对程序进行改造(见表12)。

　　通过交易和批量驱动事件记录以及交易和批量处理重播，为核心银行系统数据保护又增加了一道防线，以应对数据库复制失效先于中心灾难的极端恶劣场景，最大限度地降低了灾难对业务的影响。

　　四、并行系统基本服务模式实例详解

　　多轮切换和连续24小时全量接管模式实战证实，“两地三中心”的应急流程、切换时间、数据完整性、运行性能等指标均达到设计目标。为了进一步提高系统的服务水平和发挥主机并行系统的实际效用，2012年10月以来，工商银行每逢季度生产中心主机核心银行系统应用版本升级，均由同城中心的主机并行系统接管业务，以弥补该时段主机生产系统的服务缺口。接管流程主要包括以下步骤：首先将生产中心业务瞬间切换到同城中心(通常安排在凌晨，两个数据库的数据已完全同步)，由同城中心并行系统向客户提供ATM存取款、POS消费、B2C支付等正常服务，直到生产系统应用版本升级完成;然后通过数据复制工具以及应用类数据复制工具，将同城中心交易更新的数据库反向复制同步到生产中心;最后再平滑地切回到生产中心、恢复正常业务。

　　在接管过程中，考虑到主机系统升级前后数据库表结构有可能调整，对不同数据结构表的数据同步采用了有别于常规的数据复制措施，在流程上预留了升级后20分钟的停机反向复制时间。同时，在版本升级3~4小时内，由同城中心的主机并行系统以基本服务模式接管主机，持续向客户提供服务。