工商银行“两地三中心”新架构建成后，信息系统可在三个中心之间安全快速切换，各中心基础设施资源得以高效利用，同时建立了跨中心一体化运维管理模式;从支持异地灾难恢复向全面支持多活的业务连续性模式转变，数据中心建设保障和管理水平实现质的飞越;灾备恢复和切换实现了分钟级业务影响以及业务数据的零丢失;信息系统部署架构从应对小概率的灾难恢复模式，向全面支持计划内、计划外和紧急失效场景转变，全面提升了工商银行的业务连续性管理水平。
中国工商银行股份有限公司信息科技部总经理 吕仲涛
工商银行自2009年启动“两地三中心”工程建设以来，在无现成解决方案和经验可以遵循的情况下，历经5年技术攻关，从无到有，成功完成“两地三中心”架构布局建设，成为国内首家实现核心业务跨数据中心分钟级切换接管的商业银行。工商银行“两地三中心”架构平稳运行一年多来，已实施中心之间的例行化切换接管和一体化的运维管理，“两地三中心”新架构的建成强化了工商银行信息科技在国内同业的领先地位。
一、“两地三中心”架构建设思路
“9·11”事件后全球企业对核心系统灾难体系建设高度重视，工商银行在2002年完成全行数据大集中后，立即开展了异地灾备体系建设，仅用时一年就在同业中率先建成了上海与北京之间的千公里级异地灾备体系，在国内银行业中开启了异地灾备体系建设先河。但随着技术发展和金融服务需求不断提升，在工商银行全球化和综合化的战略推进中，银行业务结构和业务系统复杂度的日益提高，以及业务量的快速增长，均对信息系统的业务连续性提出了更高的要求，任何非计划性的大面积乃至全辖性业务中断都将带来巨大的财务和社会声誉损失。在此背景下，工商银行在2009年率先提出了建设“两地三中心”的战略构想，计划用5年左右的时间逐步推进实施。随后的一段时间内，“两地三中心”建设逐渐成为银行业界的热点话题，但真正的“两地三中心”架构应该是什么，怎么建设，怎样运营，如何避免简单的灾备中心叠加，逐步成为业界共同探讨的热点课题。为此，工商银行在建设初期就进行了深刻的思考和规划。
一是，“两地三中心”架构与原“两地二中心”灾备架构相比，不是中心数量的简单增加，也不是资源配置的简单冗余，而是要在中心功能定位、资源集约化使用、灾备恢复时间(RTO)和灾备数据丢失时间(RPO)等核心指标方面有质的飞跃，实施关键业务系统在中心间双活部署，从而实现从灾备到业务连续性的跨越式发展。
二是，“两地三中心”架构不仅能应对灾难恢复，还要能在日常场景中发挥作用。如在系统维护变更和应用版本投产过程中发挥作用，减少对外停机时间，提升关键应用整体可用率。对于关键系统故障可通过系统切换快速恢复对外服务。
三是，“两地三中心”应是一个全面的解决方案，要提出基于业务重要等级要求实现核心主机应用和关键开放平台应用的差异化解决方案，确保全面实现应用的双活部署架构。新架构首先要实现同城高可用，当关键业务系统出现故障或灾难时能快速切换到同城系统中，并实现业务数据不丢失。同时，同城双中心还要具备业务双活能力，实现资源灵活调度和使用效益最大化。
四是，从技术架构角度，新架构要最大限度降低各中心之间信息系统耦合度，避免单中心信息系统问题蔓延到其他中心从而影响接管能力。双活系统跨中心部署时不能对性能带来较大影响，减少生产隐患和资源消耗。同样，双活方案要具备一定的业界普适性和推广性。
五是，“两地三中心”架构建成后，在运维管理方面同样要有质的提升，真正实现三中心的一体化运维管理，建立一体化运行保障体系。
二、“两地三中心”架构建设历程
工商银行启动“两地三中心”建设时，国内同业相关工作还未起步，国外虽然有一些解决方案，但普遍系统规模较小，无法满足工商银行对于“两地三中心”架构的高标准要求。面对挑战，科技人员不畏艰难，利用自身科技优势走出一条自主研发的道路，用了5年左右的时间完成了真正的“两地三中心”建设。
2009年，工商银行启动了“两地三中心”数据中心新架构建设工程，通过两年时间的广泛调研和技术研究，在2011年8月最终确定了技术路线和方案，随后再用一年的时间完成了关键技术和方案原型的测试验证工作。2012年10月原型系统在生产环境成功投产，并利用原型系统在应用版本投产期间提供自助渠道夜间业务服务，标志着工商银行“两地三中心”建设正式进入实施阶段。随后，项目建设相继又取得一系列的里程碑式的成果：2013年10月利用生产中心双园区模拟未来同城双中心，完成核心主机系统和高灾备等级开放平台系统的双活部署;2013年11月成功实施双园区核心主机业务分钟级切换，运行24小时后成功回切;2014年3月嘉定同城中心园区和机房基础设施建设完毕;2014年6月完成同城系统迁移后又成功实施同城双中心核心业务分钟级切换和回切，完成高等级开放平台应用全部双活部署和切换运行，标志着“两地三中心”新架构基本建成。
在工程推进过程中，工商银行整合科技团队，立足自主创新，在确保数据实时同步、联机及批量负载敏捷调度、全自动智能化感应处置等三个方面开展技术攻关，取得了一系列技术突破。
一是对数据复制进行端到端全过程抽丝剥茧，定位了9大技术难题并逐一攻关，实现高效多路并行数据复制，综合运用数据库复制、磁盘复制、网关日志截留、应用数据回补等技术，确保核心主机在超高联机交易率及批量负载下实现7×24小时不间断数据复制并实现零数据丢失。针对关键开放平台系统，创造性地将数据库异步复制和磁盘同步复制结合起来，实现同城数据复制的零数据丢失。
二是对目标负载调度进行分类分层，根据不同负载实施针对性改造，完成总体负载调度目标，可以将全行联机交易在没有数据丢失情况下在几分钟内切换到另一中心运行，高等级开放平台应用根据服务等级要求可实现几分钟至30分钟内完成中心间切换并提供对外服务。自主研发一套完备的联机安全切换调度流程和工具，实现集中化调度和统一控制各类联机交易负载。核心主机自主实现了基于数据复制状态的全自动联机交易调度，设计实现了基于磁盘挂接和一体化批量系统调度切换方案和工具。开放平台应用实现“异地多活”和“同城双活”两种模式，实现大量开放平台交易负载在多站点之间灵活调度。
三是自主设计和研发了一套全链路一键式自动化调度切换平台，将各环节和系统上的数百步操作归集封装，实现一键式自动化执行调度。设计实现了运维自动化工具平台，将“两地三中心”运行状态统一视图展示，实现三中心统一监控和统一处理。特别针对众多的开放平台应用系统，实现了数据库单体切换、应用系统整体切换、多个应用并行切换等多种方式。此外，针对同城双活架构的关键部件首创了一套高可用保障方案和工具，实现了智能化的“异常主动探查+自动恢复”策略，并在生产环境中落地部署，实现对系统运行状态的自动检测和故障时的自动恢复。
工程总计开展了38大项技术和方案研究工作，涉及108项应用改造子任务，开展了210轮针对“两地三中心”解决方案的测试验证工作，解决各类产品技术问题近500项，投入人力3万多人天。同时，技术创新成果显著，共计取得18项技术创新，提交了13项国家专利申请。
三、“两地三中心”架构价值效果
工商银行“两地三中心”新架构建成后，信息系统可在三个中心之间安全快速切换，各中心基础设施资源得以高效利用，同时建立了跨中心一体化运维管理模式;从支持异地灾难恢复向全面支持多活的业务连续性模式转变，数据中心建设保障和管理水平实现质的飞越;灾备恢复和切换实现了分钟级业务影响以及业务数据的零丢失;信息系统部署架构从应对小概率的灾难恢复模式，向全面支持计划内、计划外和紧急失效场景转变，全面提升了工商银行的业务连续性管理水平。其业务价值具体表现在以下几个方面。
一是业务连续性管理水平实现跨越式发展。由于实施了同城之间的双活灵活切换，实现了系统维护变更对外全年无停机，应用版本投产时业务的中断时间大幅度缩短。可有效应对局部自然灾害和系统突发故障等应急情况。在中心级故障或灾难场景下，核心主机系统可实现分钟级同城切换接管，关键开放平台根据等级实现了分钟级异地切换接管或同城切换接管。在大的区域性灾难时又具备了千公里级的异地灾难恢复能力。工商银行的业务连续性管理水平实现了跨越式发展，有力地保障了业务发展。
二是业务创新能力大大增强。“两地三中心”架构下同城双活为开展信息系统的增值服务提供了技术基础。在信息系统处理传统交易型业务的同时，利用同城中心同时拥有的全量业务数据，可处理部分内部管理、经营分析、风险监控、数据挖掘等业务，从而更好地满足工商银行客户服务和内部管理多元化和时效性要求，业务创新能力大大增强。
三是实现了资源使用效益最大化，有效节省了工商银行科技投入。实现业务负载的动态均衡机制。核心系统交易负载增加时，可以将部分查询交易从核心系统自动切换至并行系统运行，实现整体负载均衡，提高资源利用效率。对双活部署的开放平台，应用常态下，在同城两中心之间进行负载均衡处理，对全量应用分类梳理实现差异化双活部署，在节省成本的同时实现了全面的灾备高可用布局。
四是保障了业务的全球化发展。“两地三中心”新架构的最终建成，为工商银行多时区全球业务的不间断业务服务提供强有力支撑，为全集团全球化战略发展提供了更加稳定高效的信息化平台，进一步提升工行品牌价值和客户凝聚力。
四、未来展望
工商银行“两地三中心”新架构建成一年多来，同城系统运行稳定可靠，一体化运维管理体系高效运转，配套制度、规范和流程日趋完善。通过充分利用核心主机系统和关键开放平台系统的同城和异地双活架构实现各类系统类维护对外服务无影响。今后，工商银行将每年安排若干次临时通知启动同城接管切换运行，切实验证同城接管运行能力的有效性。
在追求信息科技创新的道路上永无止境。工商银行并没有满足于已经取得的成绩，将重新出发，继续做好全集团业务架构和信息架构优化，在自主可控和科技引领的方向上再攀新高。FCC
|
