中国工商银行软件开发中心总经理 杨龙如

  “十四五”规划提出“加快数字化发展，建设数字中国”的要求，人民银行发布的《金融科技发展规划(2022—2025年)》也提出要“持续推动金融创新，助力金融业数字化转型”。发挥科技、数据优势，创新金融产品与服务，拓展开放融合生态场景是银行业数字化转型的重要方向，也是服务实体经济，提升金融适应性、普惠性和竞争力的重要抓手。云计算及分布式技术以高灵活性、高扩展弹性等特点较好适配了这一需要，得到大规模应用，成为银行业数字化转型的基础支撑。以容器、微服务、服务网格为代表的云原生技术，凭借可移植、轻量、敏捷等优点成为银行应用架构转型的优选。工商银行软件开发中心以实现高水平金融科技自立自强为目标，践行“科技驱动、价值创造”工作思路，在云原生领域进行了积极探索，有效提升了金融科技供给能力和创新效能，较好地满足了全行数字化转型发展需要。

一、云原生生态建设历程

  云原生理念最早由Pivotal公司的Matt Stine在2013年提出。“云原生应用”意味着应用程序原生就被设计为在云上以最佳方式运行，即为云而生。随着技术的快速发展演进，云原生含义不断演化、丰富，其典型技术从早期以容器、微服务、研发运维一体化(DevOps)为核心，逐步扩展到服务网格、可观察性、云原生安全、Serverless函数计算等，形成了结构化构建应用的全生命周期技术链。

  工商银行架构转型伴随着云原生技术的发展逐步演进。自2015年开始，以金融云平台及分布式体系建设工程为抓手，我们广泛开展了云原生技术探索应用，并先后经历了两个重要阶段：第一阶段为2015—2019年，结合云计算发展趋势，以业界主流开源技术为基础，进行自主创新研发，建成了同业规模最大、业务场景全覆盖的云计算平台。该平台集基础设施云(IaaS)、应用平台云(PaaS)和金融生态云(SaaS)于一体，有效支撑了全行高并发、大容量业务的开展。特别是在PaaS领域，顺应初代云原生定义，于同业最早在容器、微服务、DevOps领域探索规模化运用。第二阶段为2020年至今，随着云原生技术含义的不断丰富，工商银行对自身技术架构进行了同步迭代演进，在自主可控基础软硬件产品入云、可观察体系建设、服务网格架构、函数计算资源精细化使用、云安全及成熟度评价等方面进行完善提升。经过两个阶段的迭代，工商银行云原生技术布局基本形成，整体结构和云原生计算基金会(CNCF)云原生技术图谱相匹配,形成了工商银行云原生生态(如图1所示)。

  图1 工商银行云原生技术运用和CNCF云原生技术图谱映射

  在这一过程中，我们加大研发投入力度，与产业侧开展联合创新和技术攻关，实现基础核心技术和底层基础设施自主可控，掌握了发展主动权，得到了各界广泛认可。基于这一体系的智慧银行生态建设工程(ECOS)获得人民银行“2020年度金融科技发展奖特等奖”;2021年，工商银行金融云平台获得《亚洲银行家》“国际最佳云计算项目”。此外，工商银行还形成了十余项行业标准提案，并对外输出相关成果及建设经验，助力金融同业数字化转型。

二、云原生关键能力建设

  云原生技术内涵十分丰富，随着时间的推移和实践的深入，其内涵和外延不断演进发展。但对于银行应用来说，有些能力至关重要，也是我们着力建设的重点。

  1.容器基座，支持业务弹性扩展

  我们基于现实需要，运用容器多节点编排、集群联邦、随机端口映射网络、负载自发现等技术，构建了自主可控的应用云平台，实现“两地三中心”的超大规模资源池化管理和秒级弹性伸缩，具备应用敏捷部署、弹性扩容、快速自愈等能力，目前节点规模已超30万个，核心应用入云率达到100%;创新提出“一云多芯”信创云平台转型方案，实现异构资源池统一管理，具有“多芯兼容、灵活调度、交叉复用、全栈部署”的特点，有效屏蔽基础设施差异，纳管国产服务器超5000台，规模在同业中保持领先，相关方案在银行业首先入选工信部信创转型案例;在同业中率先开展数据库及中间件容器化部署，提供分布式缓存、搜索引擎等有状态应用入云的标准化能力，实现扁平化网络及存储松耦合，目前云上通过容器供应的数据库实例数量超过1.4万个，资源供应时间缩短至秒级。此外，我们还在同业中首批引入函数计算等云原生新兴技术，运用事件驱动设计模式，支持系统更快进行突发流量场景下的容量扩展，较好实现服务器资源按需使用目标;支持代码函数化特性，提供业务快速上线能力，大幅提升研发交付效率。

  2.微服务架构，提供灵活快速创新能力

  我们基于Dubbo服务框架打造了同业规模最大的微服务平台，通过深度定制和大规模自主研发，创新提出异构多注册中心、节点级服务发现、全链路灰度、同端口双协议等新方案，实现性能、高可用、稳定性的全面提升，使性能容量较社区方案提升10倍以上，具备十万级服务的注册发现和日均千亿级的服务接入能力。目前，该平台生产服务数量接近3万，调用规模日均超过150亿笔。我们以企业级架构方法为指导，按照“横向可解耦、纵向有层次”的设计思想，实施基础服务、领域服务、产品服务、渠道服务等应用分层解耦设计，通过组件化研发承接业务架构建模成果，在个人存款等首批17个领域推动近400个任务组件落地，通过对标准化服务的组装与扩展，使新产品研发周期缩短了50%以上，提升了产品迭代效率及同业竞争力;在同业中首批实践下一代微服务架构服务网格技术，将通用能力下沉至基础设施，实现跨语言、跨技术体系的系统间互联互通及统一服务治理。

  3.可观察性，保障业务连续性

  随着容器和微服务的大规模使用，传统运维模式出现监控能力不足、故障定位困难、业务连续性难以保障等问题。我们结合云原生可观察性的特性进行了实践探索：

  一是打造基于日志信息、系统资源、业务调用链路的一体化运维系统，实现了监控数据的采集、存储和分析，提供超百万TPS的性能容量、秒级时延的业务实时监控能力。

  二是对标业界1-5-10目标(即故障1分钟发现、5分钟定位、10分钟修复)，构建云医平台，为应用提供故障一体化诊断能力，覆盖故障场景的全生命周期，并运用AIOps等业界新技术，提供智能化的根因分析及精准定位能力。

  三是率先运用混沌工程技术，建设故障演练平台，形成涵盖系统、应用、容器三大类100余种故障演练能力，支持介质下发、压测发起、故障实施、环境恢复的自动化演练，建立了常态化故障演练机制，提前预防平台系统性风险。这项工作通过中国信息通信研究院认证，工商银行也成为业界首批通过混沌工程最高级评估的银行。

  四是建设限流中心，为临界资源管控提供节点、服务、数据库、第三方调用组件等全场景的限流和熔断能力，并通过优雅启停、全链路灰度、灰转正自动化决策等技术，为业务连续性提供有效保障。

  4.CI/CD工具链，实现研发快速交付

  我们积极践行业界DevOps理念，建立需求、研发、投产和生产运营统一协作的研发运维一体化机制，进一步提高研发供给能力和研发质效：一是践行云原生“基础设施即代码”的理念，实现研发阶段自动化程序入库及镜像制作，建设研发、测试、生产隔离的制品仓库，实现自动化交付;二是通过容器镜像技术实现开发、测试和生产各环节的环境一致，解决了不同环境差异导致的问题;三是提供多层级参数配置体系，支持海量容器节点下的应用级、模板群组级、模板级的参数维护和秒级生效，参数配置量相对于传统模式平均减少30%;四是提升多版本环境发放效率，环境准备时间从周级缩短至秒级，大大节省了人力成本。

  5.云原生安全，提升数字化安全防控能力

  随着云上网络环境的日益复杂，安全风险不断升级，传统基于边界的安全防护机制在云原生场景下很难面面俱到。我们从软件全生命周期防控出发，提出全新的自动化、全流程、全覆盖的安全架构方法，实现覆盖研发、测试、生产的全流程安全保障。在应用交付阶段，实现应用镜像构建、发布过程的全方位扫描;在介质分发阶段，实现多环境系统间的安全对接，通过全栈加密实现镜像数据安全下发;在应用运行阶段，实施服务器运行时环境扫描，实现入侵防范，防止在线攻击。在平台防控方面，对标业界互联网安全中心(CIS)基线标准，打造容器运行时、容器集群安全基线自动化巡检配置系统，保障云平台系统配置安全;在同业中首家落地katacontainer容器安全沙箱技术，实现类虚拟机的高强度隔离，并在金融生态云场景实现规模化运用。

  6.成熟度评价，推动应用转型

  我们遵循业界先进的云原生成熟度指引，提炼形成云原生能力在银行业落地的方法论，从松耦合、容错性、可观察性、自动化等方向形成30余项指标，建立应用云原生能力成熟度评价体系;组建云原生评价团队，常态化开展评价工作，结合最佳实践，在关键业务线打造云原生标杆应用，以评促建，推动应用落地，巩固全行应用转型效果。

三、云原生赋能业务发展

  云原生生态的构建为工商银行IT架构转型提供了坚实的基础，也大大拓展了支持业务发展的空间。

  1.构建开放平台核心银行系统，支撑主机大规模下移

  基于云原生生态，工商银行初步建成了开放平台体系核心银行信息系统，大幅提升了系统横向弹性扩展、账务一致性保障和系统高可用运维等能力，稳步承接借记卡、收单、信用卡发卡等关键业务从主机下移。目前，开放平台已承载全量9亿个人客户、1000多万对公客户、10亿借记卡协议数据，日均支持2亿次客户信息访问、1.5亿次借记卡协议更新和查询、1.8亿笔快捷支付交易。作为国内首家采用分布式技术进行大规模账务处理的银行，工商银行依托分布式体系构建了同业规模最大的账务处理平台，承载了10亿级账户数据，实现个人结算账户从开销户、消费到账务余额处理等完整的账户类业务处理功能，系统稳定性和健壮性得到了有效检验。

  2.支撑高并发业务场景服务，助力互联网新业态发展

  互联网业务的线上化及多样化对银行信息系统弹性可扩展提出了更高要求，传统虚拟化技术扩容效率难以高效承载敏态高并发业务，利用云原生容器技术弹性扩缩的能力，可实现应用业务高峰场景下秒级扩容，稳定支撑高并发业务，并在业务高峰结束后实现自动化资源回收。工商银行利用云原生架构的显著优势，为快捷支付等高频交易场景提供了高可靠的弹性支撑，为电商秒杀、纪念币预约等高并发场景提供了较好的用户体验，有效保障了自2016年以来纪念币预约、“双十一”秒杀、春节抢/发红包等高峰期业务的开展，稳定支撑了“双十一”每秒2万笔以上的交易。在2022年虎年贺岁纪念币预约活动期间，工商银行纪念币应用并发交易量峰值达到每秒33.6万笔，在同业中综合表现最优，纪念币预约完毕后，系统自动回收资源超过1万个CPU核心的算力。

  3.支撑科技平台云原生部署，加快新技术推广应用

  工商银行对大数据、人工智能、区块链、物联网等新技术均采用云原生部署方案，实现从中心、边缘、终端延伸布局，从开放平台到数据分析应用的全面覆盖。

  在大数据及人工智能领域，通过云原生技术提供基于容器的GPU异构集群，为各类应用场景提供CPU、GPU计算加速及调度服务，目前已拥有超过1000块GPU、4000台CPU服务器、40PB数据要素资产和300个主流智能算法，涵盖计算机视觉、自然语言处理、语音、知识图谱、RPA等“看、听、想、说、做”全领域AI能力，广泛应用于产品创新、客户服务、运营管理、风险防控等全行各业务领域。

  在区块链领域，基于云平台的异构集群支撑工商银行自主可控的企业级区块链平台，构建可弹性伸缩、灵活调度的区块链运行环境，已经应用在资金管理、贸易金融、供应链金融、金融资产服务等领域的40余个场景，服务机构超1000家、企业超2万家，链上交易额超3300亿元。

  在物联网领域，基于容器技术实现了20余类、100余万物联网设备的安全、高效接入，物联网平台日均接入消息超过8亿条，在信贷融资、客户服务、资产管理等领域提供了一系列的物联网金融服务解决方案。

  4.实现资源集约化管理，助力构建绿色数据中心

  基于云原生生态，各类资源集约使用水平得到了大幅提升。工商银行通过容器集群资源按应用等级、虚拟化倍率多层次超分、数据库容器化部署的模式，使资源利用率整体提升2～3倍;CPU、内存等资源实现性能容量秒级扩缩，生产上月均扩缩超过2万次，真正实现资源按需使用;函数计算平台在模型发布、量化交易、批量作业、标准化投产等方面落地，资源利用率提升了90%;云体系扩展到分支机构，面向境内外分行及子公司提供基础设施资源、中间件及监控运维能力，通过资源池化大幅提升资源供应速度和利用效率。

  未来，工商银行软件开发中心将持续关注云原生领域前沿技术发展趋势，不断加大新技术创新投入力度，推动云原生生态迭代升级，进一步释放云计算技术红利，在更好服务全行数字化转型的同时，为金融同业贡献更好的“工行方案”。