中国工商银行软件开发中心总经理助理 周永红

　　工商银行从自身特点出发，始终坚持“敢于创新、勇于实践”的精神，通过对容器技术、软负载技术、分布式服务、日志等业界主流云计算开源技术的引入、消化、吸收、实践、再创新，经过近三年的努力，打造了自主可控的企业级云平台“工银星云”，推进IT资源向快速响应、弹性伸缩、高可用、低成本的云计算环境转型，为客户及交易规模高速发展提供有力支撑，为突发性业务峰值提供资源保障。

　　为积极应对金融与科技融合创新发展的新趋势，更好地服务全行经营转型，助力“智慧银行”战略实施，2017年，工商银行制定了通过建设“新一代智慧银行信息系统”推动经营转型的战略目标。工商银行云计算创新实验室在这一过程中，充分利用云计算、分布式等新技术手段，对标业界云计算技术发展及行业标准，结合工商银行的管理、运维和监控需要，打造并正式发布“工银星云”技术平台，即工商银行金融云两大基础平台(基础设施云IaaS和应用平台云PaaS)。同时，结合工商银行实际情况，形成了适用于工商银行的云计算技术规范要求，并贯标落地。目前“工银星云”技术平台为工商银行IT系统提供标准化、自动化的IT基础设施和公共技术服务，并有力支撑了主机+开放平台、集中式+分布式的双核心架构体系。

　　一、技术引领，打造“工银星云”

　　从业界云计算发展的步骤来看，一般会经历从数据大集中到资源虚拟化再到云计算的“三部曲”路径。工商银行于1999年完成了全球数据大集中，2008年开始全面部署服务器虚拟化，并在2014年紧随业务发展趋势全力启动云计算的研究工作。工商银行从自身特点出发，始终坚持“敢于创新、勇于实践”的精神，通过对容器技术、软负载技术、分布式服务、日志等业界主流云计算开源技术的引入、消化、吸收、实践、再创新，经过近三年的努力，打造了自主可控的企业级云平台“工银星云”，推进IT资源向快速响应、弹性伸缩、高可用、低成本的云计算环境转型，为客户及交易规模高速发展提供有力支撑，为突发性业务峰值提供资源保障。

　　工商银行基础设施云IaaS基于开放OpenStack、SDN之上自主研发云管平台，实现了计算、存储、网络资源的供应，与应用平台云PaaS、流程管理等系统的联动以及资源的可视化管理。依托“两地三中心”布局，设计实现了园区、资源池等多层次的高可用，支撑业务安全稳定运行。在开源产品OpenStack基础上，加强故障探测、自动恢复、平滑升级等方面的技术创新，支撑业务连续运作。通过Ceph提供了分布式块存储，具有易扩展性，为上层虚拟机提供了更加经济的磁盘。通过SDN将网络由“硬”变“软”，提升了网络的集中控制和集约化管理能力。通过云管平台完成系统软件安装、用户及安全配置、配置信息更新和监控纳管，实现全流程自动供应。提供服务化接口，上层平台可自助申请资源，并实现对应用透明的高可用部署。

　　工商银行应用平台云PaaS采用轻量级容器技术，引入业界主流的容器集群编排及调度技术Kubernetes，在调度、负载均衡、弹性伸缩、集群管理、日志和监控等方面实现了完整的企业级平台能力。应用平台云PaaS可提升平台集群容量，支持万级容器集群规模;实现应用节点编排，支持复杂架构应用上云;提供容器自愈，实现应用故障自动恢复能力;提供多集群能力，实现应用按需隔离;建立云上日志中心及诊断体系，提升云上应用的精细化管理水平;提供负载均衡服务，为应用提供更为丰富的软负载能力;并基于Prometheus实现了多维度、多层级的一体化监控体系以及云运维体系，提升云上应用的自动化运维水平。同时，实践基于PaaS云的DevOps，使应用的软件构建、测试、发布更加快捷，提供从开发到生产快速交付的能力，为应用快速迭代提供了技术支撑。

　　二、规范先行，推动云计算金融标准化

　　在“工银星云”的建设过程中，工商银行结合云平台建设及应用入云推广的实践经验，积累形成了适用于工商银行的云计算技术规范要求。在云计算技术架构、安全标准、非功能性及容灾应急等方面形成了一系列指导性的规划、方案以及落地实施的标准和规范要求，如《工商银行金融云规划与实施》《云平台安全研究报告》《云数据中心网络规划方案》《基础设施云技术指引》和《应用平台云技术指引》等，使得“工银星云”不仅在技术架构上保持业界领先，而且形成了可落地实施的技术规范要求。此外，在落地过程中，工商银行还提供了标准化的技术实现手段和流程，如统一的日志采集方式;实践基于PaaS云的DevOps流程，标准化容器编译构建环境，提供从开发、测试到生产的全流程快速交付能力及标准流程。

　　云计算在引入新技术的同时，也会引入新的安全风险。在“工银星云”建设过程中，为了确保工商银行云平台安全合规，针对云计算安全技术方面形成了《云平台安全研究报告》，对云安全体系的总体架构进行了全面梳理，并给出了云安全体系框架，并在云平台建设过程中充分考虑了云平台安全加固的解决方案。

　　在应用入云实施方面，工商银行注重应用上云质量及上云效果，充分根据云平台价值，结合各自应用特点及适云场景推动适合上云的应用入云，并形成了适用于工商银行的《应用适云技术评估》《基础设施云技术指引》及《应用平台云技术指引》，明确了应用入云的三种场景：满足应用弹性伸缩的需求、快速响应需求变化、利用云平台资源规模效应。同时规范技术要点，形成了基于行内金融云计算的开发技术规范，明确了应用入云场景及入云评估、应用入云改造、应用入云扩展能力等技术要求，以及云计算环境下运维要求等。

　　为贯彻标准落实以及标准化应用入云实施，工商银行充分借助社区化建设及推广，提供完备的应用入云工作流程、技术规范、用户指引、最佳实践及技术支持;并面向开发中心、数据中心(上海)、数据中心(北京)以及分行组织云计算专题讲座及技术指引宣讲，为云计算实施布道，提升应用入云的规范及标准化水平。目前，“工银星云”已完成总行100余个关键应用入云，并推广至浙江分行、北京分行、青海分行、上海分行、山东分行以及工银澳门等分行和境外分支机构，有力地推动了分行新技术的运用及分行业务运营转型。

　　此外，工商银行还作为起草单位，参与编写人民银行牵头的云计算技术金融应用规范中技术架构、安全技术要求、容灾三方面内容，提供工商银行在云计算领域的应用实践、标准化规范等经验，并持续推进云计算技术金融应用规范在工商银行的落地实施。

　　三、发挥云计算价值，支撑互联网金融业务高速发展

　　“工银星云”采用了业界最主流、最流行的技术，经过近三年的建设及生产实践考验，已具备企业级云平台能力及技术标准，并在以互联网金融为代表的业务突发高峰场景有了大规模使用及成功实践。工商银行基础设施云被评为第二届中国优秀云计算开源案例特等奖，工商银行应用平台云获得2017年度中国金融科技创新奖。

　　目前，“工银星云”已平稳运行并在生产中发挥着重要作用。其中，工商银行基础实施云IaaS运行规模超一万套虚拟机节点，应用平台云容器规模近5000个，云上日均服务调用量超6亿笔，覆盖个人网银、企业网银、手机银行、快捷支付、纪念币等100余个关键应用，涉及互联网金融、合作方、物联网和主机业务下移等相关场景，有效承载了工商银行生产交易负载。尤其在以互联网金融为代表的业务突发高峰场景下，“工银星云”已在第三方快捷支付、纪念币预约发行和主机业务下移场景有了较大范围的使用和成功实践的经验。借助云平台的弹性扩展和高可用能力，“工银星云”支撑了工商银行2016~2018年纪念币预约发行、春节红包、“双11”大促等互联网高并发场景，在生产经历了上万TPS的瞬时高峰考验。尤其是2018年贺岁币发行期间，纪念币应用单个容器启动可实现秒级部署，纪念币整个容器集群(约300个容器节点)分钟级启动并完成对外服务准备。

　　此外，工商银行借助云平台快速环境供应，提升了运维自动化能力。云环境下，工商银行基础设施资源利用效率提升2~3倍，资源供应效率供应时间由2~3周缩短至分钟级;通过基础设施云IaaS与应用平台云PaaS的联动，业务高峰扩容可达秒级，管理流程提升超过60%的流程实现全自动化;并通过超大规模资源池共享、弹性扩展、错峰使用、动态回收等方式，在业务高峰期可灵活动态调整资源，大幅提高了资源的使用效率，显著降低了运维成本。

　　四、未来展望

　　目前，工商银行已建设具备企业级能力的云计算平台“工银星云”，后续将进一步打造云平台更趋于标准化、智能化、规模化。在标准化方面，工商银行将积极跟进业界云计算技术发展，定期与业界相关云计算标准及规范对标，完善工商银行云计算技术架构、云安全标准及容灾等，保证工商银行云平台的安全可控;在智能化和规模化方面，进一步纵向加大应用入云比例，建立云上AIOps智能运维体系，完善云服务周边配套，推动工商银行安全运维走向安全运营。