华夏银行首席信息官 吴永飞

  党的二十大报告强调，加快发展数字经济，促进数字经济和实体经济深度融合，打造具有国际竞争力的数字产业集群。数字经济是以数据资源为关键要素，以现代信息网络为主要载体，以数字技术融合应用、全要素数字化转型为重要推动力，促进公平与效率更加统一的新经济形态。数字经济具有高创新性、强渗透性、广覆盖性，有利于开辟发展新赛道，培育壮大以数字技术为核心的大数据、人工智能等新兴产业发展，催生出新技术、新业态、新应用，形成新的经济增长点。

  在此背景下，作为社会经济发展的“连接器”，商业银行纷纷积极布局相关领域，明确企业级数据治理和数据应用的主基调，大力推进从数据应用场景到数据应用人才的全面发展。顺应上述趋势，华夏银行立足数据治理及数据应用实践，探索打造“分行数据集市云平台”(以下简称“云集市”)，有效解决数据集中式存储与分散式应用之间的矛盾，充分挖掘数据价值，加速推动全行数字化转型发展。

一、传统数据分发模式概述与痛点分析

  当前，各家商业银行的业务系统普遍由总行统一搭建，数据也统一存储在总行的数据仓库中，而作为业务经营一线的各家分行，却往往存在着互不相同的数据应用需求。对此，商业银行大多采用了“总行下发、分行建库”的解决方案(如图1所示)，即总行定期在数据仓库中将不同分行的数据进行切分，通过总分专网传输各地，再由分行自行建设数据集市，实现对数据的独立存储、独立运维、独立管理及独立分析。然而，随着数字化转型的持续深入和数据管理要求的不断提高，传统的数据流转模式在完成其阶段性使命的同时，也在数据治理和应用领域表现出多项劣势，亟须进一步迭代升级。

图1 商业银行传统的数据流转模式

  1.数据治理难持久

  一般而言，总行通常拥有较为充足的数据管理人才，但各家分行在技术能力和资源配置上存在明显差异，导致部分分行承受了超出其业务规模的数据治理压力。

  2.经验成果难共享

  各家分行存在自行建设或购买BI等不同数据分析工具的情况，这些工具在技术、供应商等方面千差万别，导致一些分行的先进数据分析经验难以在其他分行推广;同时，各家分行独立开发相关应用，造成分行间类似功能的完善性及维护成本也不尽相同，且随着业务链路的不断拓展，数据应用的烟囱式建设使数据资产复用愈发困难。

  3.数据质量难保障

  虽然总行统一建设了大量业务系统，但各家分行也有独立建设的业务系统，而这些系统间缺乏统一的数据校验与质量保证机制，导致数据在进行关联分析时易存在大量的“脏数据”，从而影响数据业务价值实现。

  4.数据安全面临挑战

  尽管总行拥有完善的数据安全管理机制，可一旦将数据下发给分行，即很难对下发到各家分行的数据进行持续的安全管控，从而造成了一定的数据安全隐患。如何在保障总行对关键资产模型数据及监管数据统一收口的前提下，让各家分行拥有适当权限进行个性化业务的创新开发，激励分行间开展数据资产及能力共享，成为当前银行在数据治理与应用领域无法绕过的关键命题。

  5.数据产出存在滞后

  传统模式下，总行需先完成数据提取、数据切分、数据传输、数据载入等多个流程和环节，再分别将数据下发至各家分行，整个传输链路较长，从而影响数据应用时效。

二、基于云集市的全链路数据治理实践

  数据集市在狭义上是企业级数据仓库体系中的一个子集，主要负责面向特定用户组或应用提供预先计算的数据集合，以有效突破数据仓库面向复杂数据分析与查询场景的性能瓶颈，以及通过对接BI报表等应用，直接面向业务侧需求，在数据集市层解决业务灵活性与IT资源稀缺性之间的矛盾。

  结合上述目标，在借鉴传统数据仓库与数据集市协同关系的基础上，华夏银行在云集市中创新搭建“1+N”大数据开发管理架构，锚定“统一数据质量、复用数据创新、灵活数据应用”的建设目标，由总行负责数据统一定标下发，各家分行聚焦数据在业务侧的创新应用，一站式满足了“总行数据下发和治理、分行数据获取与应用”的全链路需求，有效支撑了分行业务规模化发展和资产质量提升。华夏银行云集市系统架构如图2所示。

图2 华夏银行云集市系统架构

  1.分级租户，助力数据长效治理

  银行业是数据、监管双密集型行业，既要满足全辖业务监管等全局性需要，保障业务敏感数据的安全管控需求，又要尽可能让多维关联的数据在各级机构、各职能条线间产生交互，以充分发挥其最大价值。通过建立云集市，华夏银行实现了对数据的集中存储和管理，并基于分布式技术架构，形成了高可扩展性的数据存储和处理能力，支持海量数据的存储和即时查询。同时，总行租户统一对接全行公共数据源，通过对数据来源、标准和出口进行统一管理，确保了数据的一致性、准确性、完整性、安全性。

  此外，由于分行租户与总行租户共享基础设施，总行将新的公共数据下发给分行时，无需再通过传统的数据传输方式，仅需在总行公共数据模型表中为特定分行创建专属的视图表，即可由多个视图表构成分行可访问的公有库，且除了云集市公有库外，各分行仍然可拥有私有库，负责上传及开发、分析各自的个性化数据。在云集市建设过程中，华夏银行基于总行的公共数据模型表建立了面向全行的公共数据仓库，并针对不同分行构建了分级租户模式的大数据应用平台。在此模式下，分行租户只能访问其被授权的公有库数据，从而实现了各分行之间数据权限的有效隔离。同时，分行租户在其权限内拥有完整的访问和开发权限，能够开发多种数据应用，并通过BI、API等方式提供数据服务。云集市多租户模式如图3所示。

图3 华夏银行云集市多租户模式示意

  总体而言，云集市实现了上层应用的灵活独立和各家分行的独立管理，既保证了各方互不干扰，又为未来的场景共享奠定了开发基础，并通过分级租户框架，成功实现总行对各级机构数据访问、修改权限的精细化管控，有效杜绝了各家分行在数据治理落标后于业务开展过程中出现二次人为偏误。

  2.指标共享，降低数据应用门槛

  指标开发是商业银行重要的数据应用基础场景。华夏银行基于云集市建设指标管理平台，支持数据模型及指标在各租户间共享，实现了“单户开发试点、多户一键复用”的数据资产开发管理新模式。例如，数据应用多租户共享可结合分行数据应用的实际开发能力，在总行层面对新研发数据产品的模型表共享粒度及规则进行定义，极大地改善了银行业普遍存在的分行机构开发能力不一、产品覆盖度参差不齐的情况。

  在传统的数据调用方式下，开发人员需要获取特定数据库表的权限，并直接调用数据。但是，这种模式存在两个明显痛点：一是无法对数据的取用进行有效管理，难以保证取用过程的标准化和取用结果的准确性;二是存在数据安全风险，无法对调用数据的人员进行数据使用方式的权限管理。相比于从数据库表中直接调取数据的模式，通过API的方式向特定业务系统开放数据服务，是一种更加标准化、安全性更高的数据服务方式。

  以华夏银行杭州分行公积金信息查询业务为例，通过以云集市API方式获取数据服务，华夏银行不仅深化了分行与当地公积金中心的业务合作，更是树立了良好的社会服务形象，进一步扩大了分行“掌上银行”获客规模，并同步提升了掌银客户的活跃度，为分行一线关联业务拓展营造了便利的用数环境。此外，在汽车金融业务领域，云集市API数据服务同样体现出了“技术先行，业务驱动”的优势，为汽车金融产品复杂查询任务的实时编排提供了灵活可靠的支撑，尤其在应收账款保理、订单融资、存货融资等业务流程中，实现了降低融资成本、降低产品成本、强化上下游联系的“两降一强”业务目标，为汽车供应链融资及贷后风险管控提供了可靠的实时全景视图。

  云集市投产一年以来，平台API总数增加超过2000个，日均调用量超过13万次，支持各家分行临时查询任务日均近3万次。此外，随着平台实时数据功能模块的上线投产，各家分行的实时数据应用数量快速增长，广泛应用在代发工资变动、存贷款流水、反欺诈等场景，促使银行重点数据资产应用加速迈入实时化时代。

  3.多维校验，提升数据产出价值

  在大数据分析应用中，数据来源的质量若无法得到保证，数据支撑业务的最终价值则会大打折扣。为此，华夏银行将数据开发模块与数据质量模块深度集成，基于云集市实现数据信息快速校验，且数据质量任务也可直接操作数据表进行相关数据资产校验，实现数据开发任务的血缘分析，辅助开发人员在数据抽取过程中有效把控数据质量。

  例如，银行业务涉及的客户信息表通常会包含性别、身份证号、年龄等信息，开发人员在对数据进行抽取时，数据质量任务脚本将对客户信息进行校验，如性别是否符合身份证内容、身份证号格式是否错误、年龄是否超出限定范围等。一旦发现校验失败的数据，云集市既可以直接对数据进行过滤或是执行信息补充等操作，也可以在数据报送前，向相关人员发出预警并出具校验报告，如此不但提高了数据校验效率，也显著降低了出错率。

  4.权限隔离，异常调用可视可管

  数据权限管理是商业银行数据安全体系的重要环节，涉及对数据的管理、审批、分配、控制等多个方面，不仅需要明确数据的所有者和授权人员，还要为不同人员分配不同的使用权限，以确保数据的合规性和安全性。对此，华夏银行在云集市基础平台中集成“LDAP+Kerberos+Ranger”的认证权限体系，支持库、表、行、列级权限控制，实现了企业级安全管控，并使集群管理者无需关注安全服务部署逻辑以及应用内部工作逻辑，只需要在界面查看权限开启进度和开启结果状态即可。此外，华夏银行在云集市平台底座中过滤掉“rm”“drop”等命令行，有效防止对数据的误删除操作，实现以更加安全的方式执行敏感指令，并提供滚动重启、模块断电重启等功能，高效满足了日常运维期间生产服务不间断的需要。

  在此模式下，总行超级管理员租户可统一管控云集市各租户的安全事件及系统审计日志，且数据服务调用记录将被自动纳入审计系统，支持异常调用的监控告警，实现异常调用问题及时暴露与风险可追溯，确保数据资产在监控范围内的可控使用。同时，各分行租户下项目所有者、管理者及访客等数据相关方只能读取总行下发的具有相应授权的部分数据，既确保了全行统一口径下的数据一致性，又避免了敏感信息泄露风险，有效杜绝未经授权的恶意访问，确保数据符合监管及合规要求。

  5.降本减负，支持一体化高效运维

  聚焦服务级运维提效目标，华夏银行在云集市大数据基础平台中引入Hadoop、Hive、Spark、Trino、HBase、Kafka等组件，打造自动化安装、中心化管理与集群监控告警功能，搭建了一站式运维管理平台。基于界面化集群运维功能，Hadoop集群、大数据平台在日常运维中涉及的节点扩缩容、组件停止启动、服务滚动重启、服务参数修改、版本升级与回滚等多种运维操作，均可通过逻辑化、流程化的产品界面展现，从而显著提高了运维效率。

  此外，华夏银行在云集市运维平台中集成各类开源组件，实现对集群、服务、节点核心参数的监控，并支持以灵活形象的仪表盘进行数据展现，内容覆盖CPU占用率、RAM使用率、磁盘空间、IO读写速率等核心参数，使运维人员可实时掌握集群、服务、节点的运行状态，降低运维故障率;同时，支持用户自建仪表盘及监控项，实现自定义监控，且集群中各组件服务的运行指标还能够以短信、企业微信、邮件告警等方式提醒运维人员。在高可用性上，云集市运维平台的核心组件支持分布式水平扩展，当一台核心组件主机意外宕机后，仍可以保证服务正常运行，包括但不限于服务安装、启动、停止、卸载等操作，且当需要接入大数据组件的节点数量增加时，还可以灵活扩展核心组件的数量以进行适配，反之亦可节省大量资源。

  面向前端用户运维交互场景，华夏银行将用户对大数据集群的运维操作通过Web UI的方式呈现给用户，并通过这种方式将用户的运维指令下发到Hadoop大数据集群中。通过在云集市内为数据应用建设技术底座和上层工具，统一承接数据管理与调度任务，华夏银行显著减轻了各家分行的运维工作负担，使其无需自建数据中心亦可实现数据极速获取，从而将更多的资源和人力投入到业务创新工作中。

  6.总分联动，提升数据发行与管理能力

  华夏银行采用前沿大数据技术，结合银行业务运营特点，在云集市中创新引入总分联动模式，进一步简化数据开发、应用流程，实现数据发行与管理能力的双重提升。

  一方面，通过将云集市从一家分行试点推广到所有分行使用，华夏银行大幅减少了各家分行在软硬件采购与运维阶段的重复投入，解决了数据冗余和多渠道开发等痛点，并通过在各家分行间汇聚数据，实现全行数据统一存储、统一运维和统一管理，以及集团化、标准化管控。

  另一方面，通过将零散工具升级为数据中台一站式服务，将传统以表、视图为主的交付模式升级为交付“数据集”，华夏银行显著提高了数据开发效率，同时利用数据中台实现技术共享，使数据开发与运维效率提升100%，数据下发效率提升100%。以越来越被重视的实时场景应用为例，华夏银行采用Apache Flink在云集市中构建了一站式、高性能的实时大数据处理功能，成功规避繁重的底层流式处理逻辑开发工作，真正实现了流批一体的技术架构，将各家分行的实时数据应用能力统一提升到新的层级。

  随着移动互联网、人工智能、大数据等新兴技术的迅猛发展及广泛应用，消费者行为逐步呈现出线上化、场景化等趋势特征。面对新形势，华夏银行结合分布式技术架构和租户共享的设计理念，创新搭建云集市助推全行数字化转型。基于该平台，华夏银行不仅实现了对数据资产的详尽盘点和规范化管理，还完成了对数据模型的统一治理，并制定需求开发流程的标准规范，高效确保了业务端数据检索和使用的轻量化、敏捷化。在此模式下，华夏银行实现数据资产模型“一次开发、多级复用”，以及全流程可视化配置与运维监控，显著提升了自身的数字化经营能力，为更好践行“智慧金融、数字华夏”的发展愿景开启了全新篇章。

作者：

  华夏银行首席信息官 吴永飞

  华夏银行信息科技部副总经理 易永丰 王彦博

  华夏银行信息科技部 魏文术 李娜

  华夏银行股份有限公司杭州分行朱萧峰、贾大众，龙盈智达(北京)科技有限公司董震川、杨璇、张军、王一多、白晶、张月对本文亦有贡献。