中国农业银行股份有限公司数据中心 张春 徐丽俊

　　随着大数据时代的来临，数据的种类和规模随着业务发展快速增长。数据中心作为商业银行数据处理的可靠运行平台，已从单纯关注交易数据，逐步扩展并延伸至客户数据、管理数据等更为丰富的海量数据。目前，国内金融业广泛应用云计算技术，为海量数据提供分布式数据处理、云存储、云管理等解决方案，建设和运维云端上的数据中心已成为银行信息化建设和发展的重要组成部分。

　　一、云架构建设

　　云架构以银行信息服务需求为驱动，采用并行和冗余方式，实现故障避免和容错，提升系统可靠性;采用弹性云，确保资源分配实时满足数据处理需求，适应系统负载动态变化，实现IT基础架构的高可扩展性。云管理内容涉及广泛，包含日常生产运行维护、资源分配、风险防控、应急处置等，同时兼顾运维成本的合理规划和系统冗余的综合考量，达到适度合理的投入产出比。

　　1.云服务平台

　　云架构作为统一的、基础性的数据处理环境，其建设是一项长期、复杂的系统工程。农业银行数据中心通过整合行内外业务数据，设计企业级数据模型，构建了平行可扩展的云服务平台。该平台通过数据总线、对外接口向各数据集市及分析型应用提供数据服务，实施元数据应用管理和数据统一管控，并使用统一分析展示平台，提升信息共享能力。

　　云服务平台分为基础设施服务层、平台服务层和应用服务层三个层次(如图1所示)。基础设施服务层集合了硬件资源和管理功能组件，通过虚拟化技术对集群、存储和网络等资源进行抽象，实现内部资源管理自动化，并对外部提供动态、灵活的基础设施服务。平台服务层介于基础设施服务层和应用服务层之间，是优化的云中间层，集合了具有通用性和可复用性的系统、中间层、数据库等软件资源，为云应用提供了开发、运行、管理和监控的平台环境。应用服务层构建于提供资源的基础设施服务层和提供环境的平台服务层之上，集合了云架构中的应用软件，通过网络为用户提供各类应用服务。

　　云服务平台采用开放式PC Server集群、海量并行计算和Hadoop平台等技术，构建稳定、高效的基础环境，实现了IT基础架构的低投入、易扩展和高灵活。云服务平台同时在信息管理、运营管理、财务管理、风险管理、客户管理、外部监管等多个领域提供基础架构支撑，使大量数据产生价值，有效推动银行业务运营与发展。云服务平台的核心是数据架构、管控架构和运营架构。

　　数据架构是云服务平台的基石，包含数据覆盖和数据整合。数据覆盖方面，全面涵盖农业银行各类应用系统数据及工商、税务、征信、企业ERP等大量行外数据，实现了数据集中存放。数据整合方面，通过内外各类数据的有效整合，设计数据模型清晰描述数据内容，构建统一、全面、科学的数据视图，便于数据存储、使用和管理。

　　管控架构是云服务平台的全流程管理框架，包括数据标准管理、数据质量管理等内容，以机构、客户、产品等主数据为切入点，逐步完善数据标准建设。

　　运营架构包含数据分析的组织架构、规章制度和工作流程，从数据权限管理、架构管控、运行监控、技术保障、业务运营等方面入手，落实责任部门和岗位人员，明确工作职责和具体要求，不断提升运维管理水平。

　　2.关键技术

　　云服务平台通过虚拟化、并行部署、海量数据处理和大规模分布式存储等技术(如图2所示)，实现高可靠、易扩展、可管理和高效经济的基础环境构建。

　　(1) 虚拟化技术

　　虚拟化是云计算技术的核心特征，其目标是整合或划分物理资源。目前，农业银行数据中心数据抽取作业量已达8万个，数据处理作业量3万个，作业之间关联关系复杂。云服务平台通过虚拟化技术，灵活调配和有效整合CPU、存储、负载均衡等物理资源，加强作业调度和监控，提高数据并发处理效率，同时对作业处理异

　　常状况进行快速处置，确保云服务平台平稳运行。

　　(2)并行部署技术

　　在物理资源不断吃紧的形势下，并行部署技术显得尤为重要。云服务平台通过并行部署技术，将传统的顺序串行部署方式改变为并行部署，同时执行多个部署任务，将虚拟机同时部署到多个物理机上，成倍地减少部署所需时间，加速部署过程。目前，存储镜像文件部署服务器的读写能力或部署系统的网络带宽制约着实际的部署速度，下一步将应用更为高效的协同部署技术进一步提高部署速度。

　　(3)海量数据处理技术

　　海量数据快速高效处理需由众多PC服务器组成集群来实现，这是业界普遍面临的技术难题。农业银行数据中心采用Hadoop集群和MapReduce编程模型，实现海量数据并行处理。MapReduce编程模型由JobTracker 和TaskTracker 组成，将一个任务分解成多个可独立执行的子任务，根据各个计算节点的处理能力，将任务分配到多个服务器集群上并行处理，有效缩短整个任务的完成时间。

　　(4)大规模分布式存储技术

　　云服务平台利用多台服务器的存储资源，在底层部署了Hadoop 分布式文件系统(HDFS)，进行抽象表示和统一管理。作为运行在通用硬件上的分布式文件系统，HDFS具有高容错率和易扩展性，可应用于几个至上千个服务器集群上，实现数据读写高速输入输出，确保数据读写操作的安全性、可靠性。

　　二、云服务平台运维管理

　　农业银行数据中心以实际需求为导向，在确保系统稳定运行的前提下，通过搭建集中运维管理平台(如图3所示)、建立集中监控体系、加强动态资源优化管理，提升基础架构的自动化和精细化管理水平，提高系统实时报警与风险防范能力。

　　1.高效管理

　　通过集中运维管理平台，实现各类资源的自动配置部署和备份，同时，借助集群内部管理模块，与数据中心管理程序协同运转，实现集群的节点启停、资源调整和实时迁移。为了解决Hadoop分布式文件系统(HDFS)数据备份复杂问题，集中运维管理平台采用全量备份和增量备份相结合、虚拟集群内部备份和外部备份相结合的方法，缩短备份时间，减少存储空间，提高运维管理效率。

　　2.集中监控

　　建立面向全行、科学有效的集中监控体系，明确应用开发的接口规范，实现系统、应用、网络等系统集成，优化系统运行结构和代码质量，不断提升集中监控系统运行的稳定性和可靠性。通过自动高效、功能全面的监控工具，对全行各类资源、运行状态和作业流程进行集中监控。基于云服务平台的运维视图，实现告警事件的实时发现、定位与性能数据的集中管理，降低运行风险，提高系统预警能力。

　　3.动态优化

　　加强云服务平台资源全生命周期管理，对资源进行规划、分析、调整和优化，实时满足实际需求。结合服务级别目标和业务需求，加快资源分配响应速度，提升平台服务能力。同时，分析和预测云计算技术发展趋势，按需配置和动态调整资源，在保障系统安全、稳定、高效运行的前提下，改善客户体验，逐步实现各类资源的统一、集中管理。

　　三、挑战与展望

　　面对基于海量数据的实时应用，现有的云服务平台面临着较大挑战。首先，在云环境中，数据储存于远端集群中，数据安全涉及云平台本身安全和数据安全防护模式等问题。其次，当云环境发生故障，要准确预测可用性，才能确保云服务的高可靠性。再次，云服务平台承载着集群、存储和网络等负载，远高于传统计算平台，分布式系统和存储面临更严重的性能问题。除此之外，云的复杂性和开放性为在多个云之间实现统一化和标准化管理增加了难度，如何更有效地整合与调度物理资源，为用户提供高性能的计算、存储和通信服务等问题亟待进一步研究。

　　综上，在云服务平台建设规划之初就应考虑以下问题：首先是数据安全性问题，包括数据访问控制、核心数据加密存储和数据平台用户管理等。其次，云服务平台的数据来源广泛，要确保数据的完整性、准确性和一致性。最后，针对规章制度、工作流程、标准管理、质量管理等建立管控架构，实现云服务平台全流程的高效运营管理。长远来看，云计算为银行数据中心建设和业务经营发展带来新契机，利用日趋成熟的云计算技术，将彻底改变银行现有的数据管控、产品研发、经营决策和客户服务等模式，实现监控可视化、控制自动化、管理流程化，灵活支撑业务快速发展。FCC