中国农业银行软件开发中心总经理   蔡钊

　　大数据时代，银行业面临着一场经营方式上的变革，大数据既为银行创造了深化客户挖掘、加快产品创新的广阔空间，同时也催生出很多新的金融业态来直接瓜分商业银行市场，对传统的银行业带来巨大的冲击。在这样的背景下，挖掘利用大数据的能力将成为决定银行竞争力的关键因素。可以说，谁能从大数据中摄取更多“养分”，谁才更有可能在这场看不见硝烟的“战争”中坚持到最后。

　　然而，从大数据中发掘“大价值”并非易事。大数据时代，数据的体量越来越大、结构越来越多样、增长速度越来越快、数据之间的关系越来越错综复杂。面对令人眼花缭乱的数据资源，只有深度挖掘才能提炼出隐藏其中的价值奥秘。但这如同在浩瀚的数据大海中找到一方价值宝岛，是破解数据之谜的关键，也是难点所在。

　　农业银行紧跟大数据时代的步伐，以信息化银行建设战略为指导，在大数据技术体系建设及分析挖掘应用方面进行了大量实践，并取得一些成效。总结经验，我们认为要破解大数据价值应用的难题，需要把握“一个目标、两个问题、三个环节、四个创新”。

　　探秘大数据：一个目标、两个问题、 三个环节、四个创新

　　面对大数据，一个目标就是“充分发挥大数据的综合价值，将数据转化为推动业务持续发展和经营管理改革的生产力”。要实现这一目标，必须解决好两个问题：在技术上，如何构建开放、融合、高效、稳定的技术平台体系，实现海量异构数据的采集、处理、存储、分析、应用及治理，也就是要具备驾驭大数据的技术本领;在管理上，如何形成一个良好的、深度融合的、有机闭环的数据价值应用体系，实现数据价值落地应用、反馈后评价、迭代优化及不断提升的完整闭环，也就是要具备消化吸收大数据价值的综合管理能力。

　　围绕着一个目标和两个问题，我们进一步分析从数据到生产力的转变过程(如图1 所示)，主要有三个环节：从数据到知识(从无序到有序)，从知识到价值(从有序到增值)，从价值到生产力(从增值到持续发展)。那么，谁是推动从数据到生产力这一流程的“无形的手” 呢?答案是“创新”。

　　农业银行林晓轩副行长要求全行科技工作做到“四个新”：“新技术、新机制、新思维、新人才”。其实，这四个“新”也恰恰是破解数据价值应用难题的四把“钥匙”：充分利用大数据、云计算、分析挖掘等新技术，搭好平台、建好系统、提供服务、做好支撑，有力推动数据向知识的转变;不断建立数据价值在生产经营中落地应用的新机制，有力推动知识向价值的转变;逐步形成“用数据说话”的精细化管理新理念和企业级数据文化，有力推动价值向生产力的转变;强化培养懂业务、懂技术、懂数据的复合型新人才，打造全行的数据分析师团队，为数据价值深度挖掘及综合应用奠定坚实的人才基础。

　　农业银行以四个“新”为指导思想，逐步构建全行数据价值挖掘应用的生态环境。

　　探索新技术， 做好数据挖掘应用的基础平台支撑

　　农业银行积极探索创新，借鉴同业先进经验，吸收业界前沿技术，搭建了具有农业银行特色的大数据技术体系，磨砺了两把神兵宝刃——“屠龙刀”大数据平台与“倚天剑”分析挖掘平台，前者用于大数据处理，后者用于大数据挖掘，双刃合璧，把纷乱如麻的大数据化繁为简、理出头绪。

　　大数据平台通过国产MPP 数据库与Hadoop 技术深度融合，搭建了高性能、大容量、并行可扩展、自主可控的云计算环境。MPP 数据库主要处理海量的、长历史周期的、复杂业务逻辑的行内结构化数据，Hadoop 技术框架采用了HFDS、MapReduce、HBase、Kafka、Storm、Hive、Spark 等多个组件，主要完成海量数据备份、非结构化数据处理、流数据处理、大规模批量作业及复杂分析等功能，两者的完美融合既能优势互补、发挥所长，又能满足不同场景下异构复杂数据处理的不同需求。比如传统数据库处理热数据、MPP 数据库处理温数据、Hadoop 处理冷数据，再比如Hadoop 完成数据文件清洗转换、MPP 数据库完成仓内数据模型化，实现计算性能和研发效率的最大化。依托大数据平台，农业银行具备了PB 级结构化数据、EB 级非结构化数据及实时流数据的处理能力，实现了行内核心数据的全覆盖、行内与行外数据的有效融合、结构与非结构化数据的统筹处理，打好了数据价值挖掘应用的基础。

　　分析挖掘平台按照“面向用户、多态开放、虚拟化、云服务”的指导思路，搭建了融合SAS、Spark、R、Python 等多种数据分析技术的计算框架，实现了算法选型、变量处理、模型驯化、测试评估等分析挖掘全流程支撑, 集成了丰富的模型库、高效的计算引擎和便捷的操作工具，为用户提供了多实验场景、流水线作业、组件化模型和立体式服务。依托数据分析挖掘平台，农业银行具备了PB 级海量异构数据并行计算及大数据云挖掘的能力，有效支撑了业务深度挖掘的需求，打破了传统数据分析技术瓶颈，实现了诸多“不可能”。如利用Spark 技术实现了海量数据、复杂挖掘算法的并行处理，基于大量的、长历史周期的行内个人客户交易数据及属性信息可以快速建立“社交网络”，近3 年约3TB 的网银交易流水10 分钟完成处理，高效、准确地识别特定社群，开展集中营销、疑似恐怖融资风险分析等;基于Storm 实时流计算技术，可以实现对交易数据的实时处理，处理延迟达到ms 级，每秒处理数据量可达40 万笔，有效支撑实时反欺诈监控等业务应用场景;基于Hadoop 环境下的行外非结构化数据分析，可以采用文本向量空间模型、文本聚类等技术，实现大数据舆情监测分析，为经营管理和产品优化提供信息参考。

　　大数据技术体系搭建的过程中，技术创新是贯穿始终的一条主线。农业银行坚持“面对新问题、采用新技术、总结新路子、搭建新平台”的思路，在大数据基础架构、计算环境、数据模型、配套工具、服务应用、分析挖掘、运维保障等方面做出了大量创新实践，并得到了业界的认可，“国产MPP 架构数据库在金融业大数据计算环境中的研究和实践”获得人民银行科技发展二等奖，应邀多次在人民银行、工信部主办的大数据论坛中分享经验。实践经验表明，采用大数据发展的新技术，并结合自身实际消化吸收、为我所用，是打好数据利用基础的关键。

　　摸索新机制，打造分析挖掘落地应用的生态闭环

　　大数据技术体系推动了数据向知识的转变，但分析挖掘的成果只有落地应用才能产生真金白银的价值。现实中，由于传统“部门银行”的思维方式，存在职能边界僵化、业务流程割裂等情况，影响了数据价值的发挥效果。举例来说，通过分析挖掘找到精准营销的客户群体，但如果产品创新和业务策略调整跟不上，就会导致精准营销不精准。所以说，创新工作机制是数据产生价值的保障，是提升大数据综合运用能力的关键。

　　数据分析挖掘及落地应用的新机制，可以总结为“三个融合、两个闭环、一套流程、一个保障”。“三个融合” 指的是不同业务领域融合、业务与技术融合、总分行融合，通过数据壁垒的打通及分析应用的整合打造流程银行，通过业务经验与数据规律的双向驱动让分析挖掘真正解决业务问题，通过总行与分行的有机联动让数据挖掘应用着眼一线、接地气。“两个闭环”指的是，技术上形成“源数据- 分析挖掘- 应用建设- 数据反馈”的IT 闭环，体系上形成“数据挖掘形成成果- 产品创新及管理优化- 持续监控及反馈评估- 综合考评及优化提升” 的管理闭环。“一个流程”指的是，建立一套与分析挖掘落地应用整个生态闭环相适应的流程、制度和规范。“一个保障”指数据全生命周期管理，包括落地数据标准、强化数据治理、监控数据问题、统筹数据使用等，目的是提高数据海洋的“清澈度”(数据质量和规范性)，有效降低“海中寻宝”的难度。

　　机制上的创新联合技术上创新，可以有效地推动数据价值的最大化，为生产经营管理带来意想不到的科技“红包”。如通过分析挖掘平台和个人营销管理系统的有机联动，以及配套的零售产品创新机制及个性化营销策略，农业银行动态实现了目标客户识别、客群划分、客户偏好分析、产品匹配、营销管理、考核及后评价等业务流程创新，在信用卡交叉营销、基金精准营销等多个实际应用中获得了近300% 的同比营销响应率。再如， 通过分析挖掘技术创新与信贷管理机制创新的结合，农业银行构建了小微企业风险预警模型及优农贷模型，模型的有效性达到70.94%，实现贷前识别优质客户、贷中动态评价客户、贷后及时监控并做好风险预警，为小微企业、三农客户的信贷管理开辟了新路子。

　　打造新思维，逐步形成以数据说话的企业文化

　　大数据不只是一种技术、方法和工具，更是一种思维方式。

　　通过技术创新和机制创新可以实现从数据到知识、再到价值的转化，但若要进一步转变为持续发展的生产力和基业长青的竞争力，就必须在思维方式上和企业文化上进行“洗礼”：需要认识到互联网和大数据给传统银行业所带来的挑战与机遇，要思考在经济下行、利差收窄、风险攀升的经济金融环境中如何借助数据价值寻找新的增长点;需要真正形成“用数据说话”的经营管理文化，大力推动从“基于经验”的粗放式管理向“基于数据”的定量化、精细化的经营决策方式转变;要坚持互联网思维，以“创新的速度、使用的易度、覆盖的广度、应用的深度”来重新审视金融产品，并推进金融产品的变革。

　　大数据思维的不断深化，带来的是全行产品创新能力、数据服务能力和价值创造能力的全面加强。以产品创新为例，农业银行依托大数据技术体系，通过对客户信息、交易信息、资金信息、物流信息等数据的整合应用和深度分析，在互联网金融三大平台中逐步推出数据网贷、网捷贷、快农贷等一批创新产品，为客户提供“管家式”的新型信息服务。再以经营决策“数据化”为例， 农业银行依托大数据分析挖掘平台，整合行内外各类信息，建立客户、产品及经营热点多个维度的动态监控、深度分析和报告机制，为经营管理决策提供参考，也成为传播数据文化的载体和贯彻“数据治行”经营理念的重要抓手。

　　培养新人才，为数据价值应用注入不竭的活力

　　大数据时代，掌握数据分析能力的新人才团队将成为企业核心竞争力的基础。就数据挖掘应用而言，新技术、新机制、新思维都要通过新人才才能发挥作用，从数据到生产力的各个环节，都离不开人的能动作用和创造力。数据本身不会主动“说话”，要让它说出来、说得对、说得好，就需要数据分析师发挥聪明才智、做好工作。就像一块美玉需要经过采矿、选石、锻造、雕琢、打磨等环节方能现其本色，数据只有经过数据分析师的加工处理、分析挖掘、测试验证、监控评价等过程，才能彰显数据价值的巨大威力。所以，数据分析师人才培养及队伍建设是数据价值挖掘应用基础中的基础、关键中的关键，正所谓“千金易得、一将难求”。

　　农业银行非常重视数据分析人才的培养，通过三个着力点和四个落脚点开展工作。三个着力点是指“人才、队伍、模式”：培养一批懂业务、懂数据、懂技术、懂分析、会创新的复合型人才，打造涵盖总分行各业务条线、业务技术相融合的数据分析师团队，结合数据挖掘应用的特点探索创新团队组织模式、项目建设模式及工作开展模式。四个落脚点是指“选拔、培养、发展、留住”：通过内部人才储备库及定期岗位双选、外部专业人才引进等方式识别、选拔人才，通过专题分析挖掘实践与多层次的培训交流相结合培养、锻炼人才，通过个人能力偏好与岗位的良好匹配、与贡献相对等的绩效考核方式及畅通的技术晋升渠道等使用、发展人才，通过中坚科技人才激励、优秀项目实践奖励及价值导向的动态薪资机制等吸引、留住人才。最终实现为全行数据价值应用能力的全面提升，注入源源不竭的人才资源和创新驱动力。

　　展望未来，农业银行将深入贯彻信息化银行建设的战略部署，以“新技术、新机制、新思维、新人才”的战略要求为指导，持续推动数据价值深度挖掘应用，通过大数据优化银行流程、高效配置金融资源、有力推动产品创新、敏锐洞察客户需求并为客户创造最佳服务体验，让数据产生价值，让数据“为懂它的人说话”，让数据转化为持续发展的生产力，为农业银行业务发展和经营管理提供强大的科技引擎。