广东省农村信用社联合社软件开发与测试部总经理 吴洪

　　广东省农村信用社联合社于2010年建立测试队伍,在开发人员的指导下,依赖测试人员业务经验，验证交易功能正确性。2011年,逐步引进了几家测试外包公司,经过几年的探索和总结,基本建立了测试制度、流程、规范，完善了测试策略、计划、设计、执行、监控和环境，达到了TMMi2的已管理级。2017年对测试组织、测试生命周期和集成、测试培训方案、非功能测试等内容明确定义，达到了TMMi3已定义级。

　　随着金融科技的蓬勃发展，在“互联网+”的背景下，基于大数据、人工智能、云计算等新兴技术的应用，银行业的小微、大零售等互联网普惠金融产品不断涌现，产品服务的场景化、差异化、个性化特点突出，产品竞争激烈、更新速度快，用户体验要求越来越高。金融科技创新必须快速适应业务市场的需求变化，技术支撑平台化、应用开发简单化、产品设计参数化、客户体验场景化是金融科技战略发展方向。在金融软件开发效率飞速提高，软件功能空前丰富，金融强监管的形势下，安全、可靠的软件质量成为金融科技关注的重要方面，测试作为当前质量控制的主要手段，在提升银行软件产品质量方面发挥着关键作用，银行业软件测试的重要性凸显，对测试提出更高的要求，测试投入不断加大。IT行业丰富的实践积累带来软件工程学科的迅猛发展，测试理论基础和技术体系逐渐完备，软件测试已经发展为独立专业，ISTQB、TMMi、TPI、ISO29119等国际软件测试模型和标准的应用也越来越多。

　　一、广东农信测试体系建设

　　广东农信测试体系(以下简称“测试体系”)建设历时一年，通过了TMMi3认证，测试人员主导测试体系建设的调研、分析、文档撰写、评审、改进、宣讲、培训、项目试点的全过程，测试体系严格遵循TMMi框架要求，融入多年测试管理制度、流程、技术实际经验积累，持续优化、不断改进，在组织层面建立规范、完善、可落地的测试体系，并通过ISTQB和TMMiProfessional认证培养了专业测试团队。

　　1.测试流程的改进

　　广东农信采取传统和敏捷并行的双模开发模式，测试体系根据双模开发模式结合组织架构完善相应的W测试模型和迭代测试模型;在测试流程方面，根据不同项目系统、不同风险差异、不同业务复杂度、同一个项目的不同系统模块，采用不同的测试流程，突出测试重点，提高测试效率和质量，对于财务、支付类业务必须采用完整的测试流程，对于风险较小的系统采用并行或者裁剪的快捷测试流程;在测试类型方面，完善非功能测试，规范了非功能测试的流程和测试原则，在项目计划阶段把非功能测试纳入到测试计划中;在测试内容方面，增加了用户体验测试，包括感官、浏览、交互、情感、场景、信任，建立人才、流程、指标、标准的用户体验工作体系;在项目管理方面，增加项目集管理流程，通过测试主计划统筹多个子项目和测试级别的子测试计划、测试任务和测试途径，对项目整体测试计划、范围、质量、人力和成本作统一的协调管理。

　　2.测试计划的改进

　　测试体系强调形成组织级的测试风险库和测试策略，以风险驱动测试计划，测试计划的测试途径基于已识别的风险和已定义的测试策略制定，实现了组织级已识别风险的传承应用，避免依靠个人经验判定测试范围和测试重点带来的风险和不确定性。按TMMi的测试计划理论，在测试计划阶段，提前定义、识别和分析风险，把风险管理贯穿到整个测试周期。通过参考组织风险库，对产品和项目的过程进行风险分析，明确测试范围和重点，制定测试计划，提升测试范围的全面性、准确性、有效性。与此同时，风险库在应用过程中得到不断积累完善和优化更新，为组织积累宝贵的测试资产。

　　3.测试设计的改进

　　测试设计强调需求双向跟踪，实现需求和测试用例的双向可追溯性。在正向跟踪方面，由业务需求说明书的需求分解到测试列表的需求功能点，再由测试列表的需求功能点分解到测试用例，保证并实现测试用例对需求的全覆盖;在逆向跟踪方面，由测试用例逆推需求来源，评估测试用例的有效性。测试设计通过测试列表、测试用例模板将需求双向跟踪具体化、可视化，这种具体、清晰的需求双向跟踪方式，实现了需求功能的全覆盖和测试用例的有效性。

　　4.测试执行的改进

　　为提高测试执行效率，在测试体系的工具应用方面，广东农信自主搭建了自动化测试平台，打造了一个跨平台、易操作、标准化的自动化测试平台，具有可视化、便管理、统一性、集中性的特点。一是编辑脚本平台化。将自动化脚本去代码化，无需安装编程工具，在浏览器上自主选择操作方法，操作方法包括输入框赋值、下拉框选择值和点击按钮等;二是脚本调度智能化。可自由调度自动化用例及执行顺序，满足不同的自动化测试任务，自动执行，全程无需干预，通过查看执行进度，等待任务完成;三是执行日志可视化。自动化脚本执行过程中的每个步骤有详细的操作日志，可通过平台直接查看，方便问题定位。实现了测试用例、测试计划、测试执行和测试报告的复用。

　　5.测试资产积累的改进

　　测试体系对组织的每一个过程交付物都有明确定义，过程交付物经专业评审后转化为组织测试资产，测试管理在流程管理过程中驱动测试组织能力的提升。有计划、有策略地进行测试资产积累，建立模型化、可度量、可复用的测试资产库，实现标准化、规范化的测试管理模式，提升整体测试水平。以“组件化”“模型化”的形式将测试能力和管理能力积累到测试资产库，方便查阅和复用，实现资产共享，提升测试能力。

　　6.建立测试过程改进组织

　　成立TEPG过程改进小组，负责测试过程优化改进。TEPG是虚拟小组，成员由通过TMMiProfessional和ISTQB认证的资深测试人员组成。TEPG主要负责持续关注体系的运行，推进组织的测试过程改进，并向测试组织宣导推广改进事项。

　　二、测试体系建设主要成效

　　测试体系指导测试工作更加高效地开展，强化了软件测试管理，夯实了科技创新基础，广东农信测试的管理水平、测试效率、测试质量和人员能力等方面都有了明显提升。

　　1.建立完善的测试体系

　　测试体系对测试组织进行定位，建立战略目标和方针，体系化测试规范、标准和模板，全过程指导测试工作。测试体系建设共历经差距诊断、改进、试点、推广、评估5大阶段，最终完成60份体系规范，涵盖方针策略、组织职能、产品风险管理机制、测试生命周期、系统测试、非功能测试、业务验收流程等，达到TMMi3级认证包含的10个过程域的目标和实践要求，明确了测试角色组成及测试工作中的职责边界，为管理路径和沟通路径提供依据;明确了各测试级别和类型的测试流程、环节、测试活动及成果物，规范测试准入准出标准，明确评审形式和内容，提高评审效益，保证测试质量。

　　2.积累宝贵测试资产库

　　建立财富积累模型(如图1所示)，建成风险库、用例库、场景库、脚本库和培训库等，提高测试效率。在测试分析方面，将测试组织近10年的测试实践和经验，按测试级别、测试类型和业务类型三个维度建立测试分析模型(如图2所示)。目前，测试级别包括系统测试和业务验收测试，测试类型包括非功能测试，业务类型包括存款、贷款、支付和中间业务，测试设计分析过程规范化，形成组织级的测试设计分析过程资产，输出可复用的测试用例库、业务验收场景库和非功能测试脚本库，不断丰富组织级测试资产库。

　　图1 财富积累模型

　　图2 测试分析模型

　　3.测试专业人才培养

　　在测试体系建设过程中，注重人员能力培养，培养了一批测试专业人才，以及能够分析、建模、数据测量，可自主进行测试过程改进的人才。80%的测试人员获得TMMiProfessional证书，100%的测试人员获得ISTQB证书。

　　4.测试能力明显提升

　　2017年10月通过TMMi3认证，测试效率、质量和团队服务水平明显提升。一是效率方面，每年完成任务量大幅增长，在测试团队人数维持不变的情况下，2017年比2016年增长了30%，2018年比2017年增长了45%。二是质量方面，2017年比2016年发现缺陷数增长23%，2018年比2017年发现缺陷数增长36%，2018年缺陷漏出率同比降低了15%。三是团队服务水平方面，组织测试财富的积累保证测试组织服务能力的稳定，不会因为测试人员流动而影响测试组织的服务水平。

　　5.树立测试专业形象

　　广东农信测试体系获得TMMi3认证证书，切实提升了测试能力成熟度。通过TMMi基金会中国分会，加强行业交流、学习，促进测试能力提升，获得TMMi基金会中国分会颁发的卓越贡献奖和卓越实践奖，3名测试专家被中国软件测试认证委员会(CSQTB)聘为“CSQTB金融业软件测试工作组”专家，并于2019年参与TMMi基金会中国分会组织的TMMi系统文档本地化工作，主要负责《TMMi评估方法应用需求》的中文版翻译。

　　三、未来展望

　　目前，测试体系已经落地实施和顺利运转，并取得了一定成效，广东农信也在2018年开始实施IT规划，提出业务应用平台化、数据资产化、基础设施弹性化、信息安全体系化和IT治理精细化的要求，从治理、应用、数据、基础、安全等方面协同解决这一系列问题，满足多元化、专业化、数据化和开放式的需求。这就要求测试体系有更好的适应性，能进行更全面的精细化管理。为进一步提升测试效率和质量，广东农信计划按TMMi4级的标准优化测试体系，建立以数据为核心支撑的、体系化的、动态可变的、目标驱动的测试测量体系，对测试度量数据进行有效收集和分析，建立量化的评估模型对过程监督和控制，根据测量数据动态改进测试过程。