《自动化测试技术概述46344.pptx》由会员分享,可在线阅读,更多相关《自动化测试技术概述46344.pptx(40页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、自动化测试自动化测试测试现状及问题测试现状及问题1测试筹备测试实施系统内部测试系统连接测试(LT)系统集成测试(SIT)用户接受测试(UAT)测试审核现象:现象:接口测试,测试数据种类繁多,具有大量的测试案例现象:现象:大量集成测试案例,代码、界面不稳定,版本更新极为频繁现象:现象:大量业务测试案例,代码、界面不稳定,版本更新比较频繁运营维护测试问题:问题:关注关键数据,执行少量的、关键的测试案例,测试不足问题:问题:测试人员少,无法承受重复的繁重工作量,执行少量的、关键的测试案例,测试不足问题:问题:测试人员少,无法承受重复的繁重工作量,执行少量的、关键的测试案例,测试不足现象:现象:版本定
2、期发布,大量回归测试案例,代码、界面稳定问题:问题:大量回归测试案例,无足够手工回归测试人员,测试不足自动化测试的标准应用测试阶段的测试阶段的功能测试功能测试背景:背景:在高覆盖率要求的前提下,每个功能的测试案例量很大,并且由于测试阶段中不断的代码修改、集成,重复测试的次数很多应用:应用:自动化功能测试,包括接口功能测试、界面安全性测试、业务功能测试,提高测试的覆盖率,降低测试的工作强度限制:限制:由于测试阶段中的代码和界面的频繁变更,自动化的覆盖率应以少量覆盖、关键覆盖为原则测试阶段的测试阶段的业务流测试业务流测试背景:背景:在集成测试和用户接受测试阶段中,业务流程的测试是主要工作内容。但是
3、,每个业务流程由于操作步骤多,导致执行时间长,重复的执行增加了测试的工作量和加重了工作负担应用:应用:自动化业务流测试,提高测试的覆盖率,降低工作强度限制:限制:同样由于测试阶段中的代码和界面的频繁变更,自动化的覆盖率应以少量覆盖、关键覆盖为原则运营维护阶段运营维护阶段的回归测试的回归测试背景:背景:在运营维护阶段,每次新版本发布前,应进行充分的回归测试,确保部分代码的变更不会影响大部分未变更的代码正确性。但是,通常情况下,这个阶段中不会固定拥有大量的测试人员来实施手工回归测试工作应用:应用:自动化功能测试,自动化业务流测试限制:限制:独立的测试环境引起资源争用或者巨大投入,在资源受限的情况下
4、,应以最小化占用资源的方式进行2解决思路初探解决思路初探自动化接口功能测试:自动化接口功能测试:测试数据自动生成,依据报文规范自动生成测试脚本,自动执行接口功能测试,提高接口测试的覆盖率,促进开发质量核心业务集自动化测试:核心业务集自动化测试:少量自动化测试工程师,自动化少量核心业务,版本更新时快速执行,保障核心模块的质量,提高测试效率核心业务集自动化测试:核心业务集自动化测试:少量自动化测试工程师,自动化少量核心业务,版本更新时快速执行,保障核心模块的质量,提高测试效率自动化功能测试、自动化业务流测试:自动化功能测试、自动化业务流测试:自动化测试小组,计算可行自动化率,建设自动化回归测试技术
5、平台,长期运行自动化测试,保障系统运行质量自动化测试的实际应用测试筹备测试实施系统内部测试系统连接测试(LT)系统集成测试(SIT)用户接受测试(UAT)测试审核运营维护测试3实施难度与风险实施难度与风险自动化测试自动化测试机构机构 设计、实现自动化测试技术平台设计、实现自动化测试技术平台 自动化测试可行性分析;确定自动化率目标和自动化测试需求自动化测试可行性分析;确定自动化率目标和自动化测试需求 设计、实现可执行的自动化测试业务测试过程和组件设计、实现可执行的自动化测试业务测试过程和组件 设计、实现自动化执行机制;执行自动化测试设计、实现自动化执行机制;执行自动化测试业务测试业务测试机构机构
6、 提供业务测试需求提供业务测试需求 提供业务测试案例,包括操作步骤、业务数据和验证方法提供业务测试案例,包括操作步骤、业务数据和验证方法测试环境测试环境 自动化测试环境的基础设施支持自动化测试环境的基础设施支持项目组项目组 自动化测试环境的应用环境支持自动化测试环境的应用环境支持 自动化测试组件开发的技术支持自动化测试组件开发的技术支持标准实施角色测试管理测试管理机构机构 建设自动化测试体系建设自动化测试体系 规划自动化测试技术平台规划自动化测试技术平台 根据软件项目测试需要确定项目级自动化测试策略根据软件项目测试需要确定项目级自动化测试策略 自动化测试工作的计划、组织和协调自动化测试工作的计
7、划、组织和协调 自动化测试环境的计划、组织和协调自动化测试环境的计划、组织和协调 自动化测试缺陷与手工测试缺陷的关联管理自动化测试缺陷与手工测试缺陷的关联管理 自动化测试结果的分析、评估与审定自动化测试结果的分析、评估与审定测试管理测试管理自动化测试管理自动化测试管理手工测试的传承手工测试的传承自动化测试实施自动化测试实施自动化测试支持自动化测试支持自动化测试支持自动化测试支持自动化测试自动化测试 自动化测试角色不了解信息应用系统的业务自动化测试角色不了解信息应用系统的业务 若无详细的测试需求,无法快速分析、确定自动化测试需求若无详细的测试需求,无法快速分析、确定自动化测试需求 若无详细的测试
8、案例,无法快速设计自动化测试案例若无详细的测试案例,无法快速设计自动化测试案例 学习业务的工作量较大学习业务的工作量较大业务测试业务测试 当前业务测试规范度尚未完善当前业务测试规范度尚未完善 业务测试案例尚未达到符合标准的程度业务测试案例尚未达到符合标准的程度 为自动化测试编制符合要求的测试案例带来较大的工作量为自动化测试编制符合要求的测试案例带来较大的工作量测试环境测试环境项目组项目组 自动化测试的组件开发需要项目组提供软件界面处理逻辑的详细自动化测试的组件开发需要项目组提供软件界面处理逻辑的详细文档,或者由项目组的开发人员提供技术支持,导致工作量较大文档,或者由项目组的开发人员提供技术支持
9、,导致工作量较大实施难度实施难度实施难度实施难度1 1自动化测试设计 自动化测试的脚本开发与应用软件的界面、代码变更息息相关自动化测试的脚本开发与应用软件的界面、代码变更息息相关 自动化测试的脚本量越大,维护工作量就越大自动化测试的脚本量越大,维护工作量就越大 若实施准备不足或风险预估不完整,甚至导致实现失败若实施准备不足或风险预估不完整,甚至导致实现失败实施难度实施难度实施难度实施难度2 2自动化测试自动化测试业务测试业务测试测试环境测试环境项目组项目组自动化测试实现自动化测试可能遇到多项目并行的情况给自动化测试的管理带来较大的难度要求实施难度实施难度实施难度实施难度3 3自动化测试在运营维
10、护期的执行过程中需要对测试环境独占若测试环境资源有限,会造成无测试环境资源或者测试环境资源严重争用的情况自动化测试自动化测试业务测试业务测试测试环境测试环境项目组项目组自动化测试执行降低业务测试不规范带来的各种工作量最低标准最低标准测试需求测试需求测试案例测试案例手工测试手工测试手工测试手工测试自动化测试自动化测试自动化测试自动化测试工工工工作作作作重重重重点点点点=提提提提高高高高测测测测试试试试需需需需求求求求和和和和测测测测试试试试案案案案例例例例的的的的规规规规范范范范度度度度工工工工作作作作重重重重点点点点=自自自自动动动动化化化化测测测测试试试试设设设设计计计计、实实实实现现现现与
11、与与与执执执执行行行行手工测试规范度不足手工测试规范度不足最高标准最高标准测试需求测试需求测试案例测试案例手工测试规范度满足手工测试规范度满足问题:问题:1 1)不足以设计自动化测试)不足以设计自动化测试解决:解决:1 1)依据最低标准,基本设计)依据最低标准,基本设计2 2)向业务测试角色学习、补充)向业务测试角色学习、补充3 3)提高业务认识,补充设计)提高业务认识,补充设计依据最高标准,直接设计依据最高标准,直接设计改进改进改进改进发展发展发展发展积累积累积累积累提高提高提高提高自动化测试技术平台自动化测试技术平台测试执行测试执行测试执行组织调度子系统测试执行组织调度子系统测试运行计划设
12、计子系统测试运行计划设计子系统测试执行子系统测试执行子系统测试执行监控子系统测试执行监控子系统测试分析测试分析测试分析子系统测试分析子系统测试管理测试管理项目管理子系统项目管理子系统用户管理子系统用户管理子系统测试需求管理子系统测试需求管理子系统业务组件管理子系统业务组件管理子系统业务测试过程管理子系统业务测试过程管理子系统BC、BP开发子系统开发子系统测试数据管理子系统测试数据管理子系统自动化测试技术平台自动化测试技术平台的建设目标自动化测试自动化测试自动化测试自动化测试技术平台技术平台技术平台技术平台平台目标平台目标平台目标平台目标设计工作可视化操作设计工作可视化操作测试数据集中管理测试数
13、据集中管理测试结果综合分析测试结果综合分析测试执行自动控制测试执行自动控制1234问题解决问题解决问题解决问题解决1 1自动化测试技术平台自动化测试技术平台项目管理子系统项目管理子系统用户管理子系统用户管理子系统项目自动化测试工作项目自动化测试工作项目自动化测试工作项目自动化测试工作自动化测试管理办法自动化测试管理办法自动化测试管理办法自动化测试管理办法自动化测试管理规程自动化测试管理规程自动化测试管理规程自动化测试管理规程自动化测试规范自动化测试规范自动化测试规范自动化测试规范多项目并行内容大纲内容大纲内容大纲内容大纲pp一、一、一、一、技技技技术发术发展展展展趋势趋势pp二、二、二、二、R
14、OI ROI分析分析分析分析pp三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例pp四、四、四、四、组织组织管理管理管理管理pp五、五、五、五、自自自自动动化化化化测试测试体系体系体系体系pp六、六、六、六、应应用系用系用系用系统统架构架构架构架构pp七、七、七、七、集成架构集成架构集成架构集成架构没有测试没有测试手工测试手工测试时间紧时间紧可靠性低可靠性低人力缺乏人力缺乏无法保证一致性无法保证一致性无法重复无法重复快速快速可重复可重复高覆盖率高覆盖率高可靠性高可靠性重用性强重用性强自动测试自动测试一、一、一、一、技术发展趋势技术发展趋势技术发展趋势技术发展趋势1 1
15、1 11 1、将乏味且人工容易出错的工作进行自动化,实现功能的回归测试,在应用程序修将乏味且人工容易出错的工作进行自动化,实现功能的回归测试,在应用程序修改之后,运行自动化测试脚本,快速完成回归测试改之后,运行自动化测试脚本,快速完成回归测试2 2、将重复的测试工作自动化完成,为其他方法的测试赢得更多时间;、将重复的测试工作自动化完成,为其他方法的测试赢得更多时间;3 3、降低测试成本,提高测试复用度和测试效率,占用少量的业务测试人力资源、降低测试成本,提高测试复用度和测试效率,占用少量的业务测试人力资源一、一、一、一、技术发展趋势技术发展趋势技术发展趋势技术发展趋势2 2 2 2录录录录制回
16、放制回放制回放制回放脚本技脚本技脚本技脚本技术术术术数据数据数据数据驱动驱动驱动驱动关关关关键键键键字字字字驱动驱动驱动驱动业务驱动业务驱动业务驱动业务驱动可可维护维护性性低低中中中中中中高高可靠性可靠性低低高高高高高高高高效率效率低低中中中中中中高高可复用性可复用性低低中中中中高高高高健壮性健壮性低低高高高高高高高高可移植性可移植性低低低低中中中中中中易用性易用性高高低低中中中中高高内容大纲内容大纲内容大纲内容大纲pp一、一、一、一、技技技技术发术发展展展展趋势趋势pp二、二、二、二、ROI ROI分析分析分析分析pp三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例p
17、p四、四、四、四、组织组织管理管理管理管理pp五、五、五、五、自自自自动动化化化化测试测试体系体系体系体系pp六、六、六、六、应应用系用系用系用系统统架构架构架构架构pp七、七、七、七、集成架构集成架构集成架构集成架构基于风险和复杂度评估达到测试目标的最佳性价比测试自动化基本实践方法Procedure forX Risk根据特定测试风险等级来选择合适的测试过程.通过以测试过程的最优组合和资源、进度、风险的约束来多次运行自动化测试次数,来达到最小化工作量的目标方法方法过程程High RiskMedium RiskLow RiskHigh复杂度Medium复杂度Low复杂度Assuming tes
18、t cases for all risks and complexities are in-scope for each test cycle.Automation ROI Matrix测试范围测试范围由风险驱动测试(例如:高风险的项先被测试)自动化的优先顺序自动化的优先顺序:对于能尽快(最少运行次数)达到投资回报平衡点高风险的测试案例优先低复杂度的测试案例优先优先级策略优先级策略自动化测试工作任务的优先级#of Test Cycles for Beginning of Return on Automation 复杂度复杂度RiskHighMediumLowHigh5.05.95.5Mediu
19、m6.67.38.1Low5.07.38.11342#-Priority#/Order58697自动化测试目标v只适用于功能测试阶段,因为一般会:给定预算,进度,资源给定平均或期望的测试运行次数根据业务流程的不同(复杂度和风险)最大化自动化率(只能达到有限值)初级阶段目标初级阶段目标v可以适用于回归测试:自动化率可以逐步提高增加自动化测试的次数减少测试运行时的缺陷高级阶段目标高级阶段目标通过灵活的合理的自动化测试目标最大化时间和资源的利用率和价值二、二、二、二、ROI ROI ROI ROI分析分析分析分析1 1 1 1二、二、二、二、ROI ROI ROI ROI分析分析分析分析2 2 2
20、2自动化测试固定成自动化测试固定成本的例子:本的例子:硬件硬件应用软件的许可证应用软件的许可证应用软件的技术支持应用软件的技术支持自动化测试环境的设计自动化测试环境的设计和搭建和搭建自动化测试环境的维护自动化测试环境的维护脚本开发工具软件脚本开发工具软件脚本开发工具的许可证脚本开发工具的许可证测试工具的培训测试工具的培训测试工具的引入和启动测试工具的引入和启动自动化测试可变成自动化测试可变成本的例子:本的例子:自动化测试用例的设计自动化测试用例的设计自动化测试用力的实现自动化测试用力的实现自动化测试的维护自动化测试的维护自动化测试用例的执行自动化测试用例的执行自动化测试结果的分析自动化测试结果
21、的分析缺陷的报告缺陷的报告测试结果的报告测试结果的报告测试执行数据的保存测试执行数据的保存自动执行的测试自动执行的测试手工测试共手工测试共同要素的例子:同要素的例子:被测软件分析被测软件分析测试规划测试规划基础测试设计基础测试设计缺陷报告缺陷报告测试结果报告测试结果报告内容大纲内容大纲内容大纲内容大纲pp一、一、一、一、技技技技术发术发展展展展趋势趋势pp二、二、二、二、ROI ROI分析分析分析分析pp三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例pp四、四、四、四、组织组织管理管理管理管理pp五、五、五、五、自自自自动动化化化化测试测试体系体系体系体系pp六、六、
22、六、六、应应用系用系用系用系统统架构架构架构架构pp七、七、七、七、集成架构集成架构集成架构集成架构三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例1 1 1 1三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例2 2 2 2三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例3 3 3 3交易分支交易分支 交易分支案例:交易分支案例:交易分支案例:交易分支案例:给交易分支增加一组数据,成为交易分支案例给交易分支增加一组数据,成为交易分支案例给交易分支增加一组数据,成为交易分支案例给交易分支增加一组数据,成为交易分支案例为具体为
23、具体为具体为具体的测试案例所使用的测试案例所使用的测试案例所使用的测试案例所使用 交易分支的视图:交易分支的视图:交易分支的视图:交易分支的视图:交易分支输入文档(设计)交易分支输入文档(设计)交易分支输入文档(设计)交易分支输入文档(设计)交易分支脚本(自动化测试)交易分支脚本(自动化测试)交易分支脚本(自动化测试)交易分支脚本(自动化测试)交易分支对应:交易分支对应:交易分支对应:交易分支对应:交易交易交易交易 交易的执行分支覆盖交易的执行分支覆盖交易的执行分支覆盖交易的执行分支覆盖三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例6 6 6 6业务测试案例业务测试案
24、例业务测试案例业务测试案例业务测试案例业务测试案例 具有输入、输出参数具有输入、输出参数具有输入、输出参数具有输入、输出参数 每个步骤都由交易分支案例组成,可以进行数据传每个步骤都由交易分支案例组成,可以进行数据传每个步骤都由交易分支案例组成,可以进行数据传每个步骤都由交易分支案例组成,可以进行数据传递,如:传递帐号。递,如:传递帐号。递,如:传递帐号。递,如:传递帐号。每个交易分支案例,都具有执行中使用的柜员信息每个交易分支案例,都具有执行中使用的柜员信息每个交易分支案例,都具有执行中使用的柜员信息每个交易分支案例,都具有执行中使用的柜员信息 具有校验功能具有校验功能具有校验功能具有校验功能
25、 由业务案例设计人员设计由业务案例设计人员设计由业务案例设计人员设计由业务案例设计人员设计内容大纲内容大纲内容大纲内容大纲pp一、一、一、一、技技技技术发术发展展展展趋势趋势pp二、二、二、二、ROI ROI分析分析分析分析pp三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例pp四、四、四、四、组织组织管理管理管理管理pp五、五、五、五、自自自自动动化化化化测试测试体系体系体系体系pp六、六、六、六、应应用系用系用系用系统统架构架构架构架构pp七、七、七、七、集成架构集成架构集成架构集成架构四、四、四、四、组织管理组织管理组织管理组织管理1 1 1 1四、四、四、四、组
26、织管理组织管理组织管理组织管理2 2 2 2内容大纲内容大纲内容大纲内容大纲pp一、一、一、一、技技技技术发术发展展展展趋势趋势pp二、二、二、二、ROI ROI分析分析分析分析pp三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例pp四、四、四、四、组织组织管理管理管理管理pp五、五、五、五、自自自自动动化化化化测试测试体系体系体系体系pp六、六、六、六、应应用系用系用系用系统统架构架构架构架构pp七、七、七、七、集成架构集成架构集成架构集成架构五、五、五、五、自动化测试体系自动化测试体系自动化测试体系自动化测试体系1 1 1 1五、五、五、五、自动化测试体系自动化测试
27、体系自动化测试体系自动化测试体系2 2 2 2内容大纲内容大纲内容大纲内容大纲pp一、一、一、一、技技技技术发术发展展展展趋势趋势pp二、二、二、二、ROI ROI分析分析分析分析pp三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例pp四、四、四、四、组织组织管理管理管理管理pp五、五、五、五、自自自自动动化化化化测试测试体系体系体系体系pp六、六、六、六、应应用系用系用系用系统统架构架构架构架构pp七、七、七、七、集成架构集成架构集成架构集成架构六、六、六、六、应用系统架构应用系统架构应用系统架构应用系统架构内容大纲内容大纲内容大纲内容大纲pp一、一、一、一、技技技技
28、术发术发展展展展趋势趋势pp二、二、二、二、ROI ROI分析分析分析分析pp三、三、三、三、流程、案例示例流程、案例示例流程、案例示例流程、案例示例pp四、四、四、四、组织组织管理管理管理管理pp五、五、五、五、自自自自动动化化化化测试测试体系体系体系体系pp六、六、六、六、应应用系用系用系用系统统架构架构架构架构pp七、七、七、七、集成架构集成架构集成架构集成架构七、七、七、七、集成架构集成架构集成架构集成架构为什么自动化测试“看上去很美”呢?变更大量脚本如何维护?大量测试数据如何维护?如何初始化测试环境?自动化测试测试执行管理工具基础测试管理平台用例向导用例设计用例参数管理业务流程设计初始化运行环境执行引擎结果分析用例数据管理测试数据库测试案例库CR运行测试执行工具营业自动化测试帐务自动化测试计费自动化测试系统内部关系系统内部关系