笔者刚刚经历了软件测试管理这一门课,对于这一门的课的学习延续了软件工程的风格,概念极多,因此在梳理书籍和PPT后做了一份总结,希望对大家有用
第一章1.软件缺陷由什么引起的?
迪士尼:没有对市面上PC机型进行完整的系统兼容性测试
英特尔芯片:计算机的浮点除法存在缺陷
火星探测飞船:缺少集成测试的阶段
2.软件测试正反两方争辩
正面观点:软件测试是为了验证软件是否符合用户需求,即验证软件产品是否能正常工作。优点:能够引导程序按照预期的设想运行而建立足够的信心。缺点:难以发现程序隐藏的错误。
反面观点:测试的目的是证伪。优点:能够发现不易发现的问题,使测试更具意义。缺点:可能使测试人员容易忽视软件产品的某些基本需求或客户的实际需求,测试活动可能会存在一定的随意性和盲目性。容易使开发人员产生一个容易错误的印象,认为测试人员的工作就是挑毛病。
(了解)软件测试的其他观点
风险的观点:软件测试就是对风险的不断评估,引导软件开发的工作,进而将最终发布的软件所存在的风险降到最低。
经济的观点:以最小的代价获得最高的软件产品质量。
3.软件测试定义
软件测试是由“验证(Verification)”和“有效性确认(Validation)”活动构成的整体。
验证:满足产品需求规格说明书中的系统功能与特性
有效性确认:满足用户需求的活动
4.V模型
V模型:软件测试活动和项目开发同时进行,测试与开发有一对一关系,需求分析和定义对应用户验证,系统架构设计对应系统非功能性测试,详细功能设计对应功能测试,编码对应单元测试与集成测试。
5.测试和质量保证的关系
软件测试和质量保证相辅相成,既有包含又存有交叉的关系。
软件质量保证指导、监督软件测试的计划和执行,督促测试工作的结果客观、准确和有效,并协助测试流程的改进。软件测试是质量保证的重要手段之一,为质量保证提供所需的数据,作为质量评价的客观依据。
相同点:二者都是贯穿整个软件开发生命周期的流程。
不同点:在软件质量保证是一项管理工作,侧重于对流程的评审和监控,而测试是一项技术性的工作,侧重对产品进行评估和验证。
(了解)测试驱动开发TDD:测试在先、编码在后
NOTE:
1.不能穷举测试
1.软件质量模型
产品质量模型:McCall 模型, Boehm 模型, ISO 9126 模型
过程质量模型:软件能力成熟度模型 CMM ( Capability Maturity Model).
国际标准过程模型 ISO 9000
软件过程改进和能力决断 SPICE ( Software Process Improvement and Capability dEtermination)
ISO 9126 模型
高层:软件质量需求评价准则(SQRC)
中层:软件质量设计评价准则(SQDC)
低层:软件质量度量评价准则(SQMC)
产品质量的标准:(非功能特性)
SQRC:功能性、可用性、可靠性、性能、容量、可伸缩性(可测量性)、可维护性、兼容性、可扩展性
SQDC:
SQMC:用户自定义软件产品度量标准
产品质量分为:内部质量——>外部质量——>使用质量(从左到右影响,从右到左依赖)
内部质量:需求的可追溯性、软件规模、代码的复杂度、软件信息流复杂度、代码耦合度、数据耦合度、模块化、变量命名、程序规范性等
外部质量:SQRC所描述
使用质量:基本的功能和非功能特性:有效性、效率、满意、远离风险、语境覆盖
2.软件缺陷的定义
内部:从产品内部看,软件缺陷是软件产品开发或维护过程中所存在的错误、毛病等各种问题;
外部:从外部看,软件缺陷是系统所需要实现的某种功能的失效或违背
3.软件缺陷的产生
①技术问题:算法错误、语法错误、计算和精度问题、接口参数传递不匹配
②团队工作:沟通不充分、误解
③软件本身:文档错误、用户使用场合、系统的自我恢复或数据的异地备份、灾难性恢复等问题
4.软件缺陷的构成
需求规格说明书(最多):对要开发的产品功能理解不一致、系统特性不够清晰、需求变化的不一致性、对规格说明书不够重视、整个开发队伍没有进行充分沟通,系统设计结果,编程的代码)
设计、代码、初步设计。
5.软件测试的分类
按测试层次分:
底层测试:单元测试
接口层次:集成测试
系统层次:系统测试
用户层次:验收测试
按被测试的对象分:
单元测试、程序测试、系统测试、文档测试等
按测试阶段分:
传统软件测试流程:需求评审、设计评审、单元测试、集成测试、系统测试、验收测试、α测试、β测试
敏捷测试流程:测试需求分析、迭代测试计划、持续的单元和系统测试、验收测试
按测试目的分:
功能测试、压力测试、性能测试、可靠性测试、灾难恢复性测试、安全性测试、兼容性测试、回归测试、安装测试
程序是否执行:静态测试和动态测试
根据是否针对系统的内部结构和具体实现算法:白盒测试和黑盒测试
测试是否由软件工具来完成测试工作:手动测试和自动化测试
6.静态测试与动态测试
静态测试:包括 软件产品的需求、设计规格说明书的评审、对程序代码的复审等
动态测试:通过真正运行程序发现错误,通过观察代码运行过程,来获取系统信息,对系统行为进行验证
不同点:
测试部分的不同:静态测试是指测试不运行的部分,动态测试是运行和使用软件。
测试方式不同:通过评审文档、阅读代码等方式测试软件称为静态测试;通过运行程序测试软件称为动态测试。
测试方法不同:静态测试不用执行程序,而动态测试需要执行程序
静态测试是指不用执行程序的测试,它主要采取方案—需求评审、代码走查、技术评审、代码审查的方法对软件产品进行测试。动态测试主要通过构造测试实例、执行程序、分析程序的输出结果这三种方法来对软件进行测试
7.主动测试与被动测试
主动测试方法:测试人员主动向被测试对象发送请求、或借助数据、事件驱动被测试对象的行为,从而验证被测试对象的反应或输出结果
被动测试方法:测试人员不干预产品的运行,而是被动地监控产品在实际环境中运行,通过一定的被动机制来获得系统运行的数据,包括输入、输出数据
8.黑盒测试和白盒测试
黑盒测试也称功能测试,它是通过测试来检测每个功能是否都能正常使用。在测试中,把程序看作一个不能打开的黑盒子,在完全不考虑程序内部结构和内部特性的情况下,在程序接口进行测试,它只检查程序功能是否按照需求规格说明书的规定正常使用,程序是否能适当地接收输入数据而产生正确的输出信息。
黑盒测试着眼于程序外部结构,不考虑内部逻辑结构,主要针对软件界面和软件功能进行测试。
白盒测试又称结构测试、透明盒测试、逻辑驱动测试或基于代码的测试。白盒测试是一种测试用例设计方法,盒子指的是被测试的软件,白盒指的是盒子是可视的,即清楚盒子内部的东西以及里面是如何运作的。
"白盒"法全面了解程序内部逻辑结构、对所有逻辑路径进行测试。"白盒"法是穷举路径测试,检查内部结构
白盒测试与黑盒测试的区别:测试时关注的对象不同
白盒测试方法:语句覆盖、判定覆盖、条件覆盖、判定条件覆盖、条件组合覆盖、基本路径覆盖
黑盒测试方法:等价类划分法、边界值分析法、判定表法、因果图法、正交试验法、功能图法、错误推测法
9.软件测试级别
从测试层次分为:单元测试 集成测试 系统测试 验收测试
单元测试:针对程序系统中的最小单元---模块或组件进行测试,一般和编码同步进行。主要采用白盒测试方法,从程序的内部结构出发设计测试用例,检查程序模块或组件的已实现的功能与定义的功能是否一致、以及编码中是否存
在错误。通常要编写驱动模块和桩模块
集成测试:集成测试,也称组装测试、联合测试,在单元测试的基础上,将模块
按照设计要求组装起来同时进行测试,主要目标是发现与接口有关的模块之间问题。两种集成方式:一次性集成方式和增殖式集成方式
系统测试
功能测试:基于产品功能说明书,是在已知产品所应具有的功能,从用户角度来进行功能验证,以确认每个功能是否都能正常使用
非功能测试:将软件放在整个计算机环境下,包括软硬件平台、某些支持软件、数据和人员等,在实际运行环境下进行一系列的测试,包括性能测试、安全测试等
验收测试:向未来的用户表明系统能够像预定要求那样工作,验证软件的功能和性能如同用户所合理期待的那样
10.测试用例总体介绍
测试用例是为了特定的测试目的而设计的测试条件、测试数据及与之相关的测试规程的一个特定的使用实例或场景。
测试用例也被称为有效地发现软件缺陷的最小测试执行单元。
测试用例主要作用有:
测试用例是测试人员在测试过程中的重要参考依据;
测试用例可以帮助实施有效的测试,测试用例将有助于节约测试时间,提高测试效率;
良好的测试用例不断地被重复使用,使得测试过程事半功倍;
测试用例是一个知识积累的过程。
11.优秀测试工程师具有的素质
①责任感 ②沟通能力 ③技术能力 ④自信心 ⑤耐心
⑥怀疑精神 ⑦适度的好奇心 ⑧洞察力 ⑨反向思维和发散思维能力
⑩记忆力
NOTE:
1.静态分析的差错功能和分析功能是其他方法所不能替代的
2.静态分析的手段:人工检测 计算机辅助静态分析
3.评审的方式:互为评审 轮查 走查 会议评审
1.基于直觉和经验的方法
基于经验和直觉推测程序中所有可能存在的各种错位,从而有针对性设计测试用例
Ad-hoc测试(自由测试)强调测试人员根据自己的经验,不受测试用例的束缚,放开思路、灵活地进行各种测试。
ALAC测试是一种基于客户使用产品的知识开发出来的测试方法,它的出发点是著名的Pareto80/20规律。
错误推测法是测试者根据经验、知识和直觉来发现软件错误,来推测程序中可能存在的各种错误,从而有针对性地进行测试。
2.基于输入域的方法
通过对不同数据的输入,检查其输出的数据以判断测试是否通过的方法
①等价类划分法
等价类划分法就是解决如何选择适当的数据子集来代表整个数据集的问题,通过降低测试的数目来实现合理的覆盖,覆盖了更多的可能数据,以发现更多的软件缺陷。分为有效等价类和无效等价类。
等价类的含义:某个输入域的子集,在该子集中每个输入数据的作用都是等效的
等价划分类的步骤:
①首先根据输入划分有效等价类和无效等价类
②设计测试用例时,
对于有效等价类,应使这个测试用例尽可能多的覆盖所有有效等价类;
对于无效等价类,要设计与无效等价类个数相同的测试用例,覆盖所有无效等价类的各个类
具体题型:
对于不同情形的处理:见书上40页
【例】某工厂公开招工,规定报名者年龄在 16 周岁至 35 周岁(在 1967 年 2 月到 1986 年 3 月)。如果出生年月不在上述范围内,将拒绝接受,并显示“年龄不合格”等出错信息。试用等价分类法设计这一程序功能的测试用例。
第一步:划分等价类
第二步:设计有效等价类需要的测试用例
第三步:为每一无锡奥等价类书籍一个测试用例
②边界值分析法
边界值分析法就是在某个输入输出变量范围的边界上,验证系统功能是否正常运行的测试方法。要取决于变量的范围和范围的类型,确认所有输入的边界条件或临界值。然后选择这些边界条件、临界值及其附近的值来进行相关功能的测试。
边界值分析法的步骤:
①确认边界情况(输入或输出等价类的边界)
②选取正好等于、刚刚大于或小于边界值作为测试数据
具体题型:
具体边界值分析法的处理技巧如书上41页所示
①输入条件规定了范围:取边界上值,以及边界外一点点的值
②输入条件规定了值的个数:取最大个数、最小个数、最大个数+1,最小个数-1
③输入条件规定了输入域是有序集合:取第一个和最后一个元素
通常是:默认值、空值、空格、未输入值、零、无效数据、不正确数据
【例】某工厂公开招工,规定报名者年龄在 16 周岁至 35 周岁(在 1967 年 2 月到 1986 年 3 月)。如果出生年月不在上述范围内,将拒绝接受,并显示“年龄不合格”等出错信息。试用边界值分析设计这一程序功能的测试用例。
3.基于组合及其优化的方法
组合分析是一种基于每对参数组合的测试技术,主要考虑参数之间的影响是主要的错误来源和大多数错误都起源于简单的参数组合
①判定表法
判定表由“条件和活动”两部分组成,即列出一个测试活动执行所需的条件组合,所有可能的条件组合定义了一系列的选择
判定表法的步骤:
1)列出所有的条件桩和动作桩(问题的所有条件+针对问题所采取的操作)
2)填入条件项(对于所列条件的具体赋值)
3)填入动作项,指定初始的判定表
4)简化、合并相似规则或相同动作
具体的例子见书上44页
②因果图法
因果图法借助图形,着重分析输入条件的各种组合,不仅能发现输入输出中的错误。还能指出程序规范中的不完全性和二义性
因果图法的步骤:
1)分析软件规格说明文档描述的哪些是原因(输入条件),哪些是结果(输出条件),给每个原因和结果赋予一个标示符
2)找出原因与结果,原因与原因之间的对应关系,划出因果图
3)在因果图上标上哪些不可能发生的因果关系,表明约束或限制条件
4)根据因果图,创建判定表,将复杂的逻辑关系和多种条件组合很具体明确的表示出来
5)把判定表的每列作为依据设计测试用例
具体例子见书上P46页
具体题型:可能是根据因果图写出对应的判定表
③两两组合测试
两两组合实验法,即将众多因素的值两两组合起来来大大减少测试用例的组合
④正交实验法
依据Galois理论,从大量的(实验)数据(测试例)中挑选适量的、有代表性的点(条件组合),从而合理地安排实验(测试)的一种科学实验设计方法
正交实验法的步骤:
1)确定影响功能的因子与状态
2)选择一个合适的正交表
3)利用正交表构造测试数据集
具体例子见书上P48页
具体题型:给定题干,构建简单的正交表并转化为测试用例
4.基于逻辑覆盖的方法
逻辑覆盖VS路径覆盖
逻辑覆盖:以程序或系统的内部逻辑结构为基础,分为语句覆盖、判定覆盖、判定-条件覆盖、条件组合覆盖等
基本路径测试:在程序或业务控制流程的基础上,分析控制构造的环路复杂性,导出基本可执行路径集合,从而设计测试用例
①判定覆盖
判定覆盖法的基本思想是设计若干用例,运行被测程序,使得程序中每个判断的取真分支和取假分支至少经历一次,即判断真假值均曾被满足
具体例子见书上P50页
②条件覆盖
条件覆盖的基本思想是设计若干测试用例,执行被测程序以后,要使每个判断中每个条件的可能取值至少满足一次
具体例子见书上P51页
③判定-条件覆盖
判定-条件覆盖是判定和条件覆盖设计方法的交集,即设计足够的测试用例,使得判断条件中的所有条件可能取值至少执行一次,同时,所有判断的可能结果至少执行一次
具体例子见书上P51页
④条件组合覆盖
条件组合覆盖的基本思想是设计足够的测试用例,使得判断中每个条件的所有可能至少出现一次,并且每个判断本身的判定结果也至少出现一次
具体例子见书上P52页
⑤基本路径覆盖
路径覆盖就是设计所有的测试用例,来覆盖程序中的所有可能的执行路径
基本路径覆盖的设计过程:
1)根据程序代码绘制流程图
2)确定流程图的圈复杂度
3)确定线性独立路径的基本集合
4)设计测试用例覆盖每条基本路径
具体例子与题型——具体例子见书上P54-55页
计算圈复杂度:代码逻辑复杂度的度量,提供了被测代码的路径数量
V(G) = 区域数量(由节点、连线包围的区域,包括图形外部区域)
V(G) = 连线数量 - 节点数量 + 2
V(G) = 简单可预测节点数量 + 1
小结:
逻辑测试由弱到强区分为5种覆盖标准
语句覆盖:每条语句至少执行一次。
判定覆盖:每一判定的每个分支至少执行一次。
条件覆盖:每一判定中的每个条件,分别按“真”、“假”至少各执行一次。
判定/条件覆盖:同时满足判定覆盖和条件覆盖的要求。 条件组合覆盖:求出判定中所有条件的各种可能组合值,每一可能的条件子和至少执行一次
5.基于缺陷模式的测试
常见的缺陷模式
①故障模式:内存泄漏、空指针、数组越界、非法计算…
②安全漏洞模式:缓冲区溢出漏洞模式、被感染数据漏洞模式
③差性能模式:空字符串的比较、负值字符串、参数为常数的数学方法…
④并发缺陷模式:JAVA虚拟机、多线程不熟悉导致的死锁
⑤不良习惯模式:文件的空输入、垃圾回收的问题…
⑥代码国际化模式:语言再国际化的过程中,可能导致本地设置与程序需求不符合的情况
⑦易诱骗代码模式:容易引起歧义的,如无意义的比较、永远是真值的判断
基于缺陷模式的测试的检测步骤
1)预处理/预编译
2)词法分析(Lexical Analysis)
3)语法分析( Parsing) 和语义处理( Semantic Analysis)
4)抽象语法树生成
5)控制流图生成
6)IP 扫描
7)人工确认
6.(了解)基于模型的测试
基于模型的测试 (MBT, Model-based testing):通过构建能够正确描述被测软件系统功能特性的模型,然后基于这个模型产生测试用例并执行这些测试用例的过程
具体的方法:功能图法(状态迁移图+逻辑功能模型) 模糊测试方法(构造大量变异数据)
7.(了解)形式化方法
形式化方法:基于数学的方法(数学表示、精确的数学语义)来描述目标软件系统属性的一种技术
形式化规范说明语言的构成:语法、语义和一组关系
NOTE:
1.基于直觉和经验的方法不是严格意义上的科学测试方法,带有一定的随机性
2.决策表、因果图、两两组合相交、正交实验法也可归入输入域验证方法,都是多变量组合数据验证
3.大部分缺陷是在两个变量取值冲突的测试中发现
4.不仅经是所有的组合情况才会发现所有的测试缺陷
5.语句覆盖法的基本思想是设计若干测试用例,运行被测程序,使程序中的每个可执行语句至少被执行一次
6.在基本路径覆盖中,基本集合不一定唯一
7.工具所能检测的故障的集合取决于定义的测试模型集合
(了解)传统的软件测试各个阶段以及对应的I/O
1.W模型
W模型增加了软件各开发阶段中应同步进行的验证和确认活动,W模型由2个V模型组成,表示测试与开的并行关系,测试伴随着整个软件开发周期,而且测试对象包括程序、需求定义文档、设计文档等。
W模型 VS V模型
V模型:软件测试活动和项目开发同时进行,测试与开发有一对一关系,需求分析和定义对应用户验证,系统架构设计对应系统非功能性测试,详细功能设计对应功能测试,编码对应单元测试与集成测试。
2.TMap NEXT
TMap (Test Management Approach,测试管理方法)是一种结构化的、基于风险策略的测试方法体系, 目的能更早地发现缺陷,以最小的成本、有效地、彻底地完成测试任务,以减少软件发布后的支持成本。
TMap的测试生命周期:计划和控制、准备、说明、执行和完成等
TMap的三大基石:
与软件开发生命周期一致的测试活动生命周期(L) 坚实的组织融合(O)
正确的基础设施和工具(I) 可用的技术(T)
3.敏捷测试过程
敏捷测试:是符合敏捷测试宣言的思想、遵守敏捷开发原则,在敏捷开发环境下能够很好地和其整体开发流程融合的一系列的测试实践。更关注被测系统本身而不是测试文档
①敏捷测试的特征
尽早和持续地开展测试
能及时完成对软件质量全⾯评估
软件本身是测试研究和分析最主要的对象
在满⾜所要求的质量,测试进⾏得越快越好
测试⼈员必须和项⽬⼲系⼈保持密切协作
对测试⼈员⾜够信任和尊重
测试计划、设计和执⾏⼒求简单
对测试技术精益求精
不断反思,持续优化测试设计
②敏捷测试的过程
③基于脚本测试和探索性测试
基于脚本的测试ST:先设计,后执行;阶段性明显,属于较传统的测试方式
探索性测试ET:强调测试的学习、设计和执行同时进行
4.软件测试五大学派
标准学派:从分析学派中分离、得到IEEE认可,把测试看作侧重劣质成本控制并具有可重复标准的、旨在衡量项目进度的一项工作,测试是对产品的确认
分析学派:认为软件是逻辑性的,测试看作计算机科学与技术的一部分,侧重于用类似UML工具进行分析和建模
质量学派:软件质量需要规范,测试就是过程的质量控制,届时项目质量风险的活动,确定开发人员是否遵守规范等
敏捷学派:认为软件就是不断地对话,而测试就是验证开发工作是否完成,典型代表:TDD
上下文驱动学派:认为软件是人创造的,测试是一种有技巧的心理活动;强调人的能动性和启发性思维,典型代表:探索性测试
5.基于风险的测试策略
基于风险的测试策略是指评估测试的优先级,先做高优先级的测试,如果时间或精力不够,低优先级的测试可以暂时先不做
6.TPI NEXT的构成
关键域、级别、测试成熟度矩阵、检查点、建议
NOTE:
1.V模型和W模型对应的图示要会画
2.在W模型中,前期,测试过程更多地依赖于开发过程;后期,开发过程更多的依赖于前期过程
3.探索性测试无测试用例,靠头脑想
4.基于风险的测试策略在敏捷开发模式中更能发挥价值