《T_CSAE 177-2021 电动汽车车载控制器软件功能测试规范.docx》由会员分享,可在线阅读,更多相关《T_CSAE 177-2021 电动汽车车载控制器软件功能测试规范.docx(47页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、T/CSAE1772021目次前言.IV引言.V1范围.12规范性引用文件.13术语和定义.14测试过程要求.24.1测试准备阶段要求.24.1.1主要活动.24.1.2测试计划.24.1.3准入条件.64.1.4入口质量要求.64.1.5出口准则.64.1.6测试环境准备.74.2测试实施阶段要求.94.2.1对测试需求的分析要求.94.2.2基于需求的测试用例设计要求.94.2.3基于经验的测试设计要求.154.2.4基于安全的测试设计要求.154.2.5测试执行要求.194.3测试结束阶段要求.205测试问题管理要求.215.1问题状态.215.2问题确认.215.3测试问题修改.225
2、.4测试问题关闭验证.225.5测试问题评审.225.6测试问题跟踪.235.7测试问题总结.235.8测试问题分析.236测试人员能力要求.236.1汽车业软件测试知识基础框架体系概述.236.2体系的基础.246.3体系的内容.246.3.1概述.246.3.2汽车软件测试助理.24IT/CSAE17720216.3.3汽车软件基础级测试员.246.3.4汽车软件测试工程师.247供应商控制器管控要求.257.1控制器供应商测试实施方法.257.1.1委托第三方测试机构进行测试.257.1.2委托第三方测试机构审查.257.2第三方测试机构资质要求.257.2.1第三方测试机构企业定位.2
3、57.2.2人员团队要求.257.2.3测试环境要求.257.2.4测试设计与执行能力要求.267.3控制器供应商第三方委托测试的要求.267.3.1控制器供应商样件管理要求.267.3.2控制器供应商测试输入物的要求.277.3.3控制器供应商项目时间要求.277.3.4控制器供应商项目测试计划要求.277.3.5控制器供应商测试问题管理要求.277.3.6控制器供应商测试整改要求.277.4委托第三方测试机构测试流程.277.4.1第三方测试机构定点.287.4.2项目启动.287.4.3测试输入物交付及审核.287.4.4测试用例开发.287.4.5测试环境开发.287.4.6测试执行.
4、297.4.7测试报告交付.297.4.8回归测试.297.4.9测试结束.297.5委托第三方测试机构审查流程.297.5.1第三方测试机构定点.297.5.2第三方测试机构审查计划制定.297.5.3测试输入物交付.297.5.4第三方测试机构审查测试用例.307.5.5第三方测试机构测试环境开发.307.5.6第三方测试机构抽查测试.307.5.7第三方测试机构审查结项.308自动化测试.308.1自动化测试的实施背景.308.1.1回归测试与工程变更.308.1.2具有与时间相关的非功能性要求.308.2自动化测试脚本要求.318.2.1测试环境配置与初始化.31IIT/CSAE177
5、20218.2.2信号访问路径.318.2.3测试语言.31附录A(资料性)测试周期构成方式示例.32附录B(资料性)问题记录模板.33IIIT/CSAE1772021引言本文件根据国内现有电动汽车控制器软件功能测试的需求而编写。测试是控制器软件开发的关键环节,目前国内控制器测试工作不仅在原有的验收检验领域不断深化发展,而且也越来越多的渗透入上游控制器开发的工作进程中。这些功能的验证和检测工作将为控制器软件开发需求的实现提供有效证明,并且为产品的质量、潜在风险包括产品后期优化升级的方向提供专业的信息。随着控制器产品需求的高速迭代扩展,测试工作的体量和复杂度也在不断增加,本文件通过提供适当的要求
6、和流程为测试工作推荐指导实践方法。车载控制器软件测试是通过一系列活动实现的,这些活动可以通过有效组织匹配应用于不同类型的控制器软件开发体系中,尽管本文件针对的是电动汽车车载控制器测试,但它也为其他工业领域的控制器开发的验收检验工作提供指导。电动汽车车载控制器软件测试活动受控制器开发体系(自主、外包)、开发类型(V型等)开发流程(迭代、瀑布等)、开发成熟程度(单一架构、多平台化等)的影响并与开发活动和工作成果直接关联,本文件即与控制器软件开发工作强相关。VT/CSAE1772021电动汽车车载控制器软件功能测试规范1范围本文件规定了电动汽车车载控制器软件功能测试开展全过程的要求,包括对测试准备阶
7、段、测试实施阶段和测试结束阶段要求,对测试问题管理的要求,对测试人员能力的要求,对供应商控制器管控的要求以及自动化测试实施方案的推荐。本文件适用于电动汽车出厂时与整车搭载的控制器系统完成安装链接的控制单元的软件功能测试,其他类型控制器的测试可参照使用。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB202632006导航电子地图安全处理技术基本要求GB/T30290.32013卫星定位车辆信息服务系统第3部分:信息安全规范GB/T34590
8、.6道路车辆功能安全第6部分:产品开发:软件层面GB/T38634.12020系统与软件工程软件测试第1部分:概念和定义GB/T38634.32020系统与软件工程软件测试第3部分:测试文档ISO/IEC270012013信息技术安全技术信息安全管理体系要求(InformationtechnologySecuritytechniquesInformationsecuritymanagementsystems.Requirements)CNAS-CL01-A019:2018检测和校准实验室能力认可准则在软件检测领域的应用说明3术语和定义GB/T38634.12020界定的以及下列术语和定义适用于
9、本文件。3.1测试成功testsuccess达成事先设定的测试目标,该测试目标可以是发现既定数量的问题、对文档或代码的覆盖要求、完成既定的测试范围等。3.2静态测试statictesting在不运行代码的情况下,通过一组质量准则或其他准则对测试项进行检查的测试。例如,对代码评审或静态代码分析。1T/CSAE17720213.3动态测试dynamictesting需要运行测试项的测试。通过运行组件或系统,判断其工作正确性。3.4冒烟测试smoketesting所有定义的或计划的测试用例的一个子集。它覆盖组件/系统的主要功能,以查明程序的绝大部分关键功能是否正常工作,在正式测试之前,对简单的、基础
10、的程序失效情况进行检测。3.5再测试verificationtesting测试发现问题后,针对已修改程序进行的问题关闭验证测试,通常在回归测试之前完成。3.6回归测试regressiontesting对已测试已修改的程序进行的测试,确保软件的更改没有对未改变的部分带来新的失效。3.7黑盒测试black-boxtesting主要基于测试项外部输入和输出的一种测试,通常是依据规格说明的测试。不考虑软件组件或系统内部结构的测试。3.8白盒测试white-boxtesting通过分析组件/系统的内部结构的动态测试。4测试过程要求4.1测试准备阶段要求4.1.1主要活动测试准备阶段的主要活动如下:a)制
11、定测试计划;b)收集测试依据;c)设置准入条件;d)入口质量要求;e)设置出口准则;f)测试环境准备。4.1.2测试计划4.1.2.1测试范围确定2T/CSAE1772021测试范围按照项目不同阶段来确定,不应少于以下要求:a)研发阶段功能验证,应对新功能本身开展完整的功能需求覆盖测试和代码覆盖度测试,对功能本身以及受影响功能开展功能集成测试,针对控制器涉及快充、慢充、行车基本功能开展测试,并确保在测试期间无非预期的故障报出;b)量产功能验收,应开展完整的功能测试,测试结果符合组织的测试出口准则;c)量产后功能变更验证,应开展完整功能测试,测试结果符合出口准则,但如果存在未涉变部分代码可由开发
12、组织对质量做出承诺,且该质量承诺经测试方认可有效时,可缩减该部分代码的测试内容;d)除了以上测试目标外,若有其他测试目标时,可根据被测对象期望的目标质量要求来设置测试范围。4.1.2.2测试时间周期确定测试时间周期需要考虑的内容有:a)已经确定的测试范围;b)被测对象质量现状;c)人员能力评估。已确定的测试范围按照4.1.2.1,被测对象质量现状要求按照4.1.2.3.4。人员能力评估是指在参考既定测试人员以往的工作效率数据,这些数据指向的既定人员当时具体的工作内容,评估时将其与本次测试实际工作内容的差异进行比较。需要考虑的差异项包括复杂程度、内容体量以及该人员已有的并行任务情况。应采用的方法
13、有经验评估和专家评估等。测试准备阶段与测试结束阶段通常不占用设备资源,会与众多项目的活动并行开展,对项目整体影响较小,本文件重点对测试实施阶段的时间周期进行要求。测试实施阶段时间严格按照以下规则进行划分,其中的再测试与回归测试可以单独进行时间计划排布,按以下方式拟定计划时,应将计划与工作内容细化到1个工作日。测试实施阶段时间按公式(1)进行计算:.(1)式中:T测试实施阶段时间,单位为天(d);Tp测试环境搭建时间,单位为天(d);Ts冒烟测试时间,单位为天(d);Tf功能测试时间,单位为天(d);Tv再测试时间,单位为天(d);Tr回归测试时间,单位为天(d)。测试环境搭建:为被测对象搭建一
14、个保障测试目标有效的测试环境,可以是闭环的,也可以是开环的。测试环境搭建时间主要需要考虑测试工具或软件使用的难易程度、模拟测试环境的难易程度以及历史测试资产的可重用情况。冒烟测试:保障后续测试的有效性和测试的连续性,在正式的功能测试开始之前应对被测控制器的基本功能以及对整体功能有较大影响的部分首先开展测试。冒烟测试时间主要需要考虑冒烟测试的范围大小、自动化程度以及被测对象的质量现状。功能测试:即既定的测试需求,由具体测试范围大小所决定。再测试:为了关闭功能测试中所报出的问题而开展的测试,在再测试中应对受影响的功能以及被修改驱动的功能开展集成测试,对该时间影响较大的有问题的数量、问题本身的复杂程
15、度以及受影响的代码范围。3T/CSAE1772021回归测试:为了确定问题修改完之后没有引入新的问题而开展的测试,时间上受回归测试范围所决定,而回归测试范围受软件的集成过程、开发的自动化程度以及受影响的代码范围所决定。应针对开发过程中的不同情况参照公式(1)预设测试周期的构成方式,并在测试开始前对开发人员做出测试周期的开放式承诺。使用者可根据需要按照附录A给出的测试周期构成方式示例预设测试周期构成。4.1.2.3测试依赖资源确定4.1.2.3.1概述测试依赖资源包括测试活动所需要的外在输入与内在资源。其中外在输入指测试提出方以及与本次测试成功与否相关的利益干系人提供的用以支撑测试实施以及确定测
16、试范围的输入信息、被测对象。测试输入信息包含功能描述文档、接口描述文档、测试目标信息。被测对象除代码外也泛指被测对象功能整体表现所依存的对象,如在硬件在环测试环境中为了实现风扇开启功能所需的控制器硬件与控制器硬件接插件及附带线束。内在资源指与测试相关的人员、测试设备、测试工具软件。4.1.2.3.2外在输入要求4.1.2.3.2.1功能描述文档功能描述文档应满足以下要求。a)功能描述文档应具备以下性质,并且提供方应通过含检查项表单在内的评审记录或可追溯的其他信息对功能描述文档进行以下承诺:1)一致性:该文档的直接干系人之间就内容已达成一致意见,在使用上不存在理解偏差,直接干系人至少包括文档的编
17、写人、文档依据信息提供人、文档使用人;2)统一性:文档内容之间以及与其成套的文档间无相互矛盾;3)可验证性:有明确的访问或检查接口指引,同时有明确的判定指标;4)可追溯性:与其他文档有追溯关系,或有明确的文件信息表明其来源;5)可理解性:术语用词基于虚拟或实际的测试开发团队共同约定,若文档依据信息的提供方为非软件开发团队时,应由文档编写方创建术语表。b)功能描述文档在内容描述时需要遵循以下原则:1)不可使用超过7条语句来描述同一功能情景;2)每条语句仅使用主动语态及用1个过程动词来明确表达需求,应避免错综复杂的语句描述;3)名词的指向应为某项具体的内容,而非指向某个类别的内容,比如不应用“控制
18、器”来替代“电机控制器”;4)在使用全称量词时应确认是否适用,全称量词如,“从不”、“总是”、“没有”、“每个”、“所有的”;5)不可使用不确定的词汇对功能进行描述,比如“可能”、“有时”、“一些”、“部分”;6)不可存在非完整的规格说明条件,在对一个需求进行说明时,应确保涵盖对所有数据范围的描述。例如,当描述“电压大于380V时所有电磁阀打开”时,还应说明电压小于等于380V时电磁阀开启或关闭情况及其引发现象。此外,只有一种情况可以不对全范围数据进行描述,即当接口输出值为布尔类型非A即B时,默认描述完合适输出A后,其他情况均为B,即“当描述温度大于20度时风扇开启(A)”,则默认为当温度小于
19、等于20度时风扇关闭(B),不完全说明时本文件默认为输出取值为相反状态;4T/CSAE17720217)推荐该文档提供者使用自然语言模板进行描述,或者为了使该文档的使用程度更高,使用自然语言模板对编写者进行相应培训,以下推荐一种的自然语言模板见图1。图1被测模板文件功能描述文件自然语言模板注1:过程动词是指描绘功能性、操作动作的词汇,如发送、断开、闭合。注2:目标文件是指“过程动词”作用的目标。注3:该文件在使用自然语言构成的同时,推荐在不同场合增加用例图、UML类图、UML活动图、UML状态图等表达方式来清晰对功能的描述。4.1.2.3.2.2接口描述文档接口描述文档需要描述被测对象存在的物
20、理状态以其接口形式。该文件用以描述被测目标文件的测试接口,考虑到接口形式、类型并不相同,可通过多类文件进行描述,比如控制器硬线接口定义、通讯协议(CAN、CANFD、Flexray、Ethernet等)、诊断协议、标定协议文件、以太网协议等。接口名称应与该接口实际功能有匹配关系,接口描述的内容应包含其接口特性所应承载的内容,同时应描述该接口的传输方向。物理状态为真实控制器的被测对象接口涉及内容广泛,为免疏漏以真实控制器情况下的接口描述为例,如在对数字和模拟通道接口描述时,应包含以下信息:a)与数字和模拟通道相连的外围电气负载,可以原理图的形式呈现;b)信号类型(模拟量、开关量、PWM等)、收发
21、频率、门限值、准确度设计要求;c)若该通道需要开展硬线信号故障注入,应确定接口外接属于执行器还是传感器;d)若有外接传感器应给出关联传感器电气特性;e)若有执行器应给出关联执行器电气特性。通信协议用于仿真和接收被测目标文件总线通信信息,模拟与被测目标文件交互的虚拟节点。所有协议相关文件(如.dbc、.ldf)和通讯矩阵(至少包含:ID、消息长度、信号、发送频率/周期、数据范围、数据分辨率)提供通讯矩阵每个信号的意义解释;对于状态信号,应在后续的功能描述文件中提供详细的状态转换逻辑说明;如果协议文件中存在CRC校验(或CheckSum),应在后续的功能描述文件中提供详细的校验算法说明。4.1.2
22、.3.2.3测试目标信息补充5T/CSAE1772021测试任务描述应包括测试任务目标来源信息,任务相关的主要利益干系人,任务的直接下发团体及人员,描述任务发起人及主要利益干系人要求开展本次测试的目的、软件用途。在后续设计测试出口准则以及用例设计时应参考本部分内容。推荐包括下述其中一个或多个测试目标信息在任务表述时被提出:a)测试完成后期望达到的质量/性能目标(这个目标如果被提出则应是量化的);b)测试未关闭问题的严重程度;c)测试功能覆盖范围与测试应完成的时间节点。4.1.2.3.2.4被测对象被测对象为代码时,应提供完整的程序,包括其所依赖的库文件。被测对象的载体若为控制器硬件,此时除了被
23、测对象所搭载的控制器外,同时也应包含带有插针的接插件以及连接线束。4.1.2.3.2.5内在资源应确定在实施计划以内完成测试所需的人员及其能力是否匹配,包括其出勤情况等。应确定所需工具是否可用,数量是否充足,所需工具如万用表、示波器、HIL测试台架、充电桩、充电卡、手机APP等。应确定所需要的测试软件是否完成在测试电脑上的部署,并确认测试电脑对外信息接口状态是否符合单位或团队的要求。4.1.3准入条件在以下情况时应考虑将测试所需信息、文件审核设置为准入条件:a)测试所依存的信息、文件缺失导致测试无法实施,严重影响测试启动;b)测试文件数量庞大,来源复杂,需要额外关注;c)若同一测试提出方开展的
24、测试,统计数据显示每次发生的问题数量随机性较大,导致测试计划时常无法按时完成。4.1.4入口质量要求入口质量要求如下:a)应被描述和证明,证明文件由被测对象提供方提供,若没有相关文档或交付信息时,也应描述为无,此时代表测试之前未开展过任何调试或测试;b)不单包含计划内测试内容应该达到的质量,还应包含在测试期间测试需求发生变化的部分应该达到的质量;c)文档应描述被测对象在开展本次测试前所经历过的测试,内容应包括测试覆盖范围、测试级别、发现问题列表以及其整改情况。若未开展过任何测试,则应描述其开展过的调试情况,包括调试时长、调试环境模拟情况以及调试发现的问题及其更改记录。4.1.5出口准则出口准则
25、为表明测试何时结束的条件。设置出口准则时应按照如下实施:a)测试在不可抗拒力的情况下无法实施应默认为出口准则,无需单独列出;b)当4.1.2.1中的测试范围全部完成并通过时应默认为出口准则,无需单独列出;c)可作为计划的时间节点应满足时的最低质量要求给出;d)可作为因软件问题导致测试无法实施的最长时间要求。6T/CSAE17720214.1.6测试环境准备4.1.6.1概述所搭建的测试环境可同时包含开环部分与闭环部分,测试环境中被测对象输入的某个或多个信号与被测对象输出的某个或多个信号,在以下情况下应搭建闭环测试环境:a)相互间因被控对象存在关联关系;b)输出至某个控制器(该控制器为被测对象以
26、外的虚拟节点)的某个或多个信号与接收的该控制器的某个或多个信号间有必然的逻辑关系。测试环境一般性要求如下:a)测试环境可与被测对象进行数据交互;b)测试环境的运行步长应小于被测对象的程序运行最小步长;c)测试环境与被测对象交互部分的仿真程度应符合测试目标的要求。4.1.6.2硬件在环测试设备的要求4.1.6.2.1环测试设备要素硬件在环测试设备应包含以下要素:a)PC上位机:用于承载HIL测试系统中上位机软件的部署;b)实时仿真处理器:用于承载实时环境模型,处理实时模型数据,该处理器的选取应考虑需要被承载的环境模型在该处理器上运行时,被测控制器的程序运行时钟步长应为仿真环境模型实时运行最小步长
27、时间的整数倍数,且该整数应大于2;c)I/O板卡:用于数字量/模拟量/频率量/电阻/电流信号的采集与输出,能够涵盖汽车动力系统、底盘系统等系统所需的所有I/O通道。通道类型和数量可在实施前根据所需测试的控制器接口情况进行匹配,在对被测控制器进行调研时应关注其通道类型、信号范围、准确度要求,对于一些反复变化的信号还应考虑其采集/发送的频率情况;d)通讯板卡:用于仿真器与各种总线系统的连接通讯,支持CAN、CANFD、LIN、车载以太网,具体选用何种通讯可根据实施方的情况进行选择;e)程控电源:用于模拟车载蓄电池电压曲线,为系统供电,并提供安全保护等功能,考虑到该电源在模拟蓄电池电压的同时,还可能
28、会给I/O板卡供电,为了获得车载蓄电池电压与控制器输入信号电压独立控制的测试效果,应配备2块以上的程控电源;f)故障注入板卡:可以与模拟和数字通道信号链接实现故障注入,通过电磁阀切换或者其他方式实现小电流与故障通道连接。用于故障注入测试,应包含悬空、对地短接、对电源短接、通道与通道间短接。4.1.6.2.2设备仪器选型对于具备不同属性的设备仪器选型应参考以下要求:a)对具有采样率指标的设备仪器,一般设备采样频率大于被测量信号的周期频率;b)对具有量程指标的设备仪器其被测信号正向最大值不超过仪器量程正向最大值的80%,且精度控制在0.5%以内;被测信号负向最小值不超过仪器量程负向最小值的80%,且精度控制在0.5%以内;c)对具有功率等级的设备仪器所提供电压、电流及功率均应满足被测对象要求,且具有不低于20%的功率余量,电流电压精度控制在