本发明涉及版本测试,尤其涉及一种基于自动化测试的版本评价方法和系统。
背景技术:
1、软件版本测试是软件开发过程的重要组成,对于提高软件开发的效率和准确性具有重要影响。如何提高软件版本测试的效率和可靠性,是领域内研究的热点。
2、公开号为cn105045601a的中国专利文献提供了公开了一种基于云平台的产品发布及部署系统,包括调度系统、源代码服务器、多个测试服务器、多个生产服务器,源代码服务器、测试服务器和生产服务器均具有一组发布系统和部署系统,该调度系统用于分配任务给发布系统和部署系统,源代码服务器用于提供源代码;发布系统从源代码服务器获取最新源代码然后经过本地编译生成可执行程序,可执行程序同步到云平台的文件存储服务器中然后自动发布至测试服务器进行测试;当测试达到上线标准后,通过部署系统更新可执行程序至全部或者指定的生产服务器。本发明的产品发布及部署系统将云平台上的产品发布、测试和部署自动化,使产品最终上线交付更可靠、更健壮。
3、公开号为cn116893840a的中国专利文献提供了一种产品发布维护方法及系统,包括如下步骤:获取代码,并将代码推送到预发布环境;在预发布环境进行部署,然后进行功能测试;在功能测试通过的条件下推送到生产环境;在生产环境进行部署。本技术首先进行预发布环境测试,通过预发布环境对于生产环境的模拟以起到预先发现问题的作用,且通过该种方式,为对于代码准确性要求较高的自动化部署提供了预先条件。
4、在实际应用中,上述方案均涉及软件产品的发布方法,均旨在优化软件版本发布的流程,提高软件产品发布的效率。但是未给出软件满足发布条件的具体标准,以及当软件版本不满足发布条件时的处理策略。
5、因此,如何提供一种软件测试发布方法,在提高软件开发和分布效率的同时,提供软件版本测试的评价和处理策略,成为亟待解决的技术问题。
技术实现思路
1、有鉴于此,为了克服现有技术的不足,本发明旨在提供一种基于自动化测试的版本评价方法和系统。
2、根据本发明的第一方面,提供一种基于自动化测试的版本评价方法,该方法包括:
3、在自动化测试用例的开发阶段,通过为每个自动化测试用例设置功能模块标签和用例级别标签,对自动化测试用例进行分类和评级;
4、在软件版本的内部测试阶段,执行当前功能团队的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合转集测试标准;
5、在软件版本的集成测试阶段,执行被测产品的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合发布标准。
6、优选地,本发明基于自动化测试的版本评价方法中,在自动化测试用例的开发阶段,通过为每个自动化测试用例设置功能模块标签和用例级别标签,对自动化测试用例进行分类和评级,包括:
7、根据功能类型为每个自动化测试用例设置功能模块标签;
8、根据自动化测试用例的重要级别,为每种功能模块标签对应自动化测试用例设置用例级别标签。
9、优选地,本发明基于自动化测试的版本评价方法中,根据自动化测试用例的重要级别,为每种功能模块标签对应自动化测试用例设置用例级别标签,包括:
10、对核心功能的主流程、基本业务流对应的自动化测试用例设置第一用例级别标签;
11、对核心功能的正向业务流、覆盖系统功能的重要业务流对应的自动化测试用例设置第二用例级别标签;
12、对重要功能的正向业务流、核心功能的异常业务流以及重要功能的异常业务流对应的自动化测试用例设置第三用例级别标签。
13、优选地,本发明基于自动化测试的版本评价方法中,在软件版本的内部测试阶段,执行当前功能团队的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合转集测试标准,包括:
14、获取每种功能模块标签对应自动化测试用例执行失败的数量,为各个用例级别标签对应的自动化测试用例设置对应的权重值;
15、根据获取的每种功能模块标签对应自动化测试用例执行失败的数量、各个用例级别标签对应的自动化测试用例对应的权重值,计算第一缺陷指数;
16、根据计算获得的第一缺陷指数判断当前被测版本是否符合转测标准。
17、优选地,本发明基于自动化测试的版本评价方法中,根据获取的每种功能模块标签对应自动化测试用例执行失败的数量、各个用例级别标签对应的自动化测试用例对应的权重值,计算第一缺陷指数,包括:
18、根据功能模块标签获取当前被测版本中所有的功能模块;
19、将每种功能模块的第一用例级别标签对应自动化测试用例执行失败的数量与第一用例级别标签对应的自动化测试用例对应的权重值相乘,获得第一失败权重数值;
20、将每种功能模块的第二用例级别标签对应自动化测试用例执行失败的数量与第二用例级别标签对应的自动化测试用例对应的权重值相乘,获得第二失败权重数值;
21、将每种功能模块的第三用例级别标签对应自动化测试用例执行失败的数量与第三用例级别标签对应的自动化测试用例对应的权重值相乘,获得第三失败权重数值;
22、将第一失败权重数值、第二失败权重数值和第三失败权重数值的和作为当前被测版本的第一缺陷指数。
23、优选地,本发明基于自动化测试的版本评价方法中,根据计算获得的第一缺陷指数判断当前被测版本是否符合转测标准,包括:为当前被测版本设置转测标准阈值,当计算获得的第一缺陷指数小于设置的转测标准阈值,将当前被测版本判定为符合转测标准。
24、优选地,本发明基于自动化测试的版本评价方法中,在软件版本的集成测试阶段,执行被测产品的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合发布标准,包括:
25、获取每个团队中每种功能模块标签对应自动化测试用例执行失败的数量,为各个用例级别标签对应的自动化测试用例设置对应的权重值;
26、根据获取的每个团队中每种功能模块标签对应自动化测试用例执行失败的数量、各个用例级别标签对应的自动化测试用例对应的权重值,计算第二缺陷指数;
27、根据计算获得的第二缺陷指数判断当前被测版本是否符合发布标准。
28、优选地,本发明基于自动化测试的版本评价方法中,根据获取的每个团队中每种功能模块标签对应自动化测试用例执行失败的数量、各个用例级别标签对应的自动化测试用例对应的权重值,计算第二缺陷指数,包括:
29、根据功能模块标签获取当前被测版本中所有团队的所有的功能模块;
30、将每个团队中每种功能模块的第一用例级别标签对应自动化测试用例执行失败的数量与第一用例级别标签对应的自动化测试用例对应的权重值相乘,获得第四失败权重数值;
31、将每个团队中每种功能模块的第二用例级别标签对应自动化测试用例执行失败的数量与第二用例级别标签对应的自动化测试用例对应的权重值相乘,获得第五失败权重数值;
32、将每个团队每种功能模块的第三用例级别标签对应自动化测试用例执行失败的数量与第三用例级别标签对应的自动化测试用例对应的权重值相乘,获得第六失败权重数值;
33、将第四失败权重数值、第五失败权重数值和第六失败权重数值的和作为当前被测版本的第二缺陷指数。
34、优选地,本发明基于自动化测试的版本评价方法中,根据计算获得的第二缺陷指数判断当前被测版本是否符合发布标准,包括:为当前被测版本设置发布标准阈值,当计算获得的第二缺陷指数小于设置的发布标准阈值,且第一用例级别标签对应自动化测试用例执行失败的数量以及第二用例级别标签对应自动化测试用例执行失败的数量为零,且不存在某个功能模块的自动化测试用例全部执行失败,将当前被测版本判定为符合发布标准。
35、根据本发明的第二方面,提供一种基于自动化测试的版本评价系统,该系统包括评价服务端,该评价服务端用于:在自动化测试用例的开发阶段,通过为每个自动化测试用例设置功能模块标签和用例级别标签,对自动化测试用例进行分类和评级;在软件版本的内部测试阶段,执行当前功能团队的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合转集测试标准;在软件版本的集成测试阶段,执行被测产品的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合发布标准。
36、根据本发明的第三方面,提供一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明第一方面所述的方法。
37、本发明实施例基于自动化测试的版本评价方法和系统,在提高软件开发和分布效率的同时,提供软件版本测试的评价和处理策略,提高软件开发的可靠性。在执行自动化测试时,基于失败用例的个数、用例级别计算软件的di值并评判软件版本是否符合转测标准。当软件满足转测标准时会给软件包打上自动化测试通过的标签,便于软件版本经理执行转测流程;当软件版本不满足转测标准时,会基于失败用例所属的团队、功能模块、用例级别给对应的研发团队提交响应级别的缺陷单,便于问题的跟进处理。
1.一种基于自动化测试的版本评价方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于自动化测试的版本评价方法,其特征在于,在自动化测试用例的开发阶段,通过为每个自动化测试用例设置功能模块标签和用例级别标签,对自动化测试用例进行分类和评级,包括:
3.根据权利要求2所述的基于自动化测试的版本评价方法,其特征在于,根据自动化测试用例的重要级别,为每种功能模块标签对应自动化测试用例设置用例级别标签,包括:
4.根据权利要求1所述的基于自动化测试的版本评价方法,其特征在于,在软件版本的内部测试阶段,执行当前功能团队的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合转集测试标准,包括:
5.根据权利要求4所述的基于自动化测试的版本评价方法,其特征在于,根据获取的每种功能模块标签对应自动化测试用例执行失败的数量、各个用例级别标签对应的自动化测试用例对应的权重值,计算第一缺陷指数,包括:
6.根据权利要求4所述的基于自动化测试的版本评价方法,其特征在于,根据计算获得的第一缺陷指数判断当前被测版本是否符合转测标准,包括:为当前被测版本设置转测标准阈值,当计算获得的第一缺陷指数小于设置的转测标准阈值,将当前被测版本判定为符合转测标准。
7.根据权利要求1所述的基于自动化测试的版本评价方法,其特征在于,在软件版本的集成测试阶段,执行被测产品的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合发布标准,包括:
8.根据权利要求7所述的基于自动化测试的版本评价方法,其特征在于,根据获取的每个团队中每种功能模块标签对应自动化测试用例执行失败的数量、各个用例级别标签对应的自动化测试用例对应的权重值,计算第二缺陷指数,包括:
9.根据权利要求7所述基于自动化测试的版本评价方法,其特征在于,根据计算获得的第二缺陷指数判断当前被测版本是否符合发布标准,包括:为当前被测版本设置发布标准阈值,当计算获得的第二缺陷指数小于设置的发布标准阈值,且第一用例级别标签对应自动化测试用例执行失败的数量以及第二用例级别标签对应自动化测试用例执行失败的数量为零,且不存在某个功能模块的自动化测试用例全部执行失败,将当前被测版本判定为符合发布标准。
10.一种基于自动化测试的版本评价系统,其特征在于,所述系统包括评价服务端,所述评价服务端用于:在自动化测试用例的开发阶段,通过为每个自动化测试用例设置功能模块标签和用例级别标签,对自动化测试用例进行分类和评级;在软件版本的内部测试阶段,执行当前功能团队的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合转集测试标准;在软件版本的集成测试阶段,执行被测产品的全量自动化测试用例,根据执行结果以及自动化测试用例的分类和评级,评判当前被测版本是否符合发布标准。