本发明实施例涉及计算机，具体涉及一种用户界面测试数据生成方法及装置。
背景技术：
1、在用户界面(ui)测试中，测试人员通常需要根据需求文本编写测试用例，其中包括测试步骤和预期结果，测试人员需要验证每个测试步骤在用户界面上的实际表现是否符合预期。然而，测试时的数据往往存在信息不足的情况，测试人员需要多方查找相关的数据完成测试，增加了测试的复杂性和耗时。
技术实现思路
1、针对现有技术存在的缺陷，本发明实施例提供一种用户界面测试数据生成方法及装置。
2、本发明实施例提供一种用户界面测试数据生成方法，包括：将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据；所述测试数据预测模型是利用ui图片和对应的ui图片描述文本构建的训练样本对多模态对比学习预训练模型训练得到的；将所述预设测试文本和所述测试预测数据进行整合得到用户界面测试数据。
3、根据本发明实施例提供的一种用户界面测试数据生成方法，所述测试预测数据包括所述ui图片和所述ui图片描述文本中的至少一种。
4、根据本发明实施例提供的一种用户界面测试数据生成方法，所述ui图片描述文本包括对应所述ui图片的ui内容描述文本、测试需求描述文本及测试步骤描述文本。
5、根据本发明实施例提供的一种用户界面测试数据生成方法，所述将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据，包括：将测试步骤文本输入所述测试数据预测模型，计算所述测试步骤文本对应的向量；通过计算所述测试步骤文本对应的向量和所述测试数据预测模型中的所述ui图片的图片向量的相似度，得到与所述测试步骤文本相似度最高的ui图片；将与所述测试步骤文本相似度最高的ui图片作为所述测试预测数据进行输出。
6、根据本发明实施例提供的一种用户界面测试数据生成方法，所述将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据，包括：将测试步骤文本和测试需求文本进行整合，得到测试需求及测试步骤文本；将所述测试需求及测试步骤文本输入所述测试数据预测模型，计算所述测试需求及测试步骤文本对应的向量；通过计算所述测试需求及测试步骤文本对应的向量和所述测试数据预测模型中的所述ui图片的图片向量的相似度，得到与所述测试需求及测试步骤文本相似度最高的ui图片；将与所述测试需求及测试步骤文本相似度最高的ui图片作为所述测试预测数据进行输出。
7、根据本发明实施例提供的一种用户界面测试数据生成方法，所述将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据，包括：将测试步骤文本输入所述测试数据预测模型，计算所述测试步骤文本对应的向量；通过计算所述测试步骤文本对应的向量和所述测试数据预测模型中的所述ui图片描述文本的文本向量的相似度，得到与所述测试步骤文本相似度最高的ui图片描述文本；将与所述测试步骤文本相似度最高的ui图片描述文本作为所述测试预测数据进行输出。
8、根据本发明实施例提供的一种用户界面测试数据生成方法，所述将所述预设测试文本和所述测试预测数据进行整合得到用户界面测试数据，包括：将所述与所述测试步骤文本相似度最高的ui图片描述文本与所述测试步骤文本进行拼接，形成新的测试步骤文本。
9、根据本发明实施例提供的一种用户界面测试数据生成方法，所述将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据，包括：将测试需求文本输入所述测试数据预测模型，得到所述测试需求文本对应的向量；通过计算所述测试需求文本对应的向量和所述测试数据预测模型中的所述ui图片的图片向量的相似度，得到与所述测试需求文本相似度最高的ui图片；通过计算所述测试需求文本对应的向量和所述测试数据预测模型中的所述ui图片描述文本的文本向量的相似度，得到与所述测试需求文本相似度最高的ui图片描述文本；将与所述测试需求文本相似度最高的ui图片及与所述测试需求文本相似度最高的ui图片描述文本作为所述测试预测数据进行输出。
10、根据本发明实施例提供的一种用户界面测试数据生成方法，所述将预设测试文本输入测试数据预测模型，包括：通过调用所述测试数据预测模型的api接口，将所述预设测试文本输入所述测试数据预测模型。
11、根据本发明实施例提供的一种用户界面测试数据生成方法，所述方法还包括：将所述ui图片和对应的所述ui图片描述文本输入所述多模态对比学习预训练模型；对所述ui图片和所述ui图片描述文本进行特征抽取及编码，得到所述ui图片的图片向量及所述ui图片描述文本的文本向量；通过计算所述图片向量和所述文本向量的相似度训练所述多模态对比学习预训练模型。
12、根据本发明实施例提供的一种用户界面测试数据生成方法，在所述通过计算所述图片向量和所述文本向量的相似度训练所述多模态对比学习预训练模型之后，所述方法还包括：获取用于模型验证的待预测文本和对应的ui图片；将所述待预测文本输入所述多模态对比学习预训练模型，输出与所述待预测文本相似度最高的ui图片；通过计算与所述待预测文本相似度最高的ui图片和用于模型验证的与所述待预测文本对应的ui图片之间的相似度计算损失值；响应于所述损失值大于预设阈值，则调整所述训练样本和/或模型训练参数重新训练所述多模态对比学习预训练模型，直至模型验证时的所述损失值小于或等于所述预设阈值。
13、本发明实施例还提供一种用户界面测试数据生成装置，包括：预测模块，用于：将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据；所述测试数据预测模型是利用ui图片和对应的ui图片描述文本构建的训练样本对多模态对比学习预训练模型训练得到的；生成模块，用于：将所述预设测试文本和所述测试预测数据进行整合得到用户界面测试数据。
14、本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用户界面测试数据生成方法的步骤。
15、本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用户界面测试数据生成方法的步骤。
16、本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用户界面测试数据生成方法的步骤。
17、本发明实施例提供的用户界面测试数据生成方法及装置，通过将预设测试文本输入测试数据预测模型，输出与预设测试文本相似度最高的测试预测数据；测试数据预测模型是利用ui图片和对应的ui图片描述文本构建的训练样本对多模态对比学习预训练模型训练得到的，将预设测试文本和测试预测数据进行整合得到用户界面测试数据，提高了户界面测试数据的全面性，有利于提高测试效率，降低测试复杂性。
1.一种用户界面测试数据生成方法，其特征在于，包括：
2.根据权利要求1所述的用户界面测试数据生成方法，其特征在于，所述测试预测数据包括所述ui图片和所述ui图片描述文本中的至少一种。
3.根据权利要求1所述的用户界面测试数据生成方法，其特征在于，所述ui图片描述文本包括对应所述ui图片的ui内容描述文本、测试需求描述文本及测试步骤描述文本。
4.根据权利要求1所述的用户界面测试数据生成方法，其特征在于，所述将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据，包括：
5.根据权利要求1所述的用户界面测试数据生成方法，其特征在于，所述将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据，包括：
6.根据权利要求1所述的用户界面测试数据生成方法，其特征在于，所述将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据，包括：
7.根据权利要求6所述的用户界面测试数据生成方法，其特征在于，所述将所述预设测试文本和所述测试预测数据进行整合得到用户界面测试数据，包括：
8.根据权利要求1所述的用户界面测试数据生成方法，其特征在于，所述将预设测试文本输入测试数据预测模型，输出与所述预设测试文本相似度最高的测试预测数据，包括：
9.根据权利要求1所述的用户界面测试数据生成方法，其特征在于，所述将预设测试文本输入测试数据预测模型，包括：
10.根据权利要求1所述的用户界面测试数据生成方法，其特征在于，所述方法还包括：
11.根据权利要求10所述的用户界面测试数据生成方法，其特征在于，在所述通过计算所述图片向量和所述文本向量的相似度训练所述多模态对比学习预训练模型之后，所述方法还包括：
12.一种用户界面测试数据生成装置，其特征在于，包括：
13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至11任一项所述用户界面测试数据生成方法的步骤。
14.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述用户界面测试数据生成方法的步骤。
15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述用户界面测试数据生成方法的步骤。
