本发明涉及智能语音领域，尤其涉及一种用于资源型数据的数据增量测试方法及系统。
背景技术：
语义理解中用到的资源型数据，包括歌曲名/歌手名/影视名称/故事名称等词库资源，需要做定期的更新适配新出的歌曲/电影，来提高语义理解准确率和提升用户体验。目前这些厂商在更新这些词库数据的时候测试方案比较欠缺，只能保证源头数据质量，或者通过单一的功能说法人工检查的方式进行。
在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
将词条数据新增到资源中，并通过功能说法测试语义理解的结果，人工检查结果词条是否生效。这样操作往往测试强度不够：较少的功能说法不能保证新增词条适用于已有的大部分功能。测试范围不够：没有评估新增词条对其他领域的影响。效率低：人工检查词条是否生效效率低，无法做到大批量数据的更新，也很难做高频的更新操作。
技术实现要素：
为了至少解决现有技术中针对这些新增的资源型数据没有全面的测试方案，对于测试结果没有自动化的评估方案，和自动化的错误词条排除的问题。
第一方面，本发明实施例提供一种用于资源型数据的数据增量测试方法，包括：
通过词库功能模板对增量词条数据扩充，生成增量词条测试用例，以及所述增量词条测试用例对应的预期语义解析结果；
利用所述增量词条数据更新后的语义理解服务解析所述增量词条测试用例，确定实际语义解析结果；
基于自动化的语义结果对比工具对所述预期语义解析结果以及所述实际语义解析结果评估，确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，确定所述更新后的语义理解服务的功能性。
第二方面，本发明实施例提供一种用于资源型数据的数据增量测试系统，包括：
数据扩充程序模块，用于通过词库功能模板对增量词条数据扩充，生成增量词条测试用例，以及所述增量词条测试用例对应的预期语义解析结果；
语义解析结果确定程序模块，用于利用所述增量词条数据更新后的语义理解服务解析所述增量词条测试用例，确定实际语义解析结果；
增量测试程序模块，用于基于自动化的语义结果对比工具对所述预期语义解析结果以及所述实际语义解析结果评估，确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，确定所述更新后的语义理解服务的功能性。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的用于资源型数据的数据增量测试方法的步骤。
第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的用于资源型数据的数据增量测试方法的步骤。
本发明实施例的有益效果在于：配置不同词库的功能模板，将每一个词条数据套用进模板中，能够生成对应词条的全新测试用例。通过扩大模板的数量可以扩大测试用例的数量，从而提高测试强度。同时自动化语义结果对比，实现大批量数据的验证和高频繁度的更新。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种用于资源型数据的数据增量测试方法的流程图；
图2是本发明一实施例提供的一种用于资源型数据的数据增量测试方法的本领域词条功能性验证流程图；
图3是本发明一实施例提供的一种用于资源型数据的数据增量测试方法的其他领域的影响性验证流程图；
图4是本发明一实施例提供的一种用于资源型数据的数据增量测试系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明一实施例提供的一种用于资源型数据的数据增量测试方法的流程图，包括如下步骤：
s11：通过词库功能模板对增量词条数据扩充，生成增量词条测试用例，以及所述增量词条测试用例对应的预期语义解析结果；
s12：利用所述增量词条数据更新后的语义理解服务解析所述增量词条测试用例，确定实际语义解析结果；
s13：基于自动化的语义结果对比工具对所述预期语义解析结果以及所述实际语义解析结果评估，确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，确定所述更新后的语义理解服务的功能性。
在本实施方式中，由于时代在进步，会衍生出各种各样的“新”词语。例如，“一刀两断”这一词语属于成语的词库资源，随着明星出新歌曲、或者新电影，“一刀两断”这个词语就要适配到歌曲领域、电影领域中。由于这种新词语或者已有词语的新领域很难预测出来，通常都是在这新词语，或已有词语新领域出现后，对词库进行增量更新。
对于步骤s11，考虑到新词语或已有词语的新领域在刚出现时，往往可用的词条测试语句较少，较少的测试语句很难进行全覆盖的测试，因此，配置不同词库的功能模板，可以将每一个词条数据套用到功能模板中，能够生成多条对应的全新的词库测试用例以及测试用例对应的预期语义解析结果。通过扩大模板的数量可以扩大测试用例的数量，从而提高测试强度。如图2所示，为增量测试的流程图。
例如，在歌曲这个领域中，增量的词条有：“一刀两断”，“失眠播报”、“请允许我的平凡”。通过词库功能模板，对上述举例词条进行扩充，生成：“来一首一刀两断”->播放“一刀两断”，“我想听失眠播报”->播放“失眠播报”，“请允许我的平凡是谁唱的”->查询“请允许我的平凡”的歌手…，通过以上的方式扩充为大量的增量词条测试用例以及对应的语义解析结果。
对于步骤s12，新增词条加入词库中后，语义理解服务也会进行相应的更新，使用更新后的语义理解服务来解析这些增量词条测试用例实际的语义解析结果。例如：
“来一首一刀两断”实际语义解析结果为：播放“一刀两断”
“我想听失眠播报”实际语义解析结果为：播放“助眠音乐”
“请允许我的平凡是谁唱的”实际语义解析结果为：查询“请允许我的平凡”的歌手。
通过上述举例，可以看出实际的语义解析结果还是会出现一些偏差的情况。
对于步骤s13，虽然上述举例只有三条，但是在实际操作中，会有大量的实际语义解析结果和预期语义解析结果，因此，这种体量的对比工作，工作人员难以处理，需要使用自动化的语义结果对比工具，来进行评估。词条“一刀两断”和“请允许我的平凡”的预期语义解析结果与所述实际语义解析结果相符，保留该词条。“失眠播报”这一词条的预期语义解析结果与所述实际语义解析结果不相符。误触发了“失眠技能”而不是“失眠播报”，说明这个词条需要开发者再进行调整修改。通过词库功能模板反推断出对应的错误词条，例如，“我想听失眠播报”可以推断出，错误的词条是“失眠播报”。最后，汇总测试结果，更新增量的词条数据，向用户反馈。例如，最后的结果中，共计100条新增词条，测试用例10000条，其中，9900条一致，测试通过99条词条保留，100条不一致，测试不通过，过滤一条错误词条，词库增量更新99个新词条，准确率99％，功能性稳定。
通过该实施方式可以看出，配置不同词库的功能模板，将每一个词条数据套用进模板中，能够生成对应词条的全新测试用例。通过扩大模板的数量可以扩大测试用例的数量，从而提高测试强度。同时自动化语义结果对比，实现大批量数据的验证和高频繁度的更新。
作为一种实施方式，在本实施例中，在确定所述更新后的语义理解服务的功能性之后，所述方法还包括：
通过词库功能模板对各个领域的回归测试用例扩充，生成各个领域的增量回归测试用例。
在本实施方式中，当本领域词条增量更新完后，可能会对一些其他领域的词产生影响。因此，测试本领域词条增量更新后，对其他领域的影响性验证也是必要的。
同样的，会使用其他领域的回归测试用例来测试“音乐”领域更新后的语义理解服务。
而其他领域的回归测试用例的数量也可能不够，如果其他领域的回归测试用例充足的情况下，可以不进行本增量步骤。直接进行下一部分的其他领域影响性验证。然而也考虑到其他领域的回归测试用例不一定充足，也可以用词库功能模板对各个领域的回归测试用例扩充，生成各个领域的增量回归测试用例。为测试增量词条数据更新后的语义理解服务的广度提供基础。
作为一种实施方式，在本实施例中，所述方法还包括：
分别利用所述增量词条数据更新后的语义理解服务以及所述增量词条数据更新前的语义理解服务对各个领域的增量回归测试用例进行解析，确定各个领域更新前的回归测试结果以及更新后的回归测试结果；
基于自动化的语义结果对比工具对所述更新前的回归测试结果以及所述更新后的回归测试结果评估，确定更新后的语义理解服务的对其他领域影响性。
当所述更新前的回归测试结果与所述更新后的回归测试结果一致时，对其他领域影响性测试通过；
当所述更新前的回归测试结果与所述更新后的回归测试结果不一致时，通过增量回归测试用例确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，输出测试结果。
在本实施方式中，分别使用增量更新前的语义理解服务和增量更新后的语义理解服务来对各个领域的增量回归测试用例进行解析。例如，“神话”这一词语，仅百科中就有大量不同的领域“歌曲”领域、“影视”领域、“文学”领域、“游戏”领域。
随着科技的进步，越来越多的词语被捧红。例如，在游戏领域中，新增了“神话”属性的装备，其含义为，获取概率万分之一，超强属性的装备。各大游戏主播为了得到这“神话”，在直播间中有了各种各样的表演。在带来节目效果的同时，也将“神话”这一“歌曲”、“影视”领域的词语，在“游戏”领域中也火了起来。因此，会在“游戏”领域，将“神话”这一词条增量更新，更新语义理解服务。
在这之后，需要使用“歌曲”、“影视”领域的其他领域的回归测试用例来对“游戏”领域更新语义理解服务进行测试验证。如图3所示，分别利用所述增量词条数据更新后的语义理解服务以及所述增量词条数据更新前的语义理解服务对各个领域的增量回归测试用例进行解析，得到了新增词条前，回归测试结果，和新增词条后，回归测试结果。再通过自动对比工具对比前后接过。例如，回归测试用例有：“歌曲领域”，“播放一首美丽的神话”；“影视领域”，“点播神话”，对应的回归测试结果为：“为您播放孙楠、韩红美丽的神话”；“为您点播成龙、金喜善的神话”。结果一致，测试通过，词条保留。不一致的情况下，通过回归测试用例反向推断错误的词条，并在所述增量词条数据中过滤所述错误词条，输出测试结果。在此不再赘述。
如图4所示为本发明一实施例提供的一种用于资源型数据的数据增量测试系统的结构示意图，该系统可执行上述任意实施例所述的用于资源型数据的数据增量测试方法，并配置在终端中。
本实施例提供的一种用于资源型数据的数据增量测试系统10包括：数据扩充程序模块11，语义解析结果确定程序模块12和增量测试程序模块13。
其中，数据扩充程序模块11用于通过词库功能模板对增量词条数据扩充，生成增量词条测试用例，以及所述增量词条测试用例对应的预期语义解析结果；语义解析结果确定程序模块12用于利用所述增量词条数据更新后的语义理解服务解析所述增量词条测试用例，确定实际语义解析结果；增量测试程序模块13用于基于自动化的语义结果对比工具对所述预期语义解析结果以及所述实际语义解析结果评估，确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，确定所述更新后的语义理解服务的功能性。
进一步地，所述系统还包括：测试用例增量程序模块，用于：
通过词库功能模板对各个领域的回归测试用例扩充，生成各个领域的增量回归测试用例。
进一步地，所述系统包括：：
语义解析结果确定程序模块，用于分别利用所述增量词条数据更新后的语义理解服务以及所述增量词条数据更新前的语义理解服务对各个领域的增量回归测试用例进行解析，确定各个领域更新前的回归测试结果以及更新后的回归测试结果；
增量测试程序模块，用于基于自动化的语义结果对比工具对所述更新前的回归测试结果以及所述更新后的回归测试结果评估，确定更新后的语义理解服务的对其他领域影响性。
进一步地，所述增量测试程序模块用于：
当所述更新前的回归测试结果与所述更新后的回归测试结果一致时，对其他领域影响性测试通过；
当所述更新前的回归测试结果与所述更新后的回归测试结果不一致时，通过增量回归测试用例确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，输出测试结果。
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的用于资源型数据的数据增量测试方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
通过词库功能模板对增量词条数据扩充，生成增量词条测试用例，以及所述增量词条测试用例对应的预期语义解析结果；
利用所述增量词条数据更新后的语义理解服务解析所述增量词条测试用例，确定实际语义解析结果；
基于自动化的语义结果对比工具对所述预期语义解析结果以及所述实际语义解析结果评估，确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，确定所述更新后的语义理解服务的功能性。
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的用于资源型数据的数据增量测试方法。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的用于资源型数据的数据增量测试方法的步骤。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如平板电脑。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据处理功能的电子装置。
在本文中，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
1.一种用于资源型数据的数据增量测试方法，包括：
通过词库功能模板对增量词条数据扩充，生成增量词条测试用例，以及所述增量词条测试用例对应的预期语义解析结果；
利用所述增量词条数据更新后的语义理解服务解析所述增量词条测试用例，确定实际语义解析结果；
基于自动化的语义结果对比工具对所述预期语义解析结果以及所述实际语义解析结果评估，确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，确定所述更新后的语义理解服务的功能性。
2.根据权利要求1所述的方法，其中，在确定所述更新后的语义理解服务的功能性之后，所述方法还包括：
通过词库功能模板对各个领域的回归测试用例扩充，生成各个领域的增量回归测试用例。
3.根据权利要求2所述的方法，其中，所述方法还包括：
分别利用所述增量词条数据更新后的语义理解服务以及所述增量词条数据更新前的语义理解服务对各个领域的增量回归测试用例进行解析，确定各个领域更新前的回归测试结果以及更新后的回归测试结果；
基于自动化的语义结果对比工具对所述更新前的回归测试结果以及所述更新后的回归测试结果评估，确定更新后的语义理解服务的对其他领域影响性。
4.根据权利要求3所述的方法，其中，所述基于自动化的语义结果对比工具对所述更新前的回归测试结果以及所述更新后的回归测试结果评估包括：
当所述更新前的回归测试结果与所述更新后的回归测试结果一致时，对其他领域影响性测试通过；
当所述更新前的回归测试结果与所述更新后的回归测试结果不一致时，通过增量回归测试用例确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，输出测试结果。
5.一种用于资源型数据的数据增量测试系统，包括：
数据扩充程序模块，用于通过词库功能模板对增量词条数据扩充，生成增量词条测试用例，以及所述增量词条测试用例对应的预期语义解析结果；
语义解析结果确定程序模块，用于利用所述增量词条数据更新后的语义理解服务解析所述增量词条测试用例，确定实际语义解析结果；
增量测试程序模块，用于基于自动化的语义结果对比工具对所述预期语义解析结果以及所述实际语义解析结果评估，确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，确定所述更新后的语义理解服务的功能性。
6.根据权利要求5所述的系统，其中，所述系统还包括：测试用例增量程序模块，用于：
通过词库功能模板对各个领域的回归测试用例扩充，生成各个领域的增量回归测试用例。
7.根据权利要求6所述的系统，其中，所述系统包括：
语义解析结果确定程序模块，用于分别利用所述增量词条数据更新后的语义理解服务以及所述增量词条数据更新前的语义理解服务对各个领域的增量回归测试用例进行解析，确定各个领域更新前的回归测试结果以及更新后的回归测试结果；
增量测试程序模块，用于基于自动化的语义结果对比工具对所述更新前的回归测试结果以及所述更新后的回归测试结果评估，确定更新后的语义理解服务的对其他领域影响性。
8.根据权利要求7所述的系统，其中，所述增量测试程序模块用于：
当所述更新前的回归测试结果与所述更新后的回归测试结果一致时，对其他领域影响性测试通过；
当所述更新前的回归测试结果与所述更新后的回归测试结果不一致时，通过增量回归测试用例确定所述增量词条数据中的错误词条，在所述增量词条数据中过滤所述错误词条，输出测试结果。
9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤。
技术总结