本公开涉及一种相似文本检测方法、电子设备、存储介质及程序产品。
背景技术：
1、随着互联网和数字化技术的迅猛发展，各种信息呈指数级别急剧增长，而文本数据是其中一个重要部分。海量的文本数据不仅给用户造成信息过载，也给信息管理、搜索等带来了巨大的挑战。为了提升文本数据质量、减少数据量，相似文本检测技术应运而生。
2、现有技术中进行相似文本检测时，需要计算目标文本与文本集中每个文本的相似度。
3、然而，当文本集中文本的数量较多时，逐一计算相似度的计算量较大，相似文本检测的效率低下。
技术实现思路
1、本公开提供了一种相似文本检测方法、装置、电子设备及存储介质。
2、根据本公开的一个方面，提供一种相似文本检测方法，包括：
3、获取目标文本和第一文本集；
4、对所述目标文本进行处理，得到目标文本特征；
5、根据分割数对所述目标文本特征进行分割，得到目标子特征；
6、根据所述目标子特征中的分特征及其对应的分表从所述第一文本集中获取第二文本集；
7、使用所述目标文本、第二文本集和预设相似阈值进行相似文本检测，
8、其中，所述分割数与所述预设相似阈值对应；分特征对应的分表属于映射表，所述映射表根据所述第一文本集中第一文本对应的第一子特征确定。
9、根据本公开的至少一个实施方式的相似文本检测方法，所述根据所述目标子特征中的分特征及其对应的分表从所述第一文本集中获取第二文本集，包括：
10、从所述目标子特征中获取第一分特征；
11、从所述映射表中获取所述第一分特征对应的第一分表；
12、判断所述第一分表是否包括所述第一分特征；
13、根据判断结果获取第二文本；
14、对所述目标子特征中其他分特征执行上述过程，直至所述目标子特征包括的分特征执行完毕；
15、根据第二文本获取所述第二文本集。
16、根据本公开的至少一个实施方式的相似文本检测方法，在从所述映射表中获取所述第一分特征对应的第一分表之前，还包括：
17、对所述第一文本集中第一文本进行处理，得到第一文本特征；
18、根据所述分割数对所述第一文本特征进行分割，得到第一子特征；
19、对所述第一子特征进行处理，得到所述映射表。
20、根据本公开的至少一个实施方式的相似文本检测方法，在所述根据分割数对所述目标文本特征进行分割之前，还包括：
21、根据所述预设相似阈值获取所述分割数。
22、根据本公开的至少一个实施方式的相似文本检测方法，所述对所述目标文本进行处理包括：对所述目标文本进行simhash处理；和/或，
23、所述根据分割数对所述目标文本特征进行分割包括：根据分割数对所述目标文本特征进行平均分割；和/或，
24、所述使用所述目标文本、第二文本集和预设相似阈值进行相似文本检测包括：获取所述目标文本和所述第二文本集中文本的海明距离；根据所述海明距离和预设相似阈值进行相似文本检测。
25、根据本公开的再一个方面，提供一种相似文本检测方法，包括：
26、获取待测文本集；
27、对所述待测文本集中待测文本进行处理，得到文本特征；
28、根据分割数对所述文本特征进行分割，得到文本子特征；
29、对文本子特征进行处理，得到映射表；
30、根据所述映射表从所述待测文本集中获取初选文本集；
31、根据所述初选文本集和预设相似阈值进行相似文本检测，
32、其中，所述分割数与所述预设相似阈值对应。
33、根据本公开的至少一个实施方式的相似文本检测方法，还包括：
34、分别根据相似文本检测结果对所述待测文本集进行文本去重，得到去重文本集。
35、根据本公开的另一个方面，提供一种电子设备，包括：存储器，所述存储器存储执行指令；处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本公开任一个实施方式的相似文本检测方法。
36、根据本公开的又一个方面，提供一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现本公开任一个实施方式的相似文本检测方法。
37、根据本公开的再一个方面，提供一种计算机程序产品，所述计算机程序/指令被处理器执行时实现本公开任一个实施方式的相似文本检测方法。
1.一种相似文本检测方法，其特征在于，包括：
2.根据权利要求1所述的相似文本检测方法，其特征在于，所述根据所述目标子特征中的分特征及其对应的分表从所述第一文本集中获取第二文本集，包括：
3.根据权利要求1或2所述的相似文本检测方法，其特征在于，在从所述映射表中获取所述第一分特征对应的第一分表之前，还包括：
4.根据权利要求1或2所述的相似文本检测方法，其特征在于，在所述根据分割数对所述目标文本特征进行分割之前，还包括：
5.根据权利要求1或2所述的相似文本检测方法，其特征在于，
6.一种相似文本检测方法，其特征在于，包括：
7.根据权利要求6所述的相似文本检测方法，其特征在于，还包括：
8.一种电子设备，其特征在于，包括：
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时实现如权利要求1至7中任一项所述的相似文本检测方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述的相似文本检测方法。
