本公开涉及计算机,尤其涉及一种基于分布式搜索引擎的数据检索方法及系统。
背景技术:
1、在面对大规模数据集和复杂查询需求时,使用传统的数据检索方法进行检索,会存在效率低下以及准确性不足的情况。随着数据的快速增长和多样化的查询需求,如何快速、准确地检索并提供高质量的搜索结果成为了一个迫切的需求。
技术实现思路
1、有鉴于此,本公开的目的在于提出一种基于分布式搜索引擎的数据检索方法及系统,简化了检索过程,有效的提高了检索的效率。
2、为了实现上述公开目的之一,本公开提供了一种基于分布式搜索引擎的数据检索方法,包括:
3、将客户端与分布式搜索引擎建立连接,并创建分布式搜索数据库;
4、在所述客户端上,将源数据库中的数据导入所述分布式搜索数据库;
5、获取自定义表达式,基于所述自定义表达式构建分布式查询语句;
6、在所述分布式搜索数据库中,根据所述分布式查询语句进行检索,得到目标数据;
7、对所述目标数据进行格式统一处理,将处理后的所述目标数据以目标数据结构的形式存储。
8、作为本公开一实施方式的进一步改进,所述在客户端上与分布式搜索引擎建立连接,并创建分布式搜索数据库,包括:
9、在所述客户端中安装目标格式的分布式搜索引擎;
10、基于所述分布式搜索引擎创建分布式客户端对象;
11、将所述分布式客户端对象中的主机和客户端的原始信息替换成所述分布式搜索引擎的主机和端口的信息,以实现将客户端与所述分布式搜索引擎建立连接;
12、根据所述源数据库的表名和字段之间的关系,创建分布式搜索索引;
13、基于所述分布式搜索索引形成所述分布式搜索数据库。
14、作为本公开一实施方式的进一步改进,所述将源数据库中的数据导入所述分布式搜索数据库,包括:
15、配置所述源数据库链接地址,通过脚本的方式将所述源数据库中的源数据导入所述分布式搜索数据库。
16、作为本公开一实施方式的进一步改进,所述获取自定义表达式,基于所述自定义表达式构建分布式查询语句,包括:
17、获取自定义表达式,基于所述自定义表达式生成特有的伪查询语句;
18、解析所述伪查询语句,将解析后的所述伪查询语句转换为所述分布式查询语句。
19、作为本公开一实施方式的进一步改进,所述对所述目标数据进行格式统一处理,将处理后的所述目标数据以目标数据结构的形式存储,包括:
20、获取所述分布式搜索索引的名称所对应的字段数据类型映射;
21、遍历存储所述目标数据的文档,并在所述目标数据中提取所需字段的值;
22、根据每个所述所需字段的数据类型和目标格式,执行相应的格式化操作;
23、将处理后的所述目标数据以目标数据结构的形式存储。
24、作为本公开一实施方式的进一步改进,所述字段的数据类型包括字符串字段、日期字段、数值字段、布尔字段、空值和缺失值中的至少一种。
25、作为本公开一实施方式的进一步改进,所述目标数据结构包括列表、字典、对象和树形结构中的至少一种。
26、为了实现上述公开目的之一,本公开一实施方式提供了一种基于分布式搜索引擎的数据检索系统,包括:
27、创建模块,用于将客户端与分布式搜索引擎建立连接,并创建分布式搜索数据库;
28、导入模块,用于在所述客户端上,将源数据库中的数据导入所述分布式搜索数据库;
29、构建模块,用于获取自定义表达式,基于所述自定义表达式构建分布式查询语句;
30、检索模块,用于在所述分布式搜索数据库中,根据所述分布式查询语句进行检索,得到目标数据;
31、处理模块,用于对所述目标数据进行格式统一处理,将处理后的所述目标数据以目标数据结构的形式存储。
32、为了实现上述公开目的之一,本公开一实施方式提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任意一项所述的基于分布式搜索引擎的数据检索方法。
33、为了实现上述公开目的之一,本公开一实施方式提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行上述任一所述的基于分布式搜索引擎的数据检索方法。
34、相对于现有技术,本公开提供的基于分布式搜索引擎的数据检索方法,通过将客户端与分布式搜索引擎建立连接,并创建分布式搜数据库,将源数据库中的数据导入到分布式搜索数据库中,便于对数据进行查询;通过自定义表达式构建分布式查询语句,根据分布式查询语句在分布式搜索数据库中进行检索,实现更灵活和高效的搜索查询;再对目标数据进行处理后,以目标数据结构的形式存储,大大简化了数据查询的过程,有效提高了数据查询的效率。
1.一种基于分布式搜索引擎的数据检索方法,其特征在于,包括:
2.根据权利要求1所述的基于分布式搜索引擎的数据检索方法,其特征在于,所述将客户端与分布式搜索引擎建立连接,并创建分布式搜索数据库,包括:
3.根据权利要求1所述的基于分布式搜索引擎的数据检索方法,其特征在于,所述在所述客户端上,将源数据库中的数据导入所述分布式搜索数据库,包括:
4.根据权利要求1所述的基于分布式搜索引擎的数据检索方法,其特征在于,所述获取自定义表达式,基于所述自定义表达式构建分布式查询语句,包括:
5.根据权利要求2所述的基于分布式搜索引擎的数据检索方法,其特征在于,所述对所述目标数据进行格式统一处理,将处理后的所述目标数据以目标数据结构的形式存储,包括:
6.根据权利要求5所述的基于分布式搜索引擎的数据检索方法,其特征在于,所述字段的数据类型包括字符串字段、日期字段、数值字段、布尔字段、空值和缺失值中的至少一种。
7.根据权利要求5所述的基于分布式搜索引擎的数据检索方法,其特征在于,所述目标数据结构包括列表、字典、对象和树形结构中的至少一种。
8.一种基于分布式搜索引擎的数据检索系统,其特征在于,包括:
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的基于分布式搜索引擎的数据检索方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行权利要求1至7任一所述的基于分布式搜索引擎的数据检索方法。