本技术涉及数据处理,特别是涉及一种数据回收任务的有序处理方法、系统、计算机设备、存储介质和计算机程序产品。
背景技术:
1、随着企业规模的不断扩大以及用户数量不断增加,企业需要处理的业务数据也呈现出海量增长趋势,这些业务数据中通常包含了大量的有顺序要求的数据,比如树形结构的数据,对业务数据进行有序数据处理变得越来越重要。有序数据是指一组数据中的元素具有明确的顺序或排列方式,对于有序数据的处理,保证其数据处理结果的有序性尤为重要。
2、传统技术中,对企业业务数据进行处理时,比如在身份数据回收处理时,往往依赖于单节点服务器,该服务器负责接收、处理和输出有序数据。然而,随着数据量的不断增加,这种集中式处理方式面临着处理能力瓶颈和单点故障的风险。单节点的处理大量的数据,数据处理缓慢,容易出现宕机的情况,整个任务的处理时间较长,不够“实时”。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够满足大规模数据处理的需求,并能够保证数据处理的有序性的数据回收任务的有序处理方法、系统、计算机设备、存储介质和计算机程序产品。
2、第一方面,本技术提供了一种数据回收任务的有序处理方法,应用于数据回收任务的有序处理系统,所述有序处理系统包括数据回收任务生成引擎、数据回收任务执行引擎、数据分析处理引擎、有序数据分析引擎以及有序数据处理引擎;所述有序处理方法包括以下步骤:
3、数据回收任务生成引擎响应回收任务请求,生成数据回收任务,将数据回收任务推送至第一数据库,并将与数据回收任务对应的任务消息推送至消息队列;
4、数据回收任务执行引擎从上述消息队列中读取任务消息,根据任务消息从对应的数据系统中拉取与该数据回收任务对应的对象数据,将对象数据写入第一数据库,并将第一数据库中对应的数据回收任务的状态更新为拉取完成状态;
5、数据分析处理引擎从第一数据库中读取处于拉取完成状态的数据回收任务的对象数据,对所述对象数据进行分析处理,获得对象数据节点以及对象数据节点之间的关系,将对象数据节点以及对象数据节点之间的关系存储至第二数据库,并将第一数据库中对应的数据回收任务的状态更新为分析完成状态;
6、有序数据分析引擎读取第一数据库中处于分析完成状态的数据回收任务,根据读取的数据回收任务从第二数据库中读取对应的对象数据节点以及对象数据节点之间的关系,根据所述对象数据节点以及所述对象数据节点之间的关系进行整合处理,生成有序对象数据,将有序对象数据存储至第一数据库,并将第一数据库中对应的数据回收任务的状态更新为排序完成状态;
7、有序数据处理引擎读取第一数据库中处于排序完成状态的数据回收任务的有序对象数据,并对所述有序对象数据进行处理,得到数据回收任务的有序处理结果。
8、在其中一个实施例中,上述数据回收任务执行引擎包括数据回收任务管理模块和多个数据回收执行模块;
9、数据回收任务执行引擎从上述消息队列中读取任务消息,根据任务消息从对应的数据系统中拉取与该数据回收任务对应的对象数据,包括:
10、数据回收任务管理模块从消息队列中读取一个或多个任务消息,将任务消息对应的数据回收任务分配给处于空闲状态的数据回收执行模块;
11、处于空闲状态的数据回收执行模块接收数据回收任务管理模块分配的数据回收任务,从对应的数据系统中拉取与所述数据回收任务对应的对象数据。
12、在其中一个实施例中,上述处于空闲状态的数据回收执行模块接收数据回收任务管理模块分配的数据回收任务,从对应的数据系统中拉取与所述数据回收任务对应的对象数据,包括:
13、处于空闲状态的数据回收执行模块根据接收的数据回收任务包含的对象生成多个数据回收子任务,并建立与所述数据回收子任务一一对应的数据回收执行子模块;
14、数据回收执行子模块并行地从各个数据回收子任务对应的数据系统中拉取与各个数据回收子任务对应的对象数据,从而获得数据回收任务对应的对象数据。
15、在其中一个实施例中,上述数据分析处理引擎包括数据分析管理模块、多个数据分析执行模块以及多个数据片段执行模块;
16、数据分析处理引擎从第一数据库中读取处于拉取完成状态的数据回收任务的对象数据,对所述对象数据进行分析处理,获得对象数据节点以及对象数据节点之间的关系,包括:
17、数据分析管理模块读取第一数据库中处于拉取完成状态的数据回收任务,并将读取的数据回收任务分配给处于空闲状态的数据分析执行模块;
18、处于空闲状态的数据分析执行模块接收数据分析管理模块分配的数据回收任务,根据所述数据回收任务包含的对象生成多个数据分析子任务,将数据分析子任务对应的对象数据拆成多个数据片段,并将数据片段分配给处于空闲状态的数据片段执行模块;
19、处于空闲状态的数据片段执行模块接收数据分析执行模块发送的数据片段,并对数据片段进行数据分析,获得所述数据片段对应的对象数据节点以及对象数据节点之间的关系。
20、在其中一个实施例中,上述有序数据分析引擎包括数据排序管理模块和多个数据排序执行模块;
21、有序数据分析引擎读取第一数据库中处于分析完成状态的数据回收任务,根据读取的数据回收任务从第二数据库中读取对应的对象数据节点以及对象数据节点之间的关系,根据所述对象数据节点以及所述对象数据节点之间的关系进行整合处理,生成有序对象数据,包括:
22、数据排序管理模块读取第一数据库中处于分析完成状态的数据回收任务,并将读取的数据回收任务分配给处于空闲状态的数据排序执行模块;
23、处于空闲状态的数据排序执行模块接收数据排序管理模块分配的数据回收任务,根据数据回收任务包含的对象从第二数据库中读取对应的对象数据节点以及对象数据节点之间的关系,并根据所述对象数据节点以及所述对象数据节点之间的关系进行整合处理,生成各个所述对象的有序对象数据。
24、在其中一个实施例中,上述有序数据处理引擎包括有序数据处理管理模块和多个有序数据处理执行模块;
25、有序数据处理引擎读取第一数据库中处于排序完成状态的数据回收任务的有序对象数据,并对所述有序对象数据进行处理,得到数据回收任务的有序处理结果,包括:
26、有序数据处理管理模块读取第一数据库中处于排序完成状态的数据回收任务,根据读取的数据回收任务包含的对象确定处理策略,并根据读取的数据回收任务包含的对象生成多个有序数据处理子任务,将有序数据处理子任务分配给处于空闲状态的有序数据处理执行模块;
27、处于空闲状态的有序数据处理执行模块接收有序数据处理管理模块分配的有序数据处理子任务,并根据上述处理策略对有序数据处理子任务对应的有序对象数据进行处理,以获得数据回收任务对应的有序处理结果。
28、第二方面,本技术还提供了一种数据回收任务的有序处理系统,该系统包括:
29、数据回收任务生成引擎,用于响应回收任务请求,生成数据回收任务,将数据回收任务推送至第一数据库,并将与数据回收任务对应的任务消息推送至消息队列;
30、数据回收任务执行引擎,用于从上述消息队列中读取任务消息,根据任务消息从对应的数据系统中拉取与该数据回收任务对应的对象数据,将对象数据写入第一数据库,并将第一数据库中对应的数据回收任务的状态更新为拉取完成状态;
31、数据分析处理引擎,用于从第一数据库中读取处于拉取完成状态的数据回收任务的对象数据,对所述对象数据进行分析处理,获得对象数据节点以及对象数据节点之间的关系,将对象数据节点以及对象数据节点之间的关系存储至第二数据库,并将第一数据库中对应的所述数据回收任务的状态更新为分析完成状态;
32、有序数据分析引擎,用于读取第一数据库中处于分析完成状态的数据回收任务,根据读取的数据回收任务从第二数据库中读取对应的对象数据节点以及对象数据节点之间的关系,根据所述对象数据节点以及所述对象数据节点之间的关系进行整合处理,生成有序对象数据,将有序对象数据存储至第一数据库,并将第一数据库中对应的数据回收任务的状态更新为排序完成状态;
33、有序数据处理引擎,用于读取第一数据库中处于排序完成状态的数据回收任务的有序对象数据,并对所述有序对象数据进行处理,得到数据回收任务的有序处理结果。
34、第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行所述计算机程序时实现上述数据回收任务的有序处理方法的步骤。
35、第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述数据回收任务的有序处理方法的步骤。
36、第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述数据回收任务的有序处理方法的步骤。
37、上述数据回收任务的有序处理方法、系统、计算机设备、存储介质和计算机程序产品,应用数据回收任务的有序处理系统,其中数据回收任务生成引擎生成数据回收任务并将其推送至第一数据库,将对应的任务消息推送至消息队列,数据回收任务执行引擎从消息队列中读取任务消息并根据任务消息从数据系统拉取对应的对象数据和将拉取的对象数据写入第一数据库,数据分析处理引擎对对象数据进一步分析获得对象数据节点以及对象数据节点之间的关系并存储至第二数据库,有序数据分析引擎对与数据回收任务对应的对象数据节点以及对象数据节点之间的关系进行整合处理,生成有序对象数据并将其存储到第一数据库,有序数据处理引擎再对有序对象数据进行处理最终得到数据回收任务的有序处理结果。数据回收任务生成引擎、数据回收任务执行引擎、数据分析处理引擎、有序数据分析引擎、有序数据处理引擎之间相互配合,多个引擎同时工作能够高效处理上千万数据,满足大规模数据处理需求,并可以大大提高数据处理的实时性;多个引擎之间虽相互配合但也是相对独立的,从而系统具有更好的容错性,在面对故障和负载波动时稳定性较高;通过将数据回收任务的待分析对象数据经过分析、整合得到有序对象数据,再对有序对象数据进行处理,保证了数据的有序性,适用于有顺序要求的数据处理场景。
1.一种数据回收任务的有序处理方法,其特征在于,应用于数据回收任务的有序处理系统,所述有序处理系统包括数据回收任务生成引擎、数据回收任务执行引擎、数据分析处理引擎、有序数据分析引擎以及有序数据处理引擎:所述有序处理方法包括以下步骤:
2.根据权利要求1所述的数据回收任务的有序处理方法,其特征在于,所述数据回收任务执行引擎包括数据回收任务管理模块和多个数据回收执行模块;
3.根据权利要求2所述的数据回收任务的有序处理方法,其特征在于,所述处于空闲状态的所述数据回收执行模块接收所述数据回收任务管理模块分配的数据回收任务,从对应的数据系统中拉取与所述数据回收任务对应的对象数据,包括:
4.根据权利要求1所述的数据回收任务的有序处理方法,其特征在于,所述数据分析处理引擎包括数据分析管理模块、多个数据分析执行模块以及多个数据片段执行模块;
5.根据权利要求1所述的数据回收任务的有序处理方法,其特征在于,所述有序数据分析引擎包括数据排序管理模块和多个数据排序执行模块;
6.根据权利要求1所述的数据回收任务的有序处理方法,其特征在于,所述有序数据处理引擎包括有序数据处理管理模块和多个有序数据处理执行模块;
7.一种数据回收任务的有序处理系统,其特征在于,包括:
8.根据权利要求7所述的数据回收任务的有序处理系统,其特征在于,所述数据回收任务执行引擎包括数据回收任务管理模块和多个数据回收执行模块;
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。