基于数据中台的数据处理方法、电子设备和存储介质与流程

    专利2025-02-27  13


    本发明涉及数据处理领域,特别是涉及一种基于数据中台的数据处理方法、和电子设备和存储介质。


    背景技术:

    1、在一些应用场景中,需要使用sql任务执行查询任务。当前,对于给定的sql查询任务,不能提前知晓大概多久能够执行完,即对应的查询时间无法提前知晓。这样,可能会导致任务处理不及时,用户体验差。


    技术实现思路

    1、针对上述技术问题,本发明采用的技术方案为:

    2、本发明实施例提供一种基于数据中台的数据处理方法,所述方法包括如下步骤:

    3、s100,基于当前数据中台对应的历史查询信息集i获取目标执行时间预测模型,并得到目标影响参数;i={i1,i2,……,ii,……,in},ii为i中的第i个历史查询信息,i的取值为1到n,n为i中的历史查询信息的数量;ii={ui,qi,ti},bi为ii对应的sql任务的id,qi为ii对应的影响参数的影响值,ti为ii对应的sql任务的执行时间;qi=(qi1,qi1),qi1为qi中的第1类影响参数对应的影响值集,qi1={q1i1,q2i1,……,qj1i1,……,qm1i1},qj1i1为qi1中的第j1个影响参数的影响值,j1的取值为1到m1,m1为qi1中的影响参数的数量;qi2为qi中的第2类影响参数对应的影响值集,qi2={q1i2,q2i2,……,qj2i2,……,qm2i2},qj2i2为qi2中的第j2个影响参数的影响值,j2的取值为1到m2,m2为qi2中的影响参数的数量;第1类影响参数为与sql语句关联的表的元数据相关的参数,第2类影响参数为与sql语句的语句结构相关的参数。

    4、s200,基于接收到目标sql任务,获取所述目标sql任务对应的目标影响参数对应的影像值,作为输入数据。

    5、s300,将所述输入数据输入至所述目标执行时间预测模型中,得到对应的预测执行时间。

    6、本发明实施例还提供一种非瞬时性计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,其所述至少一条指令或所述至少一段程序由处理器加载并执行以实现前述方法。

    7、本发明实施例还提供一种电子设备,包括处理器和前述的非瞬时性计算机可读存储介质。

    8、本发明至少具有以下有益效果:

    9、本发明实施例提供的技术方案,能够对sql任务的执行时间进行预测,能够提高用户体验。

    10、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。



    技术特征:

    1.一种基于数据中台的数据处理方法,其特征在于,所述方法包括如下步骤:

    2.根据权利要求1所述的方法,其特征在于,其中,s100具体包括:

    3.根据权利要求1所述的方法,其特征在于,所述第1类影响参数至少包括sql关联的表的字段、数据量级和存储容量;所述第2类影响参数至少包括:sql语句的联接操作、sql语句的子查询、sql语句的聚合操作、sql语句的重运算、sql语句的聚合函数、sql语句的过滤条件和sql语句的数据转换。

    4.根据权利要求3所述的方法,其特征在于,第1类影响参数中的第j1个影响参素的影响值qj11=∑wb=1aj11b,aj11b为sql语句关联的第b个表对应的第j1个影响因素对应的属性值,b的取值为1到w,w为sql语句对应关联的表的数量;所述属性值为表征影响参数大小的值。

    5.根据权利要求3所述的方法,其特征在于,第2影响参数中第j2个影响参数的影响值qj22=∑xd=1kj22d,其中,kj22d为sql语句中出现的第d个第j2个影响参数对应的关键词的权重,d的取值为1到x,x为sql语句中出现的第j2个影响参数对应的关键词的数量,其中,第d-1个第j2个影响参数对应的关键词的出现位置位于第d个第j2个影响参数对应的关键词的出现位置的前面。

    6.根据权利要求5所述的方法,其特征在于,kj22(d-1)>kj22d。

    7.根据权利要求1所述的方法,其特征在于,还包括如下步骤:

    8.一种电子设备,其特征在于,包括处理器和存储器;

    9.一种非瞬时性计算机可读存储介质,其特征在于,所述非瞬时性计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如权利要求1至7任一项所述方法的步骤。


    技术总结
    本发明提供了一种基于数据中台的数据处理方法、电子设备和存储介质,包括:基于当前数据中台对应的历史查询信息集获取目标执行时间预测模型,并得到目标影响参数;基于接收到目标SQL任务,获取所述目标SQL任务对应的目标影响参数对应的影像值,作为输入数据;将所述输入数据输入至所述目标执行时间预测模型中,得到对应的预测执行时间。本发明能够对SQL任务的执行时间进行预测,能够提升用户体验。

    技术研发人员:李强,初乃强,安西平
    受保护的技术使用者:奇点数联(北京)科技有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-83504.html

    最新回复(0)