本发明涉及云计算
技术领域:
:,尤其涉及一种数据处理方法、装置和系统、电子设备以及计算机可读存储介质。
背景技术:
::随着云技术的发展,已经出现了存储和计算完全分离的云服务网络架构,从而能够利用高速、大吞吐的网络通道来充分发挥硬件集中的优势。在这样的云服务中,如何高效且便捷地对云数据库中大量数据进行存储和使用就变得非常重要。现有技术中为了方便各种数据的存储和使用,使用了对象存储服务(objectstorageservice;以下简称:oss)技术,其由于具有读写接口简单友好、价格低廉及支持各种异构数据存储等优势,而在存储计算分离的云服务网络架构中得到了广泛的应用,并且也成为了云服务架构中最重要的数据来源。由于oss技术本身的数据格式异构,即存在着各种各样的文件格式以及各种各样的存储系统,使得云服务用户在对数据进行处理(例如,分析)时,无法很好地控制查询性能与计算成本的关系。例如,用户所需要获取的数据的格式特殊或者用户所要获取的数据针对的场景对于数据的要求比较复杂等等,都会导致用户的计算成本上升,或者导致用户的数据获取性能下降。但是目前的数据存储方案无法为用户提供方便且直观的数据处理执行方案。技术实现要素:本发明实施例提供一种数据处理方法、装置和系统、电子设备以及计算机可读存储介质,以解决现有技术中无法很好地控制查询性能与计算成本之间关系的缺陷。为达到上述目的,本发明实施例提供了一种数据处理方法,包括:获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。本发明实施例还提供了一种数据处理装置,包括:指令获取模块,用于获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;索引比例获取模块,用于获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;方案生成模块,用于根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。本发明实施例还提供了一种数据处理系统,包括:前置节点、计算节点和存储节点,其中,所述前置节点用于,获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;以及,根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作;所述计算节点用于,接收所述前置节点生成的所述数据查询方案,并执行所述数据查询方案中的计算任务;所述存储节点用于,存储所述源数据。本发明实施例还提供了一种电子设备,包括:存储器,用于存储程序;处理器,用于运行所述存储器中存储的所述程序,以用于:获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。本发明实施例还提供了一种计算机可读存储介质,在所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现:获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。本发明实施例提供的数据处理方法、装置和系统、电子设备以及计算机可读存储介质,通过引入索引比例来部分地为数据构建索引,从而根据索引数据占源数据的索引比例,来生成符合查询条件的数据查询方案,能够根据用户意图基于索引数据和源数据分别执行数据查询操作,从而实现部分计算加速,以满足用户对计算成本与查询性能之间平衡的需求。上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:图1为本发明实施例提供的数据处理系统的系统框图;图2为本发明实施例提供的数据处理系统的应用场景示意图;图3为本发明提供的数据处理方法实施例的流程图;图4为本发明实施例根据数据查询方案进行数据查询的流程图;图5为本发明提供的数据处理装置实施例的结构示意图;图6为本发明提供的电子设备实施例的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。在现有技术中,由于oss技术本身的数据格式异构,即存在着各种各样的文件格式以及各种各样的存储系统,使得云服务用户在对数据进行处理时,无法很好地控制查询性能与计算成本的关系。因此,本申请提出了一种数据处理方案,其主要原理是:在存储数据时,根据预设的索引比例来部分地为源数据构建索引,该索引比例可以由用户根据其需求来设置,在查询数据时,则可以根据数据的索引比例来生成符合用户需求的查询方案,根据该数据查询方案,可以分别针对索引数据和源数据执行数据查询操作。因此,能够根据用户意图来实现部分计算加速,从而能够满足用户对计算成本与查询性能之间平衡的需求。上述实施例是对本发明实施例的技术原理的说明,下面通过多个实施例来进一步对本发明实施例具体技术方案进行详细描述。实施例一图1为本发明实施例提供的数据处理系统的系统框图,图1所示的结构仅仅是本发明的技术方案可以应用的数据处理系统的示例之一。该数据处理系统可以用来执行下述图3和图4所示的处理流程。如图1所示,该数据处理系统包括:前置节点、计算节点和存储节点。其中,前置节点用于获取用户的数据查询指令,其中,该数据查询指令中至少包括待查询字段和针对待查询字段的查询条件;用于获取与待查询字段相对应的索引数据的索引比例,其中,该索引比例为索引数据占源数据的比例;以及,用于根据索引比例,生成符合查询条件的数据查询方案,其中,该数据查询方案用于指示基于索引数据执行数据查询操作以及基于源数据执行数据查询操作。计算节点则用于接收前置节点生成的数据查询方案,并执行数据查询方案中的计算任务。存储节点则用于存储源数据。在本发明实施例提供的数据处理系统中,可以设置多个前置节点,多个前置节点对等服务,组成前置节点池。用户的数据查询指令则可以通过负载均衡设备(slb)进行负载均衡后,被发送到前置节点池中的某个前置节点中进行解析处理。前置节点在接收到数据查询指令后,从该数据查询指令中获取待查询字段,进而获取与该待查询字段相对应的索引数据的索引比例,例如,可以从元数据模块(meta模块)读取相关元数据信息。前置节点在获取到相应的索引数据的索引比例后,根据该索引比例生成符合数据查询指令中的查询条件的数据查询方案,并将该数据查询方案发送到计算节点执行。在本发明实施例中,可以设置多个计算节点,多个计算节点组成计算节点池。前置节点生成的数据查询方案可以由计算节点池中的多个计算节点进行分布式执行。本发明实施例提供的数据处理系统中,可以采用存储于计算分离的架构,计算节点从不同的存储节点读取源数据。在本发明实施例中,源数据可以分布在oss、表格存储(tablestore)、mongodb、网络附属存储(networkattachedstorage;以下简称:nas)、关系型数据库服务(relationaldatabaseservice;以下简称:rds)等各种各样的存储节点中。在计算节点执行计算操作时,也可以从元数据模块读取相关的元数据信息。图2为本发明实施例提供的数据处理系统的应用场景示意图。如图2所示,在该应用场景中,用户可以在依托于原生云技术架构而构建的数据分析平台中定义指向oss文件的表结构,创建数据表,并定义相关的索引信息,创建映射到数据表的索引数据。当用户在oss文件中写入源数据时,相应的数据变更消息会同步到数据分析平台,且数据分析平台中的索引构建模块在监听到数据变更消息后,会拉取最新的数据,然后构建增量索引,并写入到索引数据中。当用户进行数据查询时,向数据分析平台发送数据查询指令,例如,sql指令,数据分析平台中的计算引擎会查询数据表的元数据信息和数据表对应的索引信息,根据实际已经构建的弹性索引的情况,生成合适的数据查询方案来下推计算,并返回结果。本发明实施例提供的数据处理系统,通过引入索引比例来部分地为数据构建索引,从而根据索引数据占源数据的索引比例,来生成符合查询条件的数据查询方案,能够根据用户意图基于索引数据和源数据分别执行数据查询操作,从而实现部分计算加速,以满足用户对计算成本与查询性能之间平衡的需求。并且,通过监听数据变更消息来驱动增量索引数据的生成,使得索引数据实时且高效可用,没有等待间隙,不会阻塞用户的查询。实施例二图3为本发明提供的数据处理方法实施例的流程图,该方法的执行主体可以为上述数据处理系统中的前置节点,也可以为具有数据处理能力的各种服务器,也可以为集成在这些设备上的装置或芯片。如图3所示,该数据处理方法包括如下步骤:s301,获取用户的数据查询指令。在本发明实施例中,用户输入的数据查询指令中至少包括待查询字段和针对待查询字段的查询条件。s302,获取与待查询字段相对应的索引数据的索引比例。在本发明实施例中,在获取到用户输入的数据查询指令后,从该数据查询指令中获取待查询字段,进而获取与该待查询字段相对应的索引数据的索引比例,该索引比例为索引数据占源数据的比例。用户可以根据自身的需求预先设置索引比例的值,例如,50%、70%等。另外,在本发明实施例中,当用户在源数据中写入或删除数据时,会产生相应的数据变更消息。在获取到用于标识源数据中的数据变更,即,向源数据中写入新数据,或,删除源数据中的数据,的数据变更消息后,可以根据预设的索引比例,针对源数据中变更的数据更新索引数据。具体地,可以根据数据的偏移量,在源数据中变更的数据中选择满足索引比例的数量的数据,进行索引构建操作,形成新的索引数据。举例说明,以索引比例为50%为例。假设,源数据的文件总长度为1000字符,那么索引数据则可以构建到偏移量为500的源数据。当然,用户可以任意设定索引比例,并且支持索引比例的弹性伸缩(增加或者减少)。在用户增加索引比例后,可以根据增加后的索引比例,自动读取当前偏移量之后的数据,进行索引构建操作,并更新到索引数据中。当用户减小索引比例之后,则可以根据见效后的索引比例,针对当前偏移量之前的数据,删除相应的索引数据。s303,根据索引比例,生成符合查询条件的数据查询方案。在本发明实施例中,生成数据查询方案后,可以用于指示计算节点基于索引数据执行数据查询操作,以及基于源数据执行数据查询操作。另外,如果用户更新索引比例,那么,在用户更新索引比例之后,根据更新后的索引比例,重新执行生成数据查询方案的操作。图4为本发明实施例根据数据查询方案进行数据查询的流程图。如图4所示,该流程包括如下步骤:s401,基于索引数据,进行索引查询操作。s402,将索引查询的结果进行聚合操作。s403,基于源数据,进行表扫描操作。s404,针对表扫描操作的结果,进行滤波处理。s405,将滤波处理的结果进行聚合操作。s406,将索引查询的聚合结果与源数据滤波处理的聚合结果,进行合并。s407,输出合并后的结果。在本发明实施例中,可以实现部分使用索引数据、部分从源数据中拉取的混合查询方案,从而实现部分计算加速,最终满足业务上的时间要求。本发明实施例提供的数据处理方法,通过引入索引比例来部分地为数据构建索引,从而根据索引数据占源数据的索引比例,来生成符合查询条件的数据查询方案,能够根据用户意图基于索引数据和源数据分别执行数据查询操作,从而实现部分计算加速,以满足用户对计算成本与查询性能之间平衡的需求。并且,通过监听数据变更消息来驱动增量索引数据的生成,使得索引数据实时且高效可用,没有等待间隙,不会阻塞用户的查询。实施例三图5为本发明提供的数据处理装置实施例的结构示意图,可用于执行如图3所示的方法步骤。如图5所示,该数据处理装置可以包括:指令获取模块51、索引比例获取模块52和方案生成模块53。其中,指令获取模块51用于获取用户的数据查询指令,其中,数据查询指令中至少包括待查询字段和针对待查询字段的查询条件;索引比例获取模块52用于获取与待查询字段相对应的索引数据的索引比例,其中,索引比例为索引数据占源数据的比例;方案生成模块53用于根据索引比例,生成符合查询条件的数据查询方案,其中,数据查询方案用于指示基于索引数据执行数据查询操作以及基于源数据执行数据查询操作。在本发明实施例中,在指令获取模块51获取到用户输入的数据查询指令后,索引比例获取模块52从该数据查询指令中获取待查询字段,进而获取与该待查询字段相对应的索引数据的索引比例。用户可以根据自身的需求预先设置索引比例的值,例如,50%、70%等。然后,由方案生成模块53生成数据查询方案,以指示计算节点基于索引数据执行数据查询操作,以及基于源数据执行数据查询操作。另外,本发明实施例提供的数据处理装置还可以包括:索引更新模块54。该索引更新模块54可以用于在获取到数据变更消息后,根据预设的索引比例,针对源数据中变更的数据更新索引数据,其中,该数据变更消息用于标识源数据中的数据变更。具体地,该索引更新模块54可以包括:消息获取单元541和索引更新单元542。其中,消息获取单元541可以用于获取数据变更消息;索引更新单元542可以用于根据数据的偏移量,在源数据中变更的数据中选择满足索引比例的数量的数据,进行索引构建操作,形成新的索引数据。进一步地,在本发明实施例中,索引更新单元还可以用于在用户增加索引比例之后,根据增加后的索引比例,读取当前偏移量之后的数据,进行索引构建操作,并更新索引数据。索引更新单元542还可以用于在用户减小索引比例之后,根据减小后的索引比例,针对当前偏移量之前的数据,删除相应的索引数据。更进一步地,在本发明实施例中,方案生成模块53还可以用于在用户更新索引比例之后,根据更新后的索引比例,重新执行生成数据查询方案的操作。本发明实施例中各模块的功能详见上述方法实施例中的具体描述,在此不再赘述。本发明实施例提供的数据处理装置,通过引入索引比例来部分地为数据构建索引,从而根据索引数据占源数据的索引比例,来生成符合查询条件的数据查询方案,能够根据用户意图基于索引数据和源数据分别执行数据查询操作,从而实现部分计算加速,以满足用户对计算成本与查询性能之间平衡的需求。并且,通过监听数据变更消息来驱动增量索引数据的生成,使得索引数据实时且高效可用,没有等待间隙,不会阻塞用户的查询。实施例四以上描述了数据处理装置的内部功能和结构,该装置可实现为一种电子设备。图6为本发明提供的电子设备实施例的结构示意图。如图6所示,该电子设备包括存储器61和处理器62。存储器61,用于存储程序。除上述程序之外,存储器61还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器61可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。处理器62,不仅仅局限于中央处理器(cpu),还可能为图形处理器(gpu)、现场可编辑门阵列(fpga)、嵌入式神经网络处理器(npu)或人工智能(ai)芯片等处理芯片。处理器62,与存储器61耦合,执行存储器61所存储的程序,以用于:获取用户的数据查询指令,其中,数据查询指令中至少包括待查询字段和针对待查询字段的查询条件;获取与待查询字段相对应的索引数据的索引比例,其中,索引比例为索引数据占源数据的比例;根据索引比例,生成符合查询条件的数据查询方案,其中,数据查询方案用于指示基于索引数据执行数据查询操作以及基于源数据执行数据查询操作。进一步,如图6所示,电子设备还可以包括:通信组件63、电源组件64、音频组件65、显示器66等其它组件。图6中仅示意性给出部分组件,并不意味着电子设备只包括图6所示组件。通信组件63被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件63经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件63还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。电源组件64,为电子设备的各种组件提供电力。电源组件64可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。音频组件65被配置为输出和/或输入音频信号。例如,音频组件65包括一个麦克风(mic),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器61或经由通信组件63发送。在一些实施例中,音频组件65还包括一个扬声器,用于输出音频信号。显示器66包括屏幕,其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。当前第1页1 2 3 当前第1页1 2 3 
技术特征:1.一种数据处理方法,其特征在于,包括:
获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;
获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;
根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。
2.根据权利要求1所述的数据处理方法,其特征在于,还包括:
在获取到数据变更消息后,根据预设的索引比例,针对所述源数据中变更的数据更新所述索引数据,其中,所述数据变更消息用于标识所述源数据中的数据变更。
3.根据权利要求2所述的数据处理方法,其特征在于,所述数据变更消息用于标识向所述源数据中写入新数据。
4.根据权利要求2所述的数据处理方法,其特征在于,所述数据变更消息用于标识删除所述源数据中的数据。
5.根据权利要求2所述的数据处理方法,其特征在于,所述根据预设的索引比例,针对所述源数据中变更的数据更新所述索引数据,包括:
根据数据的偏移量,在所述源数据中变更的数据中选择满足所述索引比例的数量的数据,进行索引构建操作,形成新的索引数据。
6.根据权利要求5所述的数据处理方法,其特征在于,还包括:
在用户增加所述索引比例之后,根据增加后的索引比例,读取当前偏移量之后的数据,进行索引构建操作,并更新所述索引数据。
7.根据权利要求5所述的数据处理方法,其特征在于,还包括:
在用户减小所述索引比例之后,根据减小后的索引比例,针对当前偏移量之前的数据,删除相应的索引数据。
8.根据权利要求1至7中任一权利要求所述的数据处理方法,其特征在于,还包括:
在用户更新所述索引比例之后,根据更新后的索引比例,重新执行生成所述数据查询方案的操作。
9.一种数据处理装置,其特征在于,包括:
指令获取模块,用于获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;
索引比例获取模块,用于获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;
方案生成模块,用于根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。
10.根据权利要求9所述的数据处理装置,其特征在于,还包括:
索引更新模块,用于在获取到数据变更消息后,根据预设的索引比例,针对所述源数据中变更的数据更新所述索引数据,其中,所述数据变更消息用于标识所述源数据中的数据变更。
11.根据权利要求10所述的数据处理装置,其特征在于,所述索引更新模块包括:
消息获取单元,用于获取所述数据变更消息;
索引更新单元,用于根据数据的偏移量,在所述源数据中变更的数据中选择满足所述索引比例的数量的数据,进行索引构建操作,形成新的索引数据。
12.根据权利要求11所述的数据处理装置,其特征在于,所述索引更新单元还用于,在用户增加所述索引比例之后,根据增加后的索引比例,读取当前偏移量之后的数据,进行索引构建操作,并更新所述索引数据。
13.根据权利要求11所述的数据处理装置,其特征在于,所述索引更新单元还用于,在用户减小所述索引比例之后,根据减小后的索引比例,针对当前偏移量之前的数据,删除相应的索引数据。
14.根据权利要求9至13中任一权利要求所述的数据处理装置,其特征在于,所述方案生成模块还用于,在用户更新所述索引比例之后,根据更新后的索引比例,重新执行生成所述数据查询方案的操作。
15.一种数据处理系统,其特征在于,包括:前置节点、计算节点和存储节点,其中,
所述前置节点用于,获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;以及,根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作;
所述计算节点用于,接收所述前置节点生成的所述数据查询方案,并执行所述数据查询方案中的计算任务;
所述存储节点用于,存储所述源数据。
16.一种电子设备,其特征在于,包括:
存储器,用于存储程序;
处理器,用于运行所述存储器中存储的所述程序,以用于:
获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;
获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;
根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。
17.一种计算机可读存储介质,在所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现:
获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;
获取与所述待查询字段相对应的索引数据的索引比例,其中,所述索引比例为所述索引数据占源数据的比例;
根据所述索引比例,生成符合所述查询条件的数据查询方案,其中,
所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。
技术总结本发明实施例提供了一种数据处理方法、装置和系统、电子设备以及计算机可读存储介质。该方法包括:获取用户的数据查询指令,其中,所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件;获取与所述待查询字段相对应的索引数据的索引比例;根据所述索引比例,生成符合所述查询条件的数据查询方案。本发明实施例通过引入索引比例来部分地为数据构建索引,从而根据索引数据占源数据的索引比例,来生成符合查询条件的数据查询方案,能够根据用户意图基于索引数据和源数据分别执行数据查询操作,从而实现部分计算加速,以满足用户对计算成本与查询性能之间平衡的需求。
技术研发人员:王烨;周祥
受保护的技术使用者:阿里巴巴集团控股有限公司
技术研发日:2019.09.12
技术公布日:2021.03.12