本技术涉及数据库,具体涉及一种数据管理系统、方法、计算设备及计算机存储介质。
背景技术:
1、目前的olap(online analytical processing,联机分析技术)主要有基于hadoop平台的数据仓库技术,原始数据灌入到数据仓库的源数据存储层,经过etl任务输出到被业务方使用的数据应用层,hadoop平台所依赖的存储介质hbase有大容量的存储能力。随着新技术的迭代,应用于后台分析的clickhouse横空出世,从hive表输出数据到clickhouse后,再从clickhouse获取数据用于业务,响应速度可以提升到秒级。
2、但是,发明人在实现本技术的过程中发现:从hbase获取数据的速度缓慢,可能需要几分钟甚至几小时,具有明显的取数性能短板,不能满足业务对响应速度的需求;其次,从数据出仓的角度考虑,使用clickhouse也不能满足业务的毫秒级别的查询;使用mysql和tidb这类传统数据库,一旦数据量达到tb级别的量级后,查询和插入的性能会有明显的降低和折损;另外,使用内存型数据库redis性能极好,但是造价过高,tb级别存储量的成本会非常高,并且查询速度也会随数据规模变大而变慢。综上所述,现有的数据分析技术不能同时满足在存储数据量级、取数响应速度以及成本方面的要求。
技术实现思路
1、本技术实施例的目的是提供一种数据管理系统、方法、计算设备及计算机存储介质,以解决上述现有的数据分析技术不能同时满足在存储数据量级、取数响应速度以及成本方面的要求的问题。
2、根据本技术的一个方面,提供了一种数据管理系统,包括:
3、灌数模块,用于接收数据仓库的离线特征数据和/或准实时特征数据,按照各自对应的时间粒度分别对离线特征数据和准实时特征数据进行分片处理,将分片得到的各个数据分片存入数据库中相应的时间存储单元中;以及接收线上业务的实时特征数据,将实时特征数据存入数据库中相应的时间存储单元中;
4、取数模块,用于接收业务方的取数请求,取数请求包含取数时间范围和取数标签;根据取数请求从数据库中获取目标特征数据,将目标特征数据返回至业务方;
5、管理模块,用于响应于管理指令对数据库存储的特征数据进行管理。
6、可选地,取数标签包含:特征取数标签;取数模块进一步用于:
7、根据特征取数标签确定数据整合规则,从数据库中提取取数时间范围内的与特征取数标签相匹配的特征数据,按照数据整合规则对所提取的特征数据进行整合处理,得到目标特征数据。
8、可选地,管理模块进一步用于:
9、响应于质量监控指令,统计各个预设周期内存入数据库的特征数据的数量,若根据统计结果判定出现数据异常波动,触发告警信息;和/或,对任一预设周期内存入数据库的特征数据进行抽检处理,若抽检结果表示抽取的特征数据与相应的数据源所产生的特征数据之间的差异信息满足告警条件,触发告警信息。
10、可选地,管理模块进一步用于:响应于数据监控指令,以时间轴的形式呈现实时特征数据的产出量和/或使用量。
11、可选地,取数模块进一步包括:取数网关,用于接收业务方的取数请求,并将取数请求转发至数据源代理层,接收数据源代理层根据取数请求从数据库中提取并反馈的目标特征数据。
12、可选地,取数模块进一步包括:对外网关,用于接收域外业务方的取数请求,对域外业务方进行鉴权处理,若鉴权通过,将域外业务方的取数请求转发至取数网关;接收取数网关反馈的目标特征数据,将目标特征数据返回至域外业务方。
13、可选地,取数网关进一步用于:
14、将取数请求转发至api代理层,以供api代理层调用微服务按照数据整合规则对所提取的特征数据进行整合处理。
15、可选地,取数标签还包括排行取数标签和/或接口取数标签,则取数模块进一步用于:
16、根据排行取数标签从数据库中读取私域用户的离线排行数据;和/或,根据接口取数标签从数据库中读取线上业务的实时接口数据。
17、可选地,管理模块进一步用于:响应于特征管理指令,对数据库中特征数据的属性信息进行管理。
18、可选地,特征数据的属性信息包括以下中的至少一项:特征标识、特征口径、特征属性、统计方式、过期时间、存储长度、数据来源、数据流转方式、数据口径。
19、可选地,系统还包括:流程管理模块,用于展示数据申请流程信息,以供业务需求方按照数据申请流程而提交数据需求。。
20、根据本技术的另一方面,提供了一种数据管理方法,包括:
21、接收数据仓库的离线特征数据和/或准实时特征数据,按照各自对应的时间粒度分别对离线特征数据和准实时特征数据进行分片处理,将分片得到的各个数据分片存入数据库中相应的时间存储单元中;
22、接收线上业务的实时特征数据,将实时特征数据存入数据库中相应的时间存储单元中;
23、接收业务方的取数请求,取数请求包含取数时间范围和取数标签;根据取数请求从数据库中获取目标特征数据,将目标特征数据返回至业务方;
24、响应于管理指令对数据库存储的特征数据进行管理。
25、在一种可选的方式中,根据取数请求从数据库中获取目标特征数据进一步包括:
26、根据特征取数标签确定数据整合规则,从数据库中提取取数时间范围内的与特征取数标签相匹配的特征数据,按照数据整合规则对所提取的特征数据进行整合处理,得到目标特征数据。
27、在一种可选的方式中,响应于管理指令对数据库存储的特征数据进行管理进一步包括:
28、响应于质量监控指令,统计各个预设周期内存入数据库的特征数据的数量,若根据统计结果判定出现数据异常波动,触发告警信息;和/或,对任一预设周期内存入数据库的特征数据进行抽检处理,若抽检结果表示抽取的特征数据与相应的数据源所产生的特征数据之间的差异信息满足告警条件,触发告警信息。
29、在一种可选的方式中,响应于管理指令对数据库存储的特征数据进行管理进一步包括:
30、响应于数据监控指令,以时间轴的形式呈现实时特征数据的产出量和/或使用量。
31、在一种可选的方式中,接收业务方的取数请求,根据取数请求从数据库中获取目标特征数据,将目标特征数据返回至业务方进一步包括:
32、取数网关接收业务方的取数请求,并将取数请求转发至数据源代理层,接收数据源代理层根据所述取数请求从所述数据库中提取并反馈的目标特征数据。
33、在一种可选的方式中,根据取数请求从数据库中获取目标特征数据进一步包括:
34、对外网关接收域外业务方的取数请求,对域外业务方进行鉴权处理,若鉴权通过,将域外业务方的取数请求转发至取数网关;接收取数网关反馈的目标特征数据,将目标特征数据返回至域外业务方。
35、在一种可选的方式中,按照数据整合规则对所提取的特征数据进行整合处理进一步包括:
36、将取数请求转发至api代理层,以供api代理层调用微服务按照数据整合规则对所提取的特征数据进行整合处理。
37、在一种可选的方式中,取数标签还包括排行取数标签和/或接口取数标签,根据取数请求从数据库中获取目标特征数据进一步包括:
38、根据排行取数标签从数据库中读取私域用户的离线排行数据;和/或,根据接口取数标签从数据库中读取线上业务的实时接口数据。
39、在一种可选的方式中,响应于管理指令对所述数据库存储的特征数据进行管理进一步包括:响应于特征管理指令,对数据库中特征数据的属性信息进行管理。
40、在一种可选的方式中,特征数据的属性信息包括以下中的至少一项:特征标识、特征口径、特征属性、统计方式、过期时间、存储长度、数据来源、数据流转方式、数据口径。
41、在一种可选的方式中,响应于管理指令对数据库存储的特征数据进行管理进一步包括:展示数据申请流程信息,以供业务需求方按照数据申请流程而提交数据需求。
42、根据本技术的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
43、所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述数据管理方法对应的操作。
44、根据本技术的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述数据管理方法对应的操作。
45、根据本技术的数据管理系统、方法、计算设备及计算机存储介质,系统包括:灌数模块,用于接收数据仓库的离线特征数据和/或准实时特征数据,按照各自的时间粒度分别对离线特征数据和准实时特征数据进行分片,将各个数据分片存入数据库的时间存储单元中;接收线上业务的实时特征数据,将实时特征数据存入数据库的时间存储单元中;取数模块,用于接收业务方的取数请求,取数请求包含取数时间范围和取数标签;根据取数请求从数据库中获取目标特征数据,将目标特征数据返回至业务方;管理模块,用于响应于管理指令对数据库存储的特征数据进行管理。通过上述方式,能够使用较低成本进行数据存储的同时,还能以较快的速度获取相应的数据,数据管理系统能够同时满足数据存储量级大、取数响应速度快以及低成本的要求。
46、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
1.一种数据管理系统,包括:
2.根据权利要求1所述的系统,其中,所述取数标签包含:特征取数标签;所述取数模块进一步用于:
3.根据权利要求1或2所述的系统,其中,所述管理模块进一步用于:
4.根据权利要求1-3中任一项所述的系统,其中,所述管理模块进一步用于:响应于数据监控指令,以时间轴的形式呈现实时特征数据的产出量和/或使用量。
5.根据权利要求1-4中任一项所述的系统,其中,所述取数模块进一步包括:取数网关,用于接收业务方的取数请求,并将取数请求转发至数据源代理层,接收所述数据源代理层根据所述取数请求从所述数据库中提取并反馈的目标特征数据。
6.根据权利要求5所述的系统,其中,所述取数模块进一步包括:对外网关,用于接收域外业务方的取数请求,对所述域外业务方进行鉴权处理,若鉴权通过,将所述域外业务方的取数请求转发至取数网关;接收所述取数网关反馈的目标特征数据,将所述目标特征数据返回至所述域外业务方。
7.根据权利要求5所述的系统,其中,所述取数网关进一步用于:
8.根据权利要求1-7中任一项所述的系统,其中,所述取数标签还包括排行取数标签和/或接口取数标签,则所述取数模块进一步用于:
9.根据权利要求1-8中任一项所述的系统,其中,所述管理模块进一步用于:响应于特征管理指令,对所述数据库中特征数据的属性信息进行管理。
10.根据权利要求9所述的系统,其中,所述特征数据的属性信息包括以下中的至少一项:特征标识、特征口径、特征属性、统计方式、过期时间、存储长度、数据来源、数据流转方式、数据口径。
11.根据权利要求1-10中任一项所述的系统,其中,所述系统还包括:流程管理模块,用于展示数据申请流程信息,以供业务需求方按照所述数据申请流程而提交数据需求。
12.一种数据管理方法,包括:
13.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
14.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求12所述的数据管理方法对应的操作。
