本发明涉及数据处理,尤其涉及一种数据质量检查方法、装置、设备及存储介质。
背景技术:
1、随着云计算、物联网和边缘计算等技术的推广使用,企业所拥有数据的规模更加庞大、分布更加分散、结构更加多样、来源更加丰富。以国有大型商业银行为例,需要维护数据采集、生产、传输、整合、分析和应用等环节所涉及的近500个可独立存储数据的系统应用、800余个系统模块,以及23万余张物理表。随着数据规模迅速增长,能否有效管控数据质量成为影响数据使用效率的重要因素。
2、现有技术中,通常仅对生产系统产生的业务数据进行规则检查。具体的,可以获取生产系统产生的业务数据,并将业务数据同步到数据湖仓。然后,根据预设质量监测规则对数据湖仓中的数据进行检查,并根据检查结果对生产系统中的数据进行纠正。
3、但是,通过现有技术,无法实现在元数据进入生产系统之前进行数据质量检查,导致数据质量检查效率较低,且浪费了数据检查资源。
技术实现思路
1、本发明提供了一种数据质量检查方法、装置、设备及存储介质,可以减小数据质量出现问题的概率,提高数据质量检查效率,提升数据质量整体管理水平。
2、第一方面,本发明实施例提供了一种数据质量检查方法,应用于数据质量管理系统,该方法包括:
3、获取技术元数据系统发送的技术元数据,并根据预设数据规则对技术元数据进行筛选,得到目标技术元数据;
4、其中,预设业务规则包括国际标准化组织技术元数据标准规则;
5、根据目标技术元数据构建数据表结构,并通过生产系统获取与数据表结构对应的业务数据;
6、获取预设业务规则,并根据预设业务规则对业务数据进行质量检查;
7、其中,预设业务规则包括数据质量监测规则。
8、可选的,在根据预设数据规则对技术元数据进行筛选之前,还包括:
9、获取预设业务标准规则,并将预设业务标准规则发送至技术元数据系统,以生成与技术元数据系统对应的前端控制页面;
10、其中,前端控制页面用于对技术元数据进行质量检查。
11、可选的,该方法还包括:
12、实时监测数据表结构,并判断数据表结构中是否存在发生变化的字段;
13、若是,则获取变化字段的数据血缘关系,并根据数据血缘关系确定与变化字段相关的数据表,对数据表中的变化字段进行修正。
14、可选的,在通过生产系统获取与数据表结构对应的业务数据之后,还包括:
15、将业务数据发送至大数据系统,并通过大数据系统将业务数据发送至数据质量管理系统。
16、可选的,预设业务数据包括源表明细数据和接口表明细数据;根据预设业务规则对业务数据进行质量检查包括:
17、根据预设业务规则,对源表明细数据和接口表明细数据进行质量检查。
18、可选的,业务数据还包括宽表明细数据,该方法,还包括:
19、如果对宽表明细数据进行质量检查的结果为数据质量不合格,则根据预设数据映射规则,在源表明细数据中确定与宽表明细数据对应的目标源表明细数据;
20、通过修正目标源表明细数据,实现宽表明细数据的修正。
21、第二方面,本发明实施例还提供了一种数据质量检查装置,包括:
22、事前质量检查模块,用于获取技术元数据系统发送的技术元数据,并根据预设数据规则对技术元数据进行筛选,得到目标技术元数据;其中,预设业务规则包括国际标准化组织技术元数据标准规则;
23、业务数据获取模块,用于根据目标技术元数据构建数据表结构,并通过生产系统获取与数据表结构对应的业务数据;
24、事后质量检查模块,用于获取预设业务规则,并根据预设业务规则对业务数据进行质量检查;其中,预设业务规则包括外部监管规则和数据质量监测规则。
25、可选的,该装置还包括:
26、前端页面生成模块,用于获取预设业务标准规则,并将预设业务标准规则发送至技术元数据系统,以生成与技术元数据系统对应的前端控制页面;其中,前端控制页面用于对技术元数据进行质量检查。
27、第三方面,本发明实施例还提供了一种电子设备,该电子设备包括:
28、至少一个处理器;以及
29、与至少一个处理器通信连接的存储器;其中,
30、存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例提供的数据质量检查方法。
31、第四方面,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明任一实施例提供的数据质量检查方法。
32、本发明实施例提供的技术方案,通过获取技术元数据系统发送的技术元数据,并根据预设数据规则对技术元数据进行筛选,得到目标技术元数据;其中,预设业务规则包括国际标准化组织技术元数据标准规则;根据目标技术元数据构建数据表结构,并通过生产系统获取与数据表结构对应的业务数据;获取预设业务规则,并根据预设业务规则对业务数据进行质量检查;其中,预设业务规则包括外部监管规则和数据质量监测规则的技术手段,可以减小数据质量出现问题的概率,提高数据质量检查效率,提升数据质量整体管理水平。
33、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种数据质量检查方法,其特征在于,应用于数据质量管理系统,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在根据预设数据规则对所述技术元数据进行筛选之前,还包括:
3.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
4.根据权利要求1所述的方法,其特征在于,在通过生产系统获取与所述数据表结构对应的业务数据之后,还包括:
5.根据权利要求4所述的方法,其特征在于,所述业务数据包括源表明细数据和接口表明细数据;
6.根据权利要求5所述的方法,其特征在于,所述业务数据还包括宽表明细数据,所述方法,还包括:
7.一种数据质量检查装置,其特征在于,应用于数据质量管理系统,所述装置包括:
8.根据权利要求7所述的装置,其特征在于,所述装置,还包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的数据质量检查方法。
