本公开涉及指标归档领域,尤其涉及一种基于指标体系的自动化作业方法及系统。
背景技术:
为打造成公司权威的指标数据管理、发布和查询平台,提升企业管理精益化水平,减轻业务人员的工作量,实现对系统直采指标的自动化运算归档,提高企业整体运营效率效益,取得了较好成效,树立良好企业形象,为此建立了基于指标体系的自动化作业流程。
按照以往的系统直采指标取数的作业方式,工作流程繁琐,而且指标量大,比对需要花费相当多的时间,而且容易出现错漏,被业务部门诟病。因此,通过建立基于指标体系的自动化作业流程,规范整个指标数据获取流程,提升日常工作效率。
技术实现要素:
提供该公开内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该公开内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开实施例提供了一种基于指标体系的自动化作业方法及系统,建立基于指标体系的自动化作业流程,规范整个指标数据获取流程,提升日常工作效率。
第一方面,本公开实施例提供了基于指标体系的自动化作业方法,包括如下步骤:
s100:填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核;
s200:专责对提交的作业工单进行审核,通过则纳入非正式作业中,通过java定时任务,按设定时间和频率执行,不通过则回退至业务人员中重新修改、填写;
s300:系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程;
s400:根据指标体系的各项定义和现有数据情况,将数据处理、组装成java对象,通过java程序自动计算指标正常情况下的数据增量数值并比较该指标取数的数据量与正常数据量是否一致,若不一致则通过websocket构建的消息服务,以系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本;若一致则对数据质量进行进一步检测;
s500:若该指标存在人工填报的数据,将数据处理、组装成java对象,通过java程序预设的比对算法进行比对,比对人工数据与系统直采的数据,若其偏差在预设的范围之内,则视为取数成功,工单自动归档,该指标的作业全过程纳入到正式作业中;若偏差超出预设的范围,则视为取数失败,通过系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本。
结合第一方面的实施例,在一些实施例中,所述填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核,包括
在指标体系填写指标相关的技术信息,并填写该指标的取数脚本;
根据指标数据在其源表的更新时间和更新频率,配置执行指标脚本的定时任务,设定对应的执行时间和执行频率的作业参数;
在填写各项信息后,发起指标数据溯源作业的工单,提交至专责审核。
结合第一方面的实施例,在一些实施例中,所述指标相关的技术信息包括指标原数据表、指标所属系统。
结合第一方面的实施例,在一些实施例中,所述系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程,包括:
s310:监控指标源表数据情况,当到达执行指标脚本的时间的时候,通过java程序自动检测该指标当前数据源表数据的增量情况,若检测无数据新增记录,则通过系统消息的方式,对该指标的数据源表出现的问题进行预警,相关负责人补充源表数据;若检测正常,则检测回流表的数据情况。
s330:监控指标回流表数据情况,源表会定时抽取数据到本地回流表,系统自动检测源表同步抽取数据到本地回流表的回流过程的执行情况,若执行失败,则通过websocket构建的消息服务,以系统消息的方式,对该指标的数据抽取出现的问题进行预警,相关负责人重新抽取数据;若执行成功,则通过java程序,自动检测该指标当前本地回流表的数据增量情况,若回流表无数据新增记录,则通过系统消息的方式,对回流表数据出现的问题进行预警,若检测正常,则执行取数脚本;
s350:监控脚本执行情况,根据设定的执行时间,执行指标取数脚本,若脚本执行失败,则通过系统消息的方式,对该指标的脚本执行情况进行预警,相关负责人重新手动执行脚本;若检测正常,则完成指标取数过程。
第二方面,本公开实施例提供了一种基于指标体系的自动化作业系统,所述系统包括:工单发起模块,所述工单发起模块用于填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核;
专责审核模块,所述专责审核模块用于专责对提交的作业工单进行审核,通过则纳入非正式作业中,通过java定时任务,按设定时间和频率执行,不通过则回退至业务人员中重新修改、填写;
自动作业模块,所述自动作业模块用于系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程;
数据量监控模块,所述数据量监控模块用于根据指标体系的各项定义和现有数据情况,将数据处理、组装成java对象,通过java程序自动计算指标正常情况下的数据增量数值,并比较该指标取数的数据量与正常数据量是否一致,若不一致则通过websocket构建的消息服务,以系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本;若一致则对数据质量进行进一步检测;
质量监控模块,质量监控模块用于若该指标存在人工填报的数据,将数据处理、组装成java对象,通过java程序预设的比对算法进行比对,比对人工数据与系统直采的数据,若其偏差在预设的范围之内,则视为取数成功,工单自动归档,该指标的作业全过程纳入到正式作业中;若偏差超出预设的范围,则视为取数失败,通过系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本。
结合第二方面的实施例,在一些实施例中,所述填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核,包括
在指标体系填写指标相关的技术信息,并填写该指标的取数脚本;
根据指标数据在其源表的更新时间和更新频率,配置执行指标脚本的定时任务,设定对应的执行时间和执行频率的作业参数;
在填写各项信息后,发起指标数据溯源作业的工单,提交至专责审核。
结合第二方面的实施例,在一些实施例中,所述指标相关的技术信息包括指标原数据表、指标所属系统。
结合第二方面的实施例,在一些实施例中,所述系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程,包括:
s310:监控指标源表数据情况,当到达执行指标脚本的时间的时候,通过java程序自动检测该指标当前数据源表数据的增量情况,若检测无数据新增记录,则通过websocket构建的消息服务,以系统消息的方式,对该指标的数据源表出现的问题进行预警,相关负责人补充源表数据;若检测正常,则检测回流表的数据情况。
s330:监控指标回流表数据情况,源表会定时抽取数据到本地回流表,系统通过java程序自动检测源表同步抽取数据到本地回流表的回流过程的执行情况,若执行失败,则通过系统消息的方式,对该指标的数据抽取出现的问题进行预警,相关负责人重新抽取数据;若执行成功,则系统java程序自动检测该指标当前本地回流表的数据增量情况,若回流表无数据新增记录,则通过系统消息的方式,对回流表数据出现的问题进行预警,若检测正常,则执行取数脚本;
s350:监控脚本执行情况,根据设定的执行时间,执行指标取数脚本,若脚本执行失败,则通过系统消息的方式,对该指标的脚本执行情况进行预警,相关负责人重新手动执行脚本;若检测正常,则完成指标取数过程。
本公开实施例提供的基于指标体系的自动化作业方法,基于指标体系,填写相关指标作业信息,由专责线上审核信息填写情况,通过定时执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程,并进行指标数据量监控和指标数据质量监控,建立基于指标体系的自动化作业流程,规范整个指标数据获取流程,提升日常工作效率。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1是根据本公开的基于指标体系的自动化作业方法一个实施例的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
请参考图1,其示出了根据本公开的基于指标体系的自动化作业方法的一个实施例的流程。
如图1所示,该基于指标体系的自动化作业方法包括以下步骤:
s100:基于指标体系,填写相关指标作业信息
填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核。
在这里,步骤s100包括在指标体系填写指标相关的技术信息,并填写该指标的取数脚本。其中,指标相关的技术信息包括指标原数据表、指标所属系统。
根据指标数据在其源表的更新时间和更新频率,配置执行指标脚本的定时任务,设定对应的执行时间和执行频率的作业参数。
在填写各项信息后,发起指标数据溯源作业的工单,提交至专责审核。
s200:专责对提交的作业工单进行审核,通过则纳入非正式作业中(测试作业),通过java定时任务,按设定时间和频率执行,不通过则回退至业务人员中重新修改、填写;
s300:系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程。
在这里,步骤300包括:
s310:监控指标源表数据情况。
当到达执行指标脚本的时间的时候,通过java程序自动检测该指标当前数据源表数据的增量情况,如:月度更新的指标则检测当月是否有数据新增,日度更新的指标则检测当日是否有数据新增。若检测无数据新增记录,通过websocket构建的消息服务,以系统消息的方式,对该指标的数据源表出现的问题进行预警,相关负责人补充源表数据;若检测正常,则检测回流表的数据情况
s330:监控指标回流表数据情况。
源表会定时抽取数据到本地回流表,系统通过java程序自动检测源表同步抽取数据到本地回流表的回流过程的执行情况,若执行失败,则通过系统消息的方式,对该指标的数据抽取出现的问题进行预警,相关负责人重新抽取数据;若执行成功,则自动检测该指标当前本地回流表的数据增量情况,若回流表无数据新增记录,则通过系统消息的方式,对回流表数据出现的问题进行预警,若检测正常,则执行取数脚本。
s350:监控脚本执行情况。
根据设定的执行时间,执行指标取数脚本,若脚本执行失败,则通过系统消息的方式,对该指标的脚本执行情况进行预警,相关负责人重新手动执行脚本;若检测正常,则完成指标取数过程。
s400:指标数据量监控
根据指标体系的各项定义和现有数据情况,如指标层级(省、地市局、区局、供电所)、指标统计类型(累计值、当期值)等,计算指标正常情况下的数据增量数值。如某个指标统计层级有省、地市局,则系统中需要有省 地市局共21条数据;如统计类型有累计值、当期值,则需要21条数据乘以2,则系统拥有42条数据数据量才算正常。将数据处理、组装成java对象,通过java程序预设算法比较该指标取数的数据量与正常数据量是否一致,若不一致则通过系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本;一致则对数据质量进行进一步检测。
s500:指标数据质量监控
根据指标体系的定义:是否存在人工报送数据,对系统数据质量进行监控。
若该指标存在人工填报的数据,将数据处理、组装成java对象,通过java程序预设的比对算法进行比对,比对人工数据与系统直采的数据,若其偏差在预设的范围之内,则视为取数成功,工单自动归档,该指标的作业全过程纳入到正式作业中(定期实现指标取数自动作业);若偏差超出预设的范围,则视为取数失败,通过系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本。
本公开实施例提供的基于指标体系的自动化作业方法,基于指标体系,填写相关指标作业信息,由专责线上审核信息填写情况,通过定时执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程,并进行指标数据量监控和指标数据质量监控,建立基于指标体系的自动化作业流程,规范整个指标数据获取流程,提升日常工作效率。
作为对上述所示方法的实现,本公开提供了一种基于指标体系的自动化作业系统,该系统实施例与图1所示的方法实施例相对应,该系统具体可以应用于各种电子设备中。
本实施例的基于指标体系的自动化作业系统,包括:
工单发起模块,所述工单发起模块用于填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核;
专责审核模块,所述专责审核模块用于专责对提交的作业工单进行审核,通过则纳入非正式作业中,通过java定时任务,按设定时间和频率执行,不通过则回退至业务人员中重新修改、填写;
自动作业模块,所述自动作业模块用于系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程;
数据量监控模块,所述数据量监控模块用于根据指标体系的各项定义,通过java程序计算指标正常情况下的数据增量数值并比较该指标取数的数据量与正常数据量是否一致,若不一致则通过websocket构建的消息服务,以系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本;若一致则对数据质量进行进一步检测;
质量监控模块,质量监控模块用于若该指标存在人工填报的数据,将数据处理、组装成java对象,通过java程序预设的比对算法进行比对,比对人工数据与系统直采的数据,若其偏差在预设的范围之内,则视为取数成功,工单自动归档,该指标的作业全过程纳入到正式作业中;若偏差超出预设的范围,则视为取数失败,通过系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本。
在一些可选的实施方式中,所述填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核,包括
在指标体系填写指标相关的技术信息,并填写该指标的取数脚本;根据指标数据在其源表的更新时间和更新频率,配置执行指标脚本的定时任务,设定对应的执行时间和执行频率的作业参数;在填写各项信息后,发起指标数据溯源作业的工单,提交至专责审核。
在另一些可选的实施方式中,所述指标相关的技术信息包括指标原数据表、指标所属系统。
在一些可选的实施方式中,所述系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程,包括:
s310:监控指标源表数据情况,当到达执行指标脚本的时间的时候,通过java程序自动检测该指标当前数据源表数据的增量情况,若检测无数据新增记录,通过websocket构建的消息服务,以系统消息的方式,,对该指标的数据源表出现的问题进行预警,相关负责人补充源表数据;若检测正常,则检测回流表的数据情况。
s330:监控指标回流表数据情况,源表会通过ftp传输方式定时抽取数据到本地回流表,系统自动检测源表同步抽取数据到本地回流表的回流过程的执行情况,若执行失败,以系统消息的方式,对该指标的数据抽取出现的问题进行预警,相关负责人重新抽取数据;若执行成功,则通过java程序自动检测该指标当前本地回流表的数据增量情况,若回流表无数据新增记录,则通过系统消息的方式,对回流表数据出现的问题进行预警,若检测正常,则执行取数脚本;
s350:监控脚本执行情况,根据设定的执行时间,执行指标取数脚本,若脚本执行失败,则通过系统消息的方式,对该指标的脚本执行情况进行预警,相关负责人重新手动执行脚本;若检测正常,则完成指标取数过程。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
1.一种基于指标体系的自动化作业方法,其特征在于,所述方法包括:
s100:填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核;
s200:专责对提交的作业工单进行审核,通过则纳入非正式作业中,通过java定时任务,按设定时间和频率执行,不通过则回退至业务人员中重新修改、填写;
s300:系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过定时执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程;
s400:根据指标体系的各项定义和现有数据情况,将数据处理、组装成java对象,计算指标正常情况下的数据增量数值并比较该指标取数的数据量与正常数据量是否一致,若不一致则通过websocket构建的消息服务,以系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本;若一致则对数据质量进行进一步检测;
s500:若该指标存在人工填报的数据,将数据处理、组装成java对象,通过java程序预设的比对算法,比对人工数据与系统直采的数据,若其偏差在预设的范围之内,则视为取数成功,工单自动归档,该指标的作业全过程纳入到正式作业中;若偏差超出预设的范围,则视为取数失败,通过系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本。
2.根据权利要求1所述的方法,其特征在于,所述填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核,包括
在指标体系填写指标相关的技术信息,并填写该指标的取数脚本;
根据指标数据在其源表的更新时间和更新频率,配置执行指标脚本的java定时任务,设定对应的执行时间和执行频率的作业参数;
在填写各项信息后,发起指标数据溯源作业的工单,提交至专责审核。
3.根据权利要求2所述的方法,其特征在于,所述指标相关的技术信息包括指标原数据表、指标所属系统。
4.根据权利要求3所述的方法,其特征在于,所述系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过定时执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程,包括:
s310:监控指标源表数据情况,当到达执行指标脚本的时间的时候,通过java程序自动检测该指标当前数据源表数据的增量情况,若检测无数据新增记录,通过websocket构建的消息服务,则通过系统消息的方式,对该指标的数据源表出现的问题进行预警,相关负责人补充源表数据;若检测正常,则检测回流表的数据情况。
s330:监控指标回流表数据情况,源表会定时抽取数据到本地回流表,系统通过java程序自动检测源表同步抽取数据到本地回流表的回流过程的执行情况,若执行失败,则通过系统消息的方式,对该指标的数据抽取出现的问题进行预警,相关负责人重新抽取数据;若执行成功,将数据处理、组装成java对象,通过java程序自动检测该指标当前本地回流表的数据增量情况,若回流表无数据新增记录,则通过系统消息的方式,对回流表数据出现的问题进行预警,若检测正常,则执行取数脚本;
s350:监控脚本执行情况,根据设定的执行时间,执行指标取数脚本,若脚本执行失败,则通过系统消息的方式,对该指标的脚本执行情况进行预警,相关负责人重新手动执行脚本;若检测正常,则完成指标取数过程。
5.一种基于指标体系的自动化作业系统,其特征在于,所述系统包括:
工单发起模块,所述工单发起模块用于填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核;
专责审核模块,所述专责审核模块用于专责对提交的作业工单进行审核,通过则纳入非正式作业中,通过java定时任务,按设定时间和频率执行,不通过则回退至业务人员中重新修改、填写;
自动作业模块,所述自动作业模块用于系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程;
数据量监控模块,所述数据量监控模块用于根据指标体系的各项定义和现有数据情况,将数据处理、组装成java对象,通过java程序自动检测计算指标正常情况下的数据增量数值,并比较该指标取数的数据量与正常数据量是否一致,若不一致则通过websocket构建的消息服务,以系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本;若一致则对数据质量进行进一步检测;
质量监控模块,质量监控模块用于若该指标存在人工填报的数据,则比对人工数据与系统直采的数据。将数据处理、组装成java对象,通过java程序预设的比对算法进行比对,若其偏差在预设的范围之内,则视为取数成功,工单自动归档,该指标的作业全过程纳入到正式作业中;若偏差超出预设的范围,则视为取数失败,通过系统消息的方式,对指标数据量出现的问题进行预警,并将工单回退至业务部门,排查出错原因并重新修改取数脚本。
6.根据权利要求5所述的系统,其特征在于,所述填写指标技术信息和计算脚本,并根据指标数据配置指标作业参数,发起指标数据溯源作业的工单,提交至专责审核,包括
在指标体系填写指标相关的技术信息,并填写该指标的取数脚本;
根据指标数据在其源表的更新时间和更新频率,配置执行指标脚本的定时任务,设定对应的执行时间和执行频率的作业参数;
在填写各项信息后,发起指标数据溯源作业的工单,提交至专责审核。
7.根据权利要求6所述的系统,其特征在于,所述指标相关的技术信息包括指标原数据表、指标所属系统。
8.根据权利要求7所述的系统,其特征在于,所述系统数据从数据源到本地结果表有这样一个过程,从源表通过ftp传输方式抽取数据到本地的回流表中,通过执行oracle存储过程的脚本再将回流表的数据梳理到本地结果表中,通过自动执行数据脚本、数据传递及数据监控,实现数据从源头到结果的自动作业全过程,包括:
s310:监控指标源表数据情况,当到达执行指标脚本的时间的时候,系统通过java程序自动检测该指标当前数据源表数据的增量情况,若检测无数据新增记录,则通过websocket构建的消息服务,以系统消息的方式,对该指标的数据源表出现的问题进行预警,相关负责人补充源表数据;若检测正常,则检测回流表的数据情况。
s330:监控指标回流表数据情况,源表会通过ftp传输方式定时抽取数据到本地回流表,系统系统通过java程序自动检测源表同步抽取数据到本地回流表的回流过程的执行情况,若执行失败,则通过websocket构建的消息服务,以系统消息的方式,对该指标的数据抽取出现的问题进行预警,相关负责人重新抽取数据;若执行成功,则自动检测该指标当前本地回流表的数据增量情况,若回流表无数据新增记录,则通过系统消息的方式,对回流表数据出现的问题进行预警,若检测正常,则执行取数脚本;
s350:监控脚本执行情况,根据设定的执行时间,执行指标取数脚本,若脚本执行失败,则通过系统消息的方式,对该指标的脚本执行情况进行预警,相关负责人重新手动执行脚本;若检测正常,则完成指标取数过程。
技术总结