本发明属于数据处理,具体涉及一种用于业务团队的数据资源管理方法及系统。
背景技术:
1、数据管理,即对数据资源的管理。按照国际数据管理协会的定义:数据资源管理,致力于发展处理企业数据生命周期的适当的建构、策略、实践和程序。数据管理常见的有数据分析、数据建模、数据库管理、数据仓库、数据挖掘、数据安全、数据集成、数据移动、数据质量保证、元数据管理、战略数据架构等。
2、现阶段,对于团队用户而言,在业务开发过程中通常涉及大量的数据,每个团队都拥有自己的模型和文件等资源,实践过程中,同样的数据资源通常每个团队成员都各持一份,会造成很大的数据冗余。现有技术中缺少一种适合业务团队的数据资源管理方案,以打通团队成员在数据管理过程中的各个环节,降低团队成员之间的数据冗余。
技术实现思路
1、为此,本发明提供一种用于业务团队的数据资源管理方法及系统,以打通团队成员在数据管理过程中的各个环节,降低团队成员之间的数据冗余。
2、为了实现上述目的,本发明提供如下技术方案:一种用于业务团队的数据资源管理方法,包括:
3、元数据管理,所述元数据管理包括物理模型管理、逻辑模型管理、文件元数据管理和指标元数据管理;通过所述物理模型管理对创建的物理模型添加基本信息和字段信息,并对创建的物理模型进行血缘分析和影响分析;通过所述逻辑模型管理创建逻辑表形成逻辑模型,利用逻辑表对模型信息、字段信息和字段映射数据进行存储;通过所述文件元数据管理对文件元数据进行管理,文件元数据包括服务器、文件主题、文件目录和文件来源;通过所述指标元数据管理包括对指标元数据进行管理,指标元数据包括业务基础信息和格式信息;
4、数据开放处理,通过所述数据开放处理进行api审批、api授权、应用授权和组件编排;通过所述api审批对发布的服务进行发布状态管理;通过所述api授权对被申请使用的服务进行api编码、api名称、应用名称、使用者、生效时间、失效时间及授权状态展示;通过所述应用授权对当前的应用授予访问指定服务的权限;通过所述组件编排进行用户接入验证、访问参数校验、访问参数转换、访问参数解码和返回转码。
5、作为用于业务团队的数据资源管理方法优选方案,还包括控制中心设计,通过控制中心进行系统菜单管理、系统权限管理、系统资源管理、系统团队管理和流程管理;
6、系统菜单管理过程中,菜单类型包括主菜单、左侧树形菜单、中间填充菜单和新窗口菜单;
7、系统权限管理过程中,通过角色管理页面对角色分配访问菜单,再通过用户管理页面把具有菜单权限的角色赋给用户;
8、系统资源管理过程中,对数据库、服务器资源进行配置维护管理;
9、系统团队管理过程中,查看当前团队以及当前团队的所有子团队,管理团队用户,编辑团队信息,修改团队名称、上级团队、团队状态信息;
10、流程管理过程中,进行逻辑模型、物理模型、程序的上下线管理。
11、作为用于业务团队的数据资源管理方法优选方案,通过所述组件编排进行用户接入验证的内容包括用户的token信息和appkey是否正确,以及请求用户是否被授予访问指定api的权限;
12、当用户接入验证通过后转入下一流程节点的执行,用户接入验证失败,返回“token”不正确或“appkey”不合法的消息提示。
13、作为用于业务团队的数据资源管理方法优选方案,通过所述组件编排进行访问参数校验过程中,验证访问请求中携带的参数是否缺少输入参数配置中必选的参数,及参数名称是否与参数配置一致;
14、参数校验通过后转入下一流程节点的执行,校验失败,返回“参数不正确”或“无必需的指定参数”的消息提示。
15、作为用于业务团队的数据资源管理方法优选方案,通过所述组件编排进行访问参数转换过程中,将服务请求的指定参数通过api参数配置中指定的加密或解密算法对指定的列进行转换。
16、作为用于业务团队的数据资源管理方法优选方案,通过所述组件编排进行访问参数解码过程中,对api服务接收到的参数信息进行解码;
17、通过所述组件编排进行返回转码过程中,将服务请求返回的数据进行整体加密转码。
18、作为用于业务团队的数据资源管理方法优选方案,还包括通过所述组件编排进行文件代理、hbase查询、http代理、js脚本执行、sql查询、文件上传和webservice代理。
19、作为用于业务团队的数据资源管理方法优选方案,还包括标准化管理,所述标准化管理包括主题配置、表字段命名标准管理、表命名标准管理、维度标准管理、维度码值映射、业务标准管理和元模型标准管理;
20、还包括质量管理,所述质量管理包括质量检查报告、逻辑/物理模型规则配置和质量检查明细;逻辑/物理模型规则配置包括规则配置说明、空值检查、引用完整性检查、值域检查、脚本检查、规范检查和波动检查;
21、还包括订阅管理,所述订阅管理包括模型订阅管理、文件订阅管理和文件订阅审批。
22、本发明还提供一种用于业务团队的数据资源管理系统,包括:
23、元数据管理模块,用于进行元数据管理,所述元数据管理包括物理模型管理、逻辑模型管理、文件元数据管理和指标元数据管理;通过所述物理模型管理对创建的物理模型添加基本信息和字段信息,并对创建的物理模型进行血缘分析和影响分析;通过所述逻辑模型管理创建逻辑表形成逻辑模型,利用逻辑表对模型信息、字段信息和字段映射数据进行存储;通过所述文件元数据管理对文件元数据进行管理,文件元数据包括服务器、文件主题、文件目录和文件来源;通过所述指标元数据管理包括对指标元数据进行管理,指标元数据包括业务基础信息和格式信息;
24、数据开放模块,用于数据开放处理,通过所述数据开放处理进行api审批、api授权、应用授权和组件编排;通过所述api审批对发布的服务进行发布状态管理;通过所述api授权对被申请使用的服务进行api编码、api名称、应用名称、使用者、生效时间、失效时间及授权状态展示;通过所述应用授权对当前的应用授予访问指定服务的权限;通过所述组件编排进行用户接入验证、访问参数校验、访问参数转换、访问参数解码和返回转码。
25、作为用于业务团队的数据资源管理系统优选方案,还包括控制中心模块,用于控制中心设计,通过控制中心进行系统菜单管理、系统权限管理、系统资源管理、系统团队管理和流程管理;
26、系统菜单管理过程中,菜单类型包括主菜单、左侧树形菜单、中间填充菜单和新窗口菜单;
27、系统权限管理过程中,通过角色管理页面对角色分配访问菜单,再通过用户管理页面把具有菜单权限的角色赋给用户;
28、系统资源管理过程中,对数据库、服务器资源进行配置维护管理;
29、系统团队管理过程中,查看当前团队以及当前团队的所有子团队,管理团队用户,编辑团队信息,修改团队名称、上级团队、团队状态信息;
30、流程管理过程中,进行逻辑模型、物理模型、程序的上下线管理。
31、作为用于业务团队的数据资源管理系统优选方案,所述数据开放模块中,通过所述组件编排进行用户接入验证的内容包括用户的token信息和appkey是否正确,以及请求用户是否被授予访问指定api的权限;
32、所述数据开放模块中,当用户接入验证通过后转入下一流程节点的执行,用户接入验证失败,返回“token”不正确或“appkey”不合法的消息提示;
33、所述数据开放模块中,验证访问请求中携带的参数是否缺少输入参数配置中必选的参数,及参数名称是否与参数配置一致;
34、所述数据开放模块中,参数校验通过后转入下一流程节点的执行,校验失败,返回“参数不正确”或“无必需的指定参数”的消息提示;
35、所述数据开放模块中,将服务请求的指定参数通过api参数配置中指定的加密或解密算法对指定的列进行转换;
36、所述数据开放模块中,对api服务接收到的参数信息进行解码;将服务请求返回的数据进行整体加密转码;
37、所述数据开放模块还用于通过所述组件编排进行文件代理、hbase查询、http代理、js脚本执行、sql查询、文件上传和webservice代理。
38、作为用于业务团队的数据资源管理系统优选方案,还包括标准化管理模块,用于进行标准化管理,所述标准化管理包括主题配置、表字段命名标准管理、表命名标准管理、维度标准管理、维度码值映射、业务标准管理和元模型标准管理。
39、作为用于业务团队的数据资源管理系统优选方案,还包括质量管理模块,用于进行质量管理,所述质量管理包括质量检查报告、逻辑/物理模型规则配置和质量检查明细;逻辑/物理模型规则配置包括规则配置说明、空值检查、引用完整性检查、值域检查、脚本检查、规范检查和波动检查。
40、作为用于业务团队的数据资源管理系统优选方案,还包括订阅管理模块,用于进行订阅管理,所述订阅管理包括模型订阅管理、文件订阅管理和文件订阅审批。
41、本发明具有如下优点:通过元数据管理进行物理模型管理、逻辑模型管理、文件元数据管理和指标元数据管理;通过所述物理模型管理对创建的物理模型添加基本信息和字段信息,并对创建的物理模型进行血缘分析和影响分析;通过所述逻辑模型管理创建逻辑表形成逻辑模型,利用逻辑表对模型信息、字段信息和字段映射数据进行存储;通过所述文件元数据管理对文件元数据进行管理,文件元数据包括服务器、文件主题、文件目录和文件来源;通过所述指标元数据管理包括对指标元数据进行管理,指标元数据包括业务基础信息和格式信息;通过数据开放处理进行api审批、api授权、应用授权和组件编排;通过所述api审批对发布的服务进行发布状态管理;通过所述api授权对被申请使用的服务进行api编码、api名称、应用名称、使用者、生效时间、失效时间及授权状态展示;通过所述应用授权对当前的应用授予访问指定服务的权限;通过所述组件编排进行用户接入验证、访问参数校验、访问参数转换、访问参数解码和返回转码。本发明实现团队成员之间的数据高效管理,达到团队资源共享的目的,进而解决了数据冗余的问题;方便打通数据管理的各个环节,快速满足企业各类不同的数据治理场景。
1.一种用于业务团队的数据资源管理方法,其特征在于,包括:
2.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,还包括控制中心设计,通过控制中心进行系统菜单管理、系统权限管理、系统资源管理、系统团队管理和流程管理;
3.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,通过所述组件编排进行用户接入验证的内容包括用户的token信息和appkey是否正确,以及请求用户是否被授予访问指定api的权限;
4.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,通过所述组件编排进行访问参数校验过程中,验证访问请求中携带的参数是否缺少输入参数配置中必选的参数,及参数名称是否与参数配置一致;
5.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,通过所述组件编排进行访问参数转换过程中,将服务请求的指定参数通过api参数配置中指定的加密或解密算法对指定的列进行转换。
6.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,通过所述组件编排进行访问参数解码过程中,对api服务接收到的参数信息进行解码;
7. 根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,还包括通过所述组件编排进行文件代理、hbase查询、http代理、js 脚本执行、sql查询、文件上传和webservice代理。
8.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,还包括标准化管理,所述标准化管理包括主题配置、表字段命名标准管理、表命名标准管理、维度标准管理、维度码值映射、业务标准管理和元模型标准管理;
9.一种用于业务团队的数据资源管理系统,其特征在于,包括:
10.根据权利要求9所述的一种用于业务团队的数据资源管理系统,其特征在于,还包括控制中心模块,用于控制中心设计,通过控制中心进行系统菜单管理、系统权限管理、系统资源管理、系统团队管理和流程管理;