一种用于业务团队的数据资源管理方法及系统与流程

    专利2025-06-26  28


    本发明属于数据处理,具体涉及一种用于业务团队的数据资源管理方法及系统。


    背景技术:

    1、数据管理,即对数据资源的管理。按照国际数据管理协会的定义:数据资源管理,致力于发展处理企业数据生命周期的适当的建构、策略、实践和程序。数据管理常见的有数据分析、数据建模、数据库管理、数据仓库、数据挖掘、数据安全、数据集成、数据移动、数据质量保证、元数据管理、战略数据架构等。

    2、现阶段,对于团队用户而言,在业务开发过程中通常涉及大量的数据,每个团队都拥有自己的模型和文件等资源,实践过程中,同样的数据资源通常每个团队成员都各持一份,会造成很大的数据冗余。现有技术中缺少一种适合业务团队的数据资源管理方案,以打通团队成员在数据管理过程中的各个环节,降低团队成员之间的数据冗余。


    技术实现思路

    1、为此,本发明提供一种用于业务团队的数据资源管理方法及系统,以打通团队成员在数据管理过程中的各个环节,降低团队成员之间的数据冗余。

    2、为了实现上述目的,本发明提供如下技术方案:一种用于业务团队的数据资源管理方法,包括:

    3、元数据管理,所述元数据管理包括物理模型管理、逻辑模型管理、文件元数据管理和指标元数据管理;通过所述物理模型管理对创建的物理模型添加基本信息和字段信息,并对创建的物理模型进行血缘分析和影响分析;通过所述逻辑模型管理创建逻辑表形成逻辑模型,利用逻辑表对模型信息、字段信息和字段映射数据进行存储;通过所述文件元数据管理对文件元数据进行管理,文件元数据包括服务器、文件主题、文件目录和文件来源;通过所述指标元数据管理包括对指标元数据进行管理,指标元数据包括业务基础信息和格式信息;

    4、数据开放处理,通过所述数据开放处理进行api审批、api授权、应用授权和组件编排;通过所述api审批对发布的服务进行发布状态管理;通过所述api授权对被申请使用的服务进行api编码、api名称、应用名称、使用者、生效时间、失效时间及授权状态展示;通过所述应用授权对当前的应用授予访问指定服务的权限;通过所述组件编排进行用户接入验证、访问参数校验、访问参数转换、访问参数解码和返回转码。

    5、作为用于业务团队的数据资源管理方法优选方案,还包括控制中心设计,通过控制中心进行系统菜单管理、系统权限管理、系统资源管理、系统团队管理和流程管理;

    6、系统菜单管理过程中,菜单类型包括主菜单、左侧树形菜单、中间填充菜单和新窗口菜单;

    7、系统权限管理过程中,通过角色管理页面对角色分配访问菜单,再通过用户管理页面把具有菜单权限的角色赋给用户;

    8、系统资源管理过程中,对数据库、服务器资源进行配置维护管理;

    9、系统团队管理过程中,查看当前团队以及当前团队的所有子团队,管理团队用户,编辑团队信息,修改团队名称、上级团队、团队状态信息;

    10、流程管理过程中,进行逻辑模型、物理模型、程序的上下线管理。

    11、作为用于业务团队的数据资源管理方法优选方案,通过所述组件编排进行用户接入验证的内容包括用户的token信息和appkey是否正确,以及请求用户是否被授予访问指定api的权限;

    12、当用户接入验证通过后转入下一流程节点的执行,用户接入验证失败,返回“token”不正确或“appkey”不合法的消息提示。

    13、作为用于业务团队的数据资源管理方法优选方案,通过所述组件编排进行访问参数校验过程中,验证访问请求中携带的参数是否缺少输入参数配置中必选的参数,及参数名称是否与参数配置一致;

    14、参数校验通过后转入下一流程节点的执行,校验失败,返回“参数不正确”或“无必需的指定参数”的消息提示。

    15、作为用于业务团队的数据资源管理方法优选方案,通过所述组件编排进行访问参数转换过程中,将服务请求的指定参数通过api参数配置中指定的加密或解密算法对指定的列进行转换。

    16、作为用于业务团队的数据资源管理方法优选方案,通过所述组件编排进行访问参数解码过程中,对api服务接收到的参数信息进行解码;

    17、通过所述组件编排进行返回转码过程中,将服务请求返回的数据进行整体加密转码。

    18、作为用于业务团队的数据资源管理方法优选方案,还包括通过所述组件编排进行文件代理、hbase查询、http代理、js脚本执行、sql查询、文件上传和webservice代理。

    19、作为用于业务团队的数据资源管理方法优选方案,还包括标准化管理,所述标准化管理包括主题配置、表字段命名标准管理、表命名标准管理、维度标准管理、维度码值映射、业务标准管理和元模型标准管理;

    20、还包括质量管理,所述质量管理包括质量检查报告、逻辑/物理模型规则配置和质量检查明细;逻辑/物理模型规则配置包括规则配置说明、空值检查、引用完整性检查、值域检查、脚本检查、规范检查和波动检查;

    21、还包括订阅管理,所述订阅管理包括模型订阅管理、文件订阅管理和文件订阅审批。

    22、本发明还提供一种用于业务团队的数据资源管理系统,包括:

    23、元数据管理模块,用于进行元数据管理,所述元数据管理包括物理模型管理、逻辑模型管理、文件元数据管理和指标元数据管理;通过所述物理模型管理对创建的物理模型添加基本信息和字段信息,并对创建的物理模型进行血缘分析和影响分析;通过所述逻辑模型管理创建逻辑表形成逻辑模型,利用逻辑表对模型信息、字段信息和字段映射数据进行存储;通过所述文件元数据管理对文件元数据进行管理,文件元数据包括服务器、文件主题、文件目录和文件来源;通过所述指标元数据管理包括对指标元数据进行管理,指标元数据包括业务基础信息和格式信息;

    24、数据开放模块,用于数据开放处理,通过所述数据开放处理进行api审批、api授权、应用授权和组件编排;通过所述api审批对发布的服务进行发布状态管理;通过所述api授权对被申请使用的服务进行api编码、api名称、应用名称、使用者、生效时间、失效时间及授权状态展示;通过所述应用授权对当前的应用授予访问指定服务的权限;通过所述组件编排进行用户接入验证、访问参数校验、访问参数转换、访问参数解码和返回转码。

    25、作为用于业务团队的数据资源管理系统优选方案,还包括控制中心模块,用于控制中心设计,通过控制中心进行系统菜单管理、系统权限管理、系统资源管理、系统团队管理和流程管理;

    26、系统菜单管理过程中,菜单类型包括主菜单、左侧树形菜单、中间填充菜单和新窗口菜单;

    27、系统权限管理过程中,通过角色管理页面对角色分配访问菜单,再通过用户管理页面把具有菜单权限的角色赋给用户;

    28、系统资源管理过程中,对数据库、服务器资源进行配置维护管理;

    29、系统团队管理过程中,查看当前团队以及当前团队的所有子团队,管理团队用户,编辑团队信息,修改团队名称、上级团队、团队状态信息;

    30、流程管理过程中,进行逻辑模型、物理模型、程序的上下线管理。

    31、作为用于业务团队的数据资源管理系统优选方案,所述数据开放模块中,通过所述组件编排进行用户接入验证的内容包括用户的token信息和appkey是否正确,以及请求用户是否被授予访问指定api的权限;

    32、所述数据开放模块中,当用户接入验证通过后转入下一流程节点的执行,用户接入验证失败,返回“token”不正确或“appkey”不合法的消息提示;

    33、所述数据开放模块中,验证访问请求中携带的参数是否缺少输入参数配置中必选的参数,及参数名称是否与参数配置一致;

    34、所述数据开放模块中,参数校验通过后转入下一流程节点的执行,校验失败,返回“参数不正确”或“无必需的指定参数”的消息提示;

    35、所述数据开放模块中,将服务请求的指定参数通过api参数配置中指定的加密或解密算法对指定的列进行转换;

    36、所述数据开放模块中,对api服务接收到的参数信息进行解码;将服务请求返回的数据进行整体加密转码;

    37、所述数据开放模块还用于通过所述组件编排进行文件代理、hbase查询、http代理、js脚本执行、sql查询、文件上传和webservice代理。

    38、作为用于业务团队的数据资源管理系统优选方案,还包括标准化管理模块,用于进行标准化管理,所述标准化管理包括主题配置、表字段命名标准管理、表命名标准管理、维度标准管理、维度码值映射、业务标准管理和元模型标准管理。

    39、作为用于业务团队的数据资源管理系统优选方案,还包括质量管理模块,用于进行质量管理,所述质量管理包括质量检查报告、逻辑/物理模型规则配置和质量检查明细;逻辑/物理模型规则配置包括规则配置说明、空值检查、引用完整性检查、值域检查、脚本检查、规范检查和波动检查。

    40、作为用于业务团队的数据资源管理系统优选方案,还包括订阅管理模块,用于进行订阅管理,所述订阅管理包括模型订阅管理、文件订阅管理和文件订阅审批。

    41、本发明具有如下优点:通过元数据管理进行物理模型管理、逻辑模型管理、文件元数据管理和指标元数据管理;通过所述物理模型管理对创建的物理模型添加基本信息和字段信息,并对创建的物理模型进行血缘分析和影响分析;通过所述逻辑模型管理创建逻辑表形成逻辑模型,利用逻辑表对模型信息、字段信息和字段映射数据进行存储;通过所述文件元数据管理对文件元数据进行管理,文件元数据包括服务器、文件主题、文件目录和文件来源;通过所述指标元数据管理包括对指标元数据进行管理,指标元数据包括业务基础信息和格式信息;通过数据开放处理进行api审批、api授权、应用授权和组件编排;通过所述api审批对发布的服务进行发布状态管理;通过所述api授权对被申请使用的服务进行api编码、api名称、应用名称、使用者、生效时间、失效时间及授权状态展示;通过所述应用授权对当前的应用授予访问指定服务的权限;通过所述组件编排进行用户接入验证、访问参数校验、访问参数转换、访问参数解码和返回转码。本发明实现团队成员之间的数据高效管理,达到团队资源共享的目的,进而解决了数据冗余的问题;方便打通数据管理的各个环节,快速满足企业各类不同的数据治理场景。


    技术特征:

    1.一种用于业务团队的数据资源管理方法,其特征在于,包括:

    2.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,还包括控制中心设计,通过控制中心进行系统菜单管理、系统权限管理、系统资源管理、系统团队管理和流程管理;

    3.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,通过所述组件编排进行用户接入验证的内容包括用户的token信息和appkey是否正确,以及请求用户是否被授予访问指定api的权限;

    4.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,通过所述组件编排进行访问参数校验过程中,验证访问请求中携带的参数是否缺少输入参数配置中必选的参数,及参数名称是否与参数配置一致;

    5.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,通过所述组件编排进行访问参数转换过程中,将服务请求的指定参数通过api参数配置中指定的加密或解密算法对指定的列进行转换。

    6.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,通过所述组件编排进行访问参数解码过程中,对api服务接收到的参数信息进行解码;

    7. 根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,还包括通过所述组件编排进行文件代理、hbase查询、http代理、js 脚本执行、sql查询、文件上传和webservice代理。

    8.根据权利要求1所述的一种用于业务团队的数据资源管理方法,其特征在于,还包括标准化管理,所述标准化管理包括主题配置、表字段命名标准管理、表命名标准管理、维度标准管理、维度码值映射、业务标准管理和元模型标准管理;

    9.一种用于业务团队的数据资源管理系统,其特征在于,包括:

    10.根据权利要求9所述的一种用于业务团队的数据资源管理系统,其特征在于,还包括控制中心模块,用于控制中心设计,通过控制中心进行系统菜单管理、系统权限管理、系统资源管理、系统团队管理和流程管理;


    技术总结
    一种用于业务团队的数据资源管理方法及系统,通过元数据管理进行物理模型管理、逻辑模型管理、文件元数据管理和指标元数据管理;通过物理模型管理对创建的物理模型添加基本信息和字段信息,并对创建的物理模型进行血缘分析和影响分析;通过逻辑模型管理创建逻辑表形成逻辑模型;通过数据开放处理进行API审批、API授权、应用授权和组件编排;通过API审批对发布的服务进行发布状态管理;通过API授权对被申请使用的服务进行展示;通过应用授权对当前的应用授予访问指定服务的权限;通过组件编排进行用户接入验证、访问参数校验、访问参数转换、访问参数解码和返回转码。本发明实现团队成员之间的数据高效管理,降低数据冗余。

    技术研发人员:辛全艳,孙权,刘思琪
    受保护的技术使用者:中星智慧云企(山东)科技有限责任公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-88825.html

    最新回复(0)