本发明涉及数据服务技术领域,尤其涉及一种基于微服务的数据中台的设计方法及系统。
背景技术:
目前,数据中台大都是采用集中式数据管理的设计方式,并由数据中台实现所有通用的数据服务。然而,数据中台一旦需要新增一个特殊业务的数据服务,就难以高效实现,而且也不能自由、及时的接入第三方服务生产者所提供的数据服务。
技术实现要素:
本发明实施例所要解决的技术问题在于,提供一种基于微服务的数据中台的设计方法及系统,能克服现有数据中台新增数据服务无法实现以及第三方服务生产者提供的数据服务无法接入的问题。
为了解决上述技术问题,本发明实施例提供了一种基于微服务的数据中台的设计方法,所述方法包括以下步骤:
s1、获取待注册数据服务的当前实施方;其中,所述当前实施方为数据中台或第三方服务生产者;
s2、确定当前实施方对应待注册的数据服务,且在预设的模块库中,选择服务用户注册模块和服务注册模块以及除二者之外的相应模块,组合得到当前实施方所注册的数据服务并进一步新增至数据中台中。
其中,所述预设的模块库包括服务用户注册模块、服务注册模块、服务申请模块、服务调用模块、服务查询模块、服务用户管理模块、服务监控模块和工作流模块。
其中,所述步骤s2具体包括:
在当前实施方对应待注册的数据服务为申请、调用、查询、监控及用户管理之中至少一种时,则在所述预设的模块库中,选择所述服务用户注册模块和所述服务注册模块,选择所述工作流模块,以及进一步选择所述服务申请模块、所述服务调用模块、所述服务查询模块、所述服务监控模块及所述服务用户管理模块之中相应的一个或多个,组合得到当前实施方所注册的数据服务并进一步新增至所述数据中台中。
其中,若当前实施方为第三方服务生产者,则所述服务用户注册模块和所述服务用户管理模块所服务的对象均包括服务消费者和第三方服务生产者。
其中,若当前实施方为数据中台,则所述服务用户注册模块和所述服务用户管理模块所服务的对象仅为服务消费者。
其中,所述服务用户注册模块具备统一的标准信息字段,包括外部系统名称、外部系统英文名称、外部系统英文名称简称、外部系统ip、外部系统端口、服务口令更新rest服务地址、服务口令更新安全码、申请人、申请原因、申请人手机号码及邮箱。
其中,所述服务注册模块具备统一的标准信息字段,包括服务名称、服务类型、服务协议、服务url、服务安全等级、申请人手机号码、邮箱、业务场景说明、服务数据来源、入参、返回值、请求报文示例、响应报文示例、外部系统名称、外部系统英文名称和外部系统英文名称简称。
其中,所述服务类型包括接口服务、文件服务和页面服务;所述服务协议包括rest协议、webservice协议、txt协议、zip协议和页面协议;其中,
所述接口服务包括rest协议和webservice协议;
所述文件服务包括txt协议和zip协议;
所述页面服务包括页面协议。
其中,所述服务监控模块具备统一的标准信息字段,包括数据服务用户id、外部系统服务器ip、外部系统服务器端口、数据服务id、数据服务名称、数据服务口令、服务调用状态、服务调用开始时间、服务调用结束时间和服务调用日志。
本发明实施例还提供了一种基于微服务的数据中台的设计系统,包括:
实施方获取单元,用于获取待注册数据服务的当前实施方;其中,所述当前实施方为数据中台或第三方服务生产者;
数据服务注册单元,用于确定当前实施方对应待注册的数据服务,且在预设的模块库中,选择服务用户注册模块和服务注册模块以及除二者之外的相应模块,组合得到当前实施方所注册的数据服务并进一步新增至数据中台中。
实施本发明实施例,具有如下有益效果:
本发明对待注册数据服务的数据中台或第三方服务生产者进行识别,并将模块化设计的服务用户注册模块、服务注册模块及二者之外的其它模块组合得到相应的数据服务,从而实现数据中台或第三方服务生产者注册的数据服务能快速新增至数据中台中,克服了现有数据中台新增数据服务无法实现以及第三方服务生产者提供的数据服务无法接入的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的一种基于微服务的数据中台的设计方法的流程图;
图2为本发明实施例提供的一种基于微服务的数据中台的设计方法中预设的模块库内所含各功能模块的连接框图;
图3为本发明实施例提供的一种基于微服务的数据中台的设计系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
如图1所示,为本发明实施例中,发明人提出的一种基于微服务的数据中台的设计方法,所述方法包括以下步骤:
步骤s1、获取待注册数据服务的当前实施方;其中,所述当前实施方为数据中台或第三方服务生产者;
步骤s2、确定当前实施方对应待注册的数据服务,且在预设的模块库中,选择服务用户注册模块和服务注册模块以及除二者之外的相应模块,组合得到当前实施方所注册的数据服务并进一步新增至数据中台中。
具体过程为,在步骤s1,需考虑是数据中台自动注册中台本身提供的数据服务快速新增,还是数据中台之外的第三方数据服务自由、及时接入。因此,需确定待注册数据服务的当前实施方为数据中台或第三方服务生产者。
在步骤s2中,首先,基于微服务形式,对数据服务进行模块化管理。
预先定义由多个模块化设计的功能模块所组成的模块库,该模块库包括但不限于服务用户注册模块、服务注册模块、服务申请模块、服务调用模块、服务查询模块、服务用户管理模块、服务监控模块和工作流模块。
如图2所示,上述各功能模块均采用标准化模块设计,并进行相应的定义,具体如下:
(1)服务用户注册模块具备统一的标准信息字段,包括外部系统名称、外部系统英文名称、外部系统英文名称简称、外部系统ip、外部系统端口、服务口令更新rest服务地址(用于服务口令同步)、服务口令更新安全码(用于服务口令同步)、申请人、申请原因、申请人手机号码及邮箱。应当说明的是,通过工作流模块进行申请审批,且待审批通过后,才能生成服务用户账号进行注册、查询、申请、调用等相关操作。
其中,当前实施方为第三方服务生产者时,服务用户注册模块所服务的对象包括服务消费者和第三方服务生产者;当前实施方为数据中台时,服务用户注册模块所服务的对象仅为服务消费者。
(2)服务注册模块具备统一的标准信息字段,包括服务名称、服务类型、服务协议、服务url(http地址或者sftpip)、服务安全等级服务安全等级(1一级、2二级、3三级)、申请人手机号码、邮箱、业务场景说明、服务数据来源、入参(服务调用)、返回值(服务调用)、请求报文示例(服务调用报文示例)、响应报文示例(服务调用报文示例)、外部系统名称、外部系统英文名称和外部系统英文名称简称。应当说明的是,拥有服务用户账号的服务生产者,才可以进行中台服务及第三方服务注册。
其中,服务类型包括接口服务、文件服务和页面服务;服务协议包括rest协议、webservice协议、txt协议、zip协议和页面协议。接口服务包括rest协议和webservice协议;文件服务包括txt协议和zip协议;页面服务包括页面协议。可以理解的是,rest协议表示数据提供方式为rest接口;webservice协议表示数据提供方式为webservice接口;txt协议表示数据提供方式为文本文件;zip协议表示数据提供方式为压缩文件;页面协议表示数据提供方式为页面。
其中,当前实施方为第三方服务生产者时,服务注册模块所服务的对象为第三方服务生产者;当前实施方为数据中台时,服务注册模块所服务的对象仅为数据中台自身。
(3)服务申请模块通过工作流模块进行申请审批,审批通过后,系统自动生成与本次服务申请一一对应的服务口令,服务口令可以自动或者手动同步给服务消费者。服务口令默认的有效期是30天,过期后,还可以自动或者手动刷新服务口令,以便续期继续访问数据服务。
应当说明的是,所有的数据服务都可以在服务查询页面进行管理,可以手工进行启用与停用操作,只有启用状态的服务,才能进行服务申请操作。同时,该服务申请模块所服务的对象为拥有服务用户账号的服务消费者,对于所有启用的数据服务,可以查询并选择业务需要的数据服务,提交服务申请。
(4)服务调用模块对于申请成功的数据服务,可以按照数据服务的业务场景说明,立即进行服务调用,同时需提供对应的服务口令。在调用的过程中,数据中台会自动校验调用的数据服务与服务口令是否匹配,验证通过后,才能进行实质的服务调用,并返回响应结果。服务调用具体情况在日志表进行记录。
应当说明的是,该服务调用模块所服务的对象为拥有服务用户账号的服务消费者。
(5)服务查询模块对于已注册服务进行查询,方便选择所需服务。
(6)服务用户管理模块对于数据服务的服务生产者与服务消费者进行账号、权限等管理。其中,若当前实施方为第三方服务生产者,则该服务用户管理模块所服务的对象包括服务消费者和第三方服务生产者;若当前实施方为数据中台,则该服务用户管理模块所服务的对象仅为服务消费者。
(7)服务监控模块对于已调用服务进行监控,服务调用成功与失败的相关信息都会记录。该服务监控模块具备统一的标准信息字段,包括数据服务用户id、外部系统服务器ip、外部系统服务器端口、数据服务id、数据服务名称、数据服务口令、服务调用状态(1成功、0失败)、服务调用开始时间、服务调用结束时间和服务调用日志。
(8)工作流模块对于服务用户注册模块、服务用户管理模块、服务申请模块提供工作流支持。
综上,相比以前松散的、凌乱的、毫无头绪的数据api访问方式,采用生产者和消费者模式对数据服务用户进行分类与管理,更加集中、便捷,后续数据服务有更新,根据服务用户注册的相关信息,也能自动、及时通知有关的服务用户。
其次,根据不同业务使用场景、提供不同的服务类型的数据服务,可以有效的提高关键业务数据的使用效率。因此,可以根据当前实施方对应待注册的数据服务,在上述模块库中进行功能模块组合得到相应的数据服务,具体为:
在当前实施方对应待注册的数据服务为申请、调用、查询、监控及用户管理之中至少一种时,则在上述预设的模块库中,选择服务用户注册模块和服务注册模块,选择工作流模块,以及进一步选择服务申请模块、服务调用模块、服务查询模块、服务监控模块及所述服务用户管理模块之中相应的一个或多个,组合得到当前实施方所注册的数据服务并进一步新增至数据中台中。
应当说明的是,数据服务应具体在于应用服务,如申请、查询等。因此,需要数据服务的服务对象,即服务用户注册模块下拥有已经注册的消费者(即使用服务者),此时可以需要工作流模块进行审批(也可以不需要进行审批),还需要数据服务的提供方,即服务注册模块下的注册方(如数据中台自身或第三方生产者)。
如图3所示,为本发明实施例中,提供的一种基于微服务的数据中台的设计系统,包括:
实施方获取单元110,用于获取待注册数据服务的当前实施方;其中,所述当前实施方为数据中台或第三方服务生产者;
数据服务注册单元120,用于确定当前实施方对应待注册的数据服务,且在预设的模块库中,选择服务用户注册模块和服务注册模块以及除二者之外的相应模块,组合得到当前实施方所注册的数据服务并进一步新增至数据中台中。
实施本发明实施例,具有如下有益效果:
本发明对待注册数据服务的数据中台或第三方服务生产者进行识别,并将模块化设计的服务用户注册模块、服务注册模块及二者之外的其它模块组合得到相应的数据服务,从而实现数据中台或第三方服务生产者注册的数据服务能快速新增至数据中台中,克服了现有数据中台新增数据服务无法实现以及第三方服务生产者提供的数据服务无法接入的问题。
值得注意的是,上述系统实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如rom/ram、磁盘、光盘等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
1.一种基于微服务的数据中台的设计方法,其特征在于,所述方法包括以下步骤:
s1、获取待注册数据服务的当前实施方;其中,所述当前实施方为数据中台或第三方服务生产者;
s2、确定当前实施方对应待注册的数据服务,且在预设的模块库中,选择服务用户注册模块和服务注册模块以及除二者之外的相应模块,组合得到当前实施方所注册的数据服务并进一步新增至数据中台中。
2.如权利要求1所述的基于微服务的数据中台的设计方法,其特征在于,所述预设的模块库包括服务用户注册模块、服务注册模块、服务申请模块、服务调用模块、服务查询模块、服务用户管理模块、服务监控模块和工作流模块。
3.如权利要求2所述的基于微服务的数据中台的设计方法,其特征在于,所述步骤s2具体包括:
在当前实施方对应待注册的数据服务为申请、调用、查询、监控及用户管理之中至少一种时,则在所述预设的模块库中,选择所述服务用户注册模块和所述服务注册模块,选择所述工作流模块,以及进一步选择所述服务申请模块、所述服务调用模块、所述服务查询模块、所述服务监控模块及所述服务用户管理模块之中相应的一个或多个,组合得到当前实施方所注册的数据服务并进一步新增至所述数据中台中。
4.如权利要求3所述的基于微服务的数据中台的设计方法,其特征在于,若当前实施方为第三方服务生产者,则所述服务用户注册模块和所述服务用户管理模块所服务的对象均包括服务消费者和第三方服务生产者。
5.如权利要求3所述的基于微服务的数据中台的设计方法,其特征在于,若当前实施方为数据中台,则所述服务用户注册模块和所述服务用户管理模块所服务的对象仅为服务消费者。
6.如权利要求4或5所述的基于微服务的数据中台的设计方法,其特征在于,所述服务用户注册模块具备统一的标准信息字段,包括外部系统名称、外部系统英文名称、外部系统英文名称简称、外部系统ip、外部系统端口、服务口令更新rest服务地址、服务口令更新安全码、申请人、申请原因、申请人手机号码及邮箱。
7.如权利要求4或5所述的基于微服务的数据中台的设计方法,其特征在于,所述服务注册模块具备统一的标准信息字段,包括服务名称、服务类型、服务协议、服务url、服务安全等级、申请人手机号码、邮箱、业务场景说明、服务数据来源、入参、返回值、请求报文示例、响应报文示例、外部系统名称、外部系统英文名称和外部系统英文名称简称。
8.如权利要求7所述的基于微服务的数据中台的设计方法,其特征在于,所述服务类型包括接口服务、文件服务和页面服务;所述服务协议包括rest协议、webservice协议、txt协议、zip协议和页面协议;其中,
所述接口服务包括rest协议和webservice协议;
所述文件服务包括txt协议和zip协议;
所述页面服务包括页面协议。
9.如权利要求4或5所述的基于微服务的数据中台的设计方法,其特征在于,所述服务监控模块具备统一的标准信息字段,包括数据服务用户id、外部系统服务器ip、外部系统服务器端口、数据服务id、数据服务名称、数据服务口令、服务调用状态、服务调用开始时间、服务调用结束时间和服务调用日志。
10.一种基于微服务的数据中台的设计系统,其特征在于,包括:
实施方获取单元,用于获取待注册数据服务的当前实施方;其中,所述当前实施方为数据中台或第三方服务生产者;
数据服务注册单元,用于确定当前实施方对应待注册的数据服务,且在预设的模块库中,选择服务用户注册模块和服务注册模块以及除二者之外的相应模块,组合得到当前实施方所注册的数据服务并进一步新增至数据中台中。
技术总结