容器云平台、数据采集方法、存储介质和电子设备与流程

本发明涉及云平台领域，特别涉及一种容器云平台、数据采集方法、存储介质和电子设备。
背景技术：
：：1、随着云原生技术的广泛推广，目前容器kubernetes(简称：k8s)等技术已经有大量系统的投产使用，但是容器化应用与传统的虚拟机、物理机有本质的区别。容器的动态扩缩以及快速消亡创建等特性让现有操作系统用脚本进行配置项采集的模式不适用当前的技术演进，因此，如何对底层资源的数据进行实时准确地采集成为了本领域人员亟待解决的技术问题。技术实现思路1、鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种容器云平台、数据采集方法、存储介质和电子设备。2、第一方面，一种容器云平台，包括：数据收集同步组件、数据纠偏组件和数据治理组件；3、其中，所述数据收集同步组件部署在所述容器云平台的业务集群，所述数据纠偏组件和所述数据治理组件均部署在所述容器云平台的全局集群；4、所述数据收集同步组件，用于对配置管理数据库的底层资源进行监听，以获得相应的元数据，其中，所述容器云平台与所述配置管理数据库的底层资源关联；5、所述数据纠偏组件，用于对所述底层资源的元数据进行比对，并在比对确定元数据异常时进行纠偏；6、所述数据治理组件，用于在所述容器云平台发出数据错误告警时，对所述容器云平台中存储的元数据进行修复，其中，所述数据错误告警包括：因所述容器云平台无法正常存储数据发出的告警和因所述容器云平台存储的元数据与所述底层资源的实时实际数据不一致导致的告警。7、可选的，在某些可选的实施方式中，所述数据收集同步组件基于operator-sdk工具构建得到；8、所述数据收集同步组件，包括：事件监听单元、元数据获得单元和数据组装单元；9、所述事件监听单元，用于对配置管理数据库的多个目标底层资源的事件进行监听，其中，所述底层资源包括：k8s中的stablemodel、deployment、statefulset、pod、pv、pvc和job中至少一项，所述事件包括：创建、更新和删除；10、所述元数据获得单元，用于针对任一所述底层资源，获得相应事件导致发生变化的元数据；11、所述元数据组装单元，用于根据所述元数据组装得到满足所述容器云平台要求的信息。12、可选的，在某些可选的实施方式中，所述数据收集同步组件，还包括：第一信息推送单元；13、所述第一信息推送单元，用于将满足所述容器云平台要求的信息推送至所述容器云平台的存储单元，以便于存储所述信息。14、可选的，在某些可选的实施方式中，所述数据纠偏组件基于operator-sdk工具构建得到；15、所述数据纠偏组件，包括：任务配置单元和数据纠偏单元；16、所述任务配置单元，用于配置所述容器云平台的定时比对任务；17、所述数据纠偏单元，用于执行所述定时比对任务，以比对所述底层资源的配置项对应的元数据，若所述配置项的元数据发生异常，则重新配置所述配置项，以对所述配置项的元数据进行纠偏。18、可选的，在某些可选的实施方式中，所述数据治理组件基于golang开发编译得到；19、所述数据治理组件，包括：告警获得单元、数据清理单元、数据获取单元和数据提取单元；20、所述告警获得单元，用于获得所述容器云平台发出的数据错误告警；21、所述数据清理单元，用于清除所述容器云平台中存储的元数据；22、所述数据获取单元，用于在获得所述容器云平台发出的数据错误告警后，采集各所述业务集群的实时元数据；23、所述数据提取单元，用于对采集得到的所述实时元数据进行提取和组装，得到满足所述容器云平台要求的信息。24、可选的，在某些可选的实施方式中，所述数据治理组件，还包括：第二信息推送单元；25、所述第二信息推送单元，用于将满足所述容器云平台要求的信息推送至所述容器云平台的存储单元，以便于存储所述信息。26、第二方面，一种数据采集方法，包括：27、对配置管理数据库的底层资源进行监听，以获得相应的元数据，其中，容器云平台与所述配置管理数据库的底层资源关联；28、对所述底层资源的元数据进行比对，并在比对确定元数据异常时进行纠偏；29、在所述容器云平台发出数据错误告警时，对所述容器云平台中存储的元数据进行修复，其中，所述数据错误告警包括：因所述容器云平台无法正常存储数据发出的告警和因所述容器云平台存储的元数据与所述底层资源的实时实际数据不一致导致的告警。30、可选的，在某些可选的实施方式中，所述对配置管理数据库的底层资源进行监听，以获得相应的元数据，包括：31、对配置管理数据库的多个目标底层资源的事件进行监听，其中，所述底层资源包括：k8s中的stablemodel、deployment、statefulset、pod、pv、pvc和job中至少一项，所述事件包括：创建、更新和删除；32、针对任一所述底层资源，获得相应事件导致发生变化的元数据；33、根据所述元数据组装得到满足所述容器云平台要求的信息。34、第三方面，一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的数据采集方法。35、第四方面，一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一项所述的数据采集方法。36、借由上述技术方案，本发明提供的一种容器云平台、数据采集方法、存储介质和电子设备，可以对配置管理数据库的底层资源进行监听，以获得相应的元数据，其中，容器云平台与所述配置管理数据库的底层资源关联；对所述底层资源的元数据进行比对，并在比对确定元数据异常时进行纠偏；在所述容器云平台发出数据错误告警时，对所述容器云平台中存储的元数据进行修复，其中，所述数据错误告警包括：因所述容器云平台无法正常存储数据发出的告警和因所述容器云平台存储的元数据与所述底层资源的实时实际数据不一致导致的告警。由此可以看出，本发明可以对底层资源的数据进行实时准确地采集，并具备纠偏和数据修复的能力，对底层资源的数据采集及数据治理效果较好。37、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。技术特征：1.一种容器云平台，其特征在于，包括：数据收集同步组件、数据纠偏组件和数据治理组件；2.根据权利要求1所述的容器云平台，其特征在于，所述数据收集同步组件基于operator-sdk工具构建得到；3.根据权利要求2所述的容器云平台，其特征在于，所述数据收集同步组件，还包括：第一信息推送单元；4.根据权利要求1所述的容器云平台，其特征在于，所述数据纠偏组件基于operator-sdk工具构建得到；5.根据权利要求1所述的容器云平台，其特征在于，所述数据治理组件基于golang开发编译得到；6.根据权利要求1所述的容器云平台，其特征在于，所述数据治理组件，还包括：第二信息推送单元；7.一种数据采集方法，其特征在于，包括：8.根据权利要求7所述的方法，其特征在于，所述对配置管理数据库的底层资源进行监听，以获得相应的元数据，包括：9.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求7至8中任一项所述的数据采集方法。10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求7至8中任一项所述的数据采集方法。技术总结本发明公开了一种容器云平台、数据采集方法、存储介质和电子设备，可以对配置管理数据库的底层资源进行监听，以获得相应的元数据，其中，容器云平台与所述配置管理数据库的底层资源关联；对所述底层资源的元数据进行比对，并在比对确定元数据异常时进行纠偏；在所述容器云平台发出数据错误告警时，对所述容器云平台中存储的元数据进行修复，其中，所述数据错误告警包括：因所述容器云平台无法正常存储数据发出的告警和因所述容器云平台存储的元数据与所述底层资源的实时实际数据不一致导致的告警。由此可以看出，本发明可以对底层资源的数据进行实时准确地采集，并具备纠偏和数据修复的能力，对底层资源的数据采集及数据治理效果较好。技术研发人员：赵瑾,刘琳,赵婷,裴奕伟,周泽斌受保护的技术使用者：中国建设银行股份有限公司技术研发日：技术公布日：2024/4/29