本发明涉及数据治理领域，尤其是一种延伸至应用的完整血缘链条管理装置及其方法。
背景技术：
1、目前，在数据治理领域存在一些数据血缘管理工具和系统，它们可以跟踪和记录数据的来源、流向和转换过程。然而，这些现有技术方案在将数据血缘拓展至数据应用方面存在一些缺点。通常，这些方案只能跟踪数据在表、字段和任务级别的血缘关系，对于数据应用层面的血缘追溯能力相对较弱。此外，现有技术很难准确捕捉和建立数据应用之间的关联性和依赖关系，从而限制了在数据应用程序之间进行数据血缘跟踪的能力。这导致数据血缘的完整性不足，可能对数据质量管理、故障排查和合规性追溯产生影响。
2、现有技术存在以下技术壁垒导致上述问题：
3、1、复杂的数据流程：当涉及到复杂的数据应用程序和数据流程时，数据的传输、转换和处理路径可能非常复杂。现有技术在面对复杂的数据流程时难以准确地追踪和记录数据的流向和转换过程，因为涉及到多个数据应用之间的复杂关联和依赖关系。
4、2、分布式环境：在分布式环境中，数据应用程序通常部署在不同的计算节点或服务器上，可能使用不同的技术栈和平台。这增加了数据血缘管理的复杂性，因为现有技术需要跨越多个分布式组件来追踪和记录数据的流动，而不同组件之间的集成和数据传输可能缺乏标准化和统一的方式。
5、3、大数据规模：现代数据环境中的数据量通常非常庞大，包含大规模的数据集和复杂的数据处理流程。在这种情况下，现有技术可能面临性能和可扩展性的挑战，难以处理和分析大规模数据应用之间的关系，导致血缘信息的不完整性。
技术实现思路
1、为解决现有技术存在的上述问题，本发明提供一种延伸至应用的完整血缘链条管理装置及其方法，能够在数据治理场景下，将数据血缘的拓扑链条从表、字段、任务之外，拓展至数据应用，跟踪和记录数据在不同应用程序中的使用和传播过程，实现全面的数据血缘管理，提高数据血缘管理的完整性和准确性，为数据质量管理、故障排查和合规性追溯提供支持。同时，用户可以通过可视化界面直观地理解和分析数据血缘，提高数据治理的效率和可靠性。
2、为实现上述目的，本发明采用下述技术方案：
3、在本发明一实施例中，提出了一种延伸至应用的完整血缘链条管理装置，该装置包括：
4、元数据管理组件，用于收集、存储和管理包括应用系统在内的各种异构数据源中的元数据信息；
5、数据血缘追踪引擎组件，用于实时捕获数据之间的血缘关系，追踪和记录数据在应用系统中的源头、流向和转换过程；
6、应用程序关联分析组件，用于分析应用程序之间的关联关系；
7、数据血缘拓扑构建组件，用于利用采集到的数据之间的血缘关系和应用程序关联分析结果，构建数据血缘拓扑；
8、数据血缘可视化组件，用于将数据血缘拓扑以图形化方式展示；
9、数据血缘查询与分析组件，用于根据需要查询和分析特定数据的血缘关系。
10、进一步地，元数据管理组件，具体用于：
11、集中为包括应用程序在内的各种异构数据源提供数据源的连接配置管理；通过配置的数据源连接信息，提取和识别数据源中元数据信息；
12、通过扫描各种异构数据源，收集和提取元数据信息；
13、将收集到的元数据信息存储到中央化的元数据仓库中，使用元数据管理工具进行存储；
14、提供对元数据的增加、删除、修改和查询，包括版本管理和权限控制。
15、进一步地，数据血缘追踪引擎组件，具体用于：
16、监控和追踪应用系统中的数据读写操作，捕获数据变动事件，以及数据在不同组件、模块或任务之间的传输和转换过程，记录数据处理异常情况，并生成日志；
17、根据捕获到的数据变动事件，建立数据之间的血缘关系，记录数据的来源和去向；
18、将数据之间的血缘关系存储在数据库、数据湖、分布式文件系统或其他的数据存储系统中；
19、持续监控数据流动，及时更新数据之间的血缘关系。
20、进一步地，应用程序关联分析组件，具体用于：
21、通过分析应用程序的代码、配置文件以及接口调用，识别应用程序之间的关联关系；
22、基于应用程序之间的关联关系，进行分析和挖掘，发现问题、冗余或优化机会；
23、使用关联关系图谱，展示应用程序之间的关联关系，包括调用关系、依赖关系和数据传递关系。
24、进一步地，数据血缘拓扑构建组件，具体用于：
25、根据数据之间的血缘关系，从表、字段和任务级别扩展到数据应用层面，构建一个全面且准确的数据血缘拓扑；
26、随着数据之间的血缘关系的更新，及时更新数据血缘拓扑。
27、进一步地，数据血缘可视化组件，具体用于：
28、以图形化的方式展示数据血缘拓扑，通过节点和线的关联表示数据之间的血缘关系；
29、提供交互式界面，用户可以自由浏览和导航数据血缘拓扑；用户可以快速定位和查找特定数据的来源和去向；
30、对于每个节点和线，展示其相关的属性信息；
31、允许用户根据自身需求，对节点和线进行颜色标记或添加标签；
32、提供查询和筛选功能，用户可以筛选感兴趣的数据或数据之间的血缘关系；用户可以根据特定条件对节点和线进行过滤；
33、通过箭头的方向和样式表示数据的流向；用户可以追踪数据从源头到目标的流动过程；
34、允许用户将数据血缘拓扑导出为图像或其他格式。
35、进一步地，数据血缘查询与分析组件，具体用于：
36、提供灵活的查询接口，允许用户根据不同条件查询特定数据之间的血缘关系；可以对数据进行溯源查询和流向查询；
37、支持对数据之间的血缘关系进行深入分析；
38、提供数据血缘的探索功能，用户可以通过分析数据之间的血缘关系，追溯数据的来源和传递过程，评估数据的质量和准确性，发现数据质量问题或潜在的数据异常。
39、在本发明一实施例中，还提出了一种延伸至应用的完整血缘链条管理方法，该方法包括：
40、收集、存储和管理包括应用系统在内的各种异构数据源中的元数据信息；
41、实时捕获数据之间的血缘关系，追踪和记录数据在应用系统中的源头、流向和转换过程；
42、分析应用程序之间的关联关系；
43、利用采集到的数据之间的血缘关系和应用程序关联分析结果，构建数据血缘拓扑；
44、将数据血缘拓扑以图形化方式展示；
45、根据需要查询和分析特定数据的血缘关系。
46、进一步地，收集、存储和管理包括应用系统在内的各种异构数据源中的元数据信息，包括：
47、集中为包括应用程序在内的各种异构数据源提供数据源的连接配置管理；通过配置的数据源连接信息，提取和识别数据源中元数据信息；
48、通过扫描各种异构数据源，收集和提取元数据信息；
49、将收集到的元数据信息存储到中央化的元数据仓库中，使用元数据管理工具进行存储；
50、提供对元数据的增加、删除、修改和查询，包括版本管理和权限控制。
51、进一步地，实时捕获数据之间的血缘关系，追踪和记录数据在应用系统中的源头、流向和转换过程，包括：
52、监控和追踪应用系统中的数据读写操作，捕获数据变动事件，以及数据在不同组件、模块或任务之间的传输和转换过程，记录数据处理异常情况，并生成日志；
53、根据捕获到的数据变动事件，建立数据之间的血缘关系，记录数据的来源和去向；
54、将数据之间的血缘关系存储在数据库、数据湖、分布式文件系统或其他的数据存储系统中；
55、持续监控数据流动，及时更新数据之间的血缘关系。
56、进一步地，分析应用程序之间的关联关系，包括：
57、通过分析应用程序的代码、配置文件以及接口调用，识别应用程序之间的关联关系；
58、基于应用程序之间的关联关系，进行分析和挖掘，发现问题、冗余或优化机会；
59、使用关联关系图谱，展示应用程序之间的关联关系，包括调用关系、依赖关系和数据传递关系。
60、进一步地，利用采集到的数据之间的血缘关系和应用程序关联分析结果，构建数据血缘拓扑，包括：
61、根据数据之间的血缘关系，从表、字段和任务级别扩展到数据应用层面，构建一个全面且准确的数据血缘拓扑；
62、随着数据之间的血缘关系的更新，及时更新数据血缘拓扑。
63、进一步地，将数据血缘拓扑以图形化方式展示，包括：
64、以图形化的方式展示数据血缘拓扑，通过节点和线的关联表示数据之间的血缘关系；
65、提供交互式界面，用户可以自由浏览和导航数据血缘拓扑；用户可以快速定位和查找特定数据的来源和去向；
66、对于每个节点和线，展示其相关的属性信息；
67、允许用户根据自身需求，对节点和线进行颜色标记或添加标签；
68、提供查询和筛选功能，用户可以筛选感兴趣的数据或数据之间的血缘关系；用户可以根据特定条件对节点和线进行过滤；
69、通过箭头的方向和样式表示数据的流向；用户可以追踪数据从源头到目标的流动过程；
70、允许用户将数据血缘拓扑导出为图像或其他格式。
71、进一步地，根据需要查询和分析特定数据的血缘关系，包括：
72、提供灵活的查询接口，允许用户根据不同条件查询特定数据之间的血缘关系；可以对数据进行溯源查询和流向查询；
73、支持对数据之间的血缘关系进行深入分析；
74、提供数据血缘的探索功能，用户可以通过分析数据之间的血缘关系，追溯数据的来源和传递过程，评估数据的质量和准确性，发现数据质量问题或潜在的数据异常。
75、在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述延伸至应用的完整血缘链条管理方法。
76、在本发明一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行延伸至应用的完整血缘链条管理方法的计算机程序。
77、有益效果：
78、本发明实现从数据源到数据应用的全链路数据血缘追踪，能够准确识别数据应用，并与数据血缘进行关联，根据数据血缘信息，评估数据应用对数据的影响和效果，提供直观的数据血缘可视化界面，以图表或图形的形式展示数据的流转路径和数据应用的使用情况，在整个数据血缘追踪和应用过程中，注重数据的安全性和隐私保护。
1.一种延伸至应用的完整血缘链条管理装置，其特征在于，该装置包括：
2.根据权利要求1所述的延伸至应用的完整血缘链条管理装置，其特征在于，所述元数据管理组件，具体用于：
3.根据权利要求1所述的延伸至应用的完整血缘链条管理装置，其特征在于，所述数据血缘追踪引擎组件，具体用于：
4.根据权利要求1所述的延伸至应用的完整血缘链条管理装置，其特征在于，所述应用程序关联分析组件，具体用于：
5.根据权利要求1所述的延伸至应用的完整血缘链条管理装置，其特征在于，所述数据血缘拓扑构建组件，具体用于：
6.根据权利要求1所述的延伸至应用的完整血缘链条管理装置，其特征在于，所述数据血缘可视化组件，具体用于：
7.根据权利要求1所述的延伸至应用的完整血缘链条管理装置，其特征在于，所述数据血缘查询与分析组件，具体用于：
8.一种延伸至应用的完整血缘链条管理方法，其特征在于，该方法包括：
9.根据权利要求8所述的延伸至应用的完整血缘链条管理方法，其特征在于，收集、存储和管理包括应用系统在内的各种异构数据源中的元数据信息，包括：
10.根据权利要求8所述的延伸至应用的完整血缘链条管理方法，其特征在于，实时捕获数据之间的血缘关系，追踪和记录数据在应用系统中的源头、流向和转换过程，包括：
11.根据权利要求8所述的延伸至应用的完整血缘链条管理方法，其特征在于，分析应用程序之间的关联关系，包括：
12.根据权利要求8所述的延伸至应用的完整血缘链条管理方法，其特征在于，利用采集到的数据之间的血缘关系和应用程序关联分析结果，构建数据血缘拓扑，包括：
13.根据权利要求8所述的延伸至应用的完整血缘链条管理方法，其特征在于，将数据血缘拓扑以图形化方式展示，包括：
14.根据权利要求8所述的延伸至应用的完整血缘链条管理方法，其特征在于，根据需要查询和分析特定数据的血缘关系，包括：
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8-14任一项所述方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求8-14任一项所述方法的计算机程序。
