本发明涉及数据库数据处理，尤其涉及一种基于灵活配置的数据库数据接口管理方法。
背景技术：
1、在仿真计算调用与指标数据应用展示场景中，基础数据的提供极其重要。随着仿真逻辑与指标维度的不断加深，业务需求的不断增大，访问条件和查询结果的样式越来越多，需代码开发接口的工作也愈发繁重，不仅会加大工作量，还会严重影响客户的使用体验，导致大量的业务量损失。开发数据源接口的传统模式，不仅工作量大，也不好维护，还缺乏统一的管理、监控和异常快速恢复的机制，因此为了减少了需求分析、设计、开发、测试和部署的工作量，通过可配置化的方法大大提高接口的开发效率，做到低代码开发，将数据库接口资源统一管理。
2、在基于灵活配置的数据库数据接口管理系统的大规模并发查询的场景下，这种系统可能会遇到一些性能瓶颈。例如，如果许多查询都涉及到同一张大表，那么这张表可能会成为性能瓶颈，导致查询速度降低。为了解决这个问题，传统的是采用数据分片聚类技术。这种技术将数据库中的数据划分为若干个较小的子集，称为“分片”。每个分片都可以单独进行查询和更新操作，从而提高系统的并行处理能力。同时，通过对数据库中数据进行聚类将其划分为一个“分片”中，可以进一步提高数据局部性，从而提升查询效率。然而在数据分片聚类的过程中，若对不同的属性数据进行分别聚类，进而得到不同的数据分片，会造成大量的空间冗余，并且还会降低查询效率。
技术实现思路
1、本发明目的在于克服上述现有技术的不足，提供了一种基于灵活配置的数据库数据接口管理方法，具体由以下技术方案实现：
2、所述基于灵活配置的数据库数据接口管理方法，包括：
3、步骤1)获取数据库中不同属性的数据；
4、步骤2)获取不同属性的代表性程度以及基准程度，获取代表性属性和基准性属性；在不同次迭代的过程中，构建属性二分图，获取最终的属性组合；
5、步骤3)根据最终的属性组合进行数据分片聚类，实现精确存储。
6、所述基于灵活配置的数据库数据接口管理方法的进一步设计在于，所述步骤2)中在获取属性组合的方式的过程中，对二分图进行k-m匹配，将对应的k-m匹配结果作为属性组合结果并通过迭代的方式，获取每次迭代过程中的属性组合结果，综合获取最终的属性组合方式。
7、所述基于灵活配置的数据库数据接口管理方法的进一步设计在于，所述步骤2)中根据式(1)得到第j个属性的代表性程度αj，
8、
9、式(1)中，nj表示第j个属性的数据种类的数量，max(n)表示所有属性的数据种类的数量的最大值，js′表示除了第j个属性的其他所有属性的数量；cvs(nj)表示当第j个属性数据值为第nj个数据值时，其他非第j个属性的第s个属性的数据值的变异系数值；
10、所述基于灵活配置的数据库数据接口管理方法的进一步设计在于，所述步骤2)中对所有属性的代表性程度进行线性归一化处理，选取最大的基准性程度对应的属性记为基准性属性。
11、所述基于灵活配置的数据库数据接口管理方法的进一步设计在于，所述步骤2)中基准程度通过当前属性下的整体的分布来确定，具体为：获取代表性属性相同时获取截断数据，以此类推，得到其他代表性属性下的截断数据，在所有的截断数据中，获取所有代表性属性下的截断数据的交集，所述交集即为第一截断数据，在各个截断数据中，根据式(2)计算第j个属性的基准性程度γj，
12、
13、式(2)中，js′表示的其他非第j个属性的所有属性的数量；m表示所有截断数据的数量；rm(s)表示其他非第j个属性的第s个属性下第m个截断数据中的数据与第j个属性下第m个截断数据中的数据的皮尔逊相关系数。
14、所述基于灵活配置的数据库数据接口管理方法的进一步设计在于，其中获取第一截断段数据的过程为：将数据库中的所有数据进行排列，以排列的位置序号作为定位，将代表性属性相同的数据进行截段处理，进而得到当前表性属性下的截断数据。
15、所述基于灵活配置的数据库数据接口管理方法的进一步设计在于，所述步骤2)中获取最终的属性组合的过程具体为：
16、基于获取的代表性属性和基准性属性，通过构建属性二分图确定属性组合，其中二分图为代表性属性为设定相同值时的二分图，其中二分图的左节点设定为任意一个非代表性属性，而右节点设定为其他非代表性属性，左右节点之间的相连的边中相同属性的不进行相连，则对应的获取节点之间的边权值即可获取属性的二分图；
17、采用迭代的方式进行匹配，迭代过程为：在第一次迭代过程中，进行此次二分图的k-m匹配，在获取到匹配结果的属性组合后，计算根据属性组合进行聚类后的数据与之前聚类后的数据的差异性，若差异性小于预设差异性阈值则停止迭代；在获取的代表性属性的基础上，以基准性属性作为整体基准，计算相同代表性属性时的左节点和右节点代表的属性的数据分布曲线；
18、选取代表性属性的第d个数据值，其左节点为第v个非代表性属性节点，左节点的数据分布曲线横坐标为基准性属性，纵坐标为第v个非代表性属性，记为第一数据分布曲线；右节点为第u个非代表性属性节点，右节点的数据分布横坐标为基准性属性，纵坐标为第u个非代表性属性，记为第二数据分布曲线，采用每个数据分布曲线上的数据点，与对应属性规律分布曲线之间的差异，进而计算差异的相似性来作为边权的边权。
19、所述基于灵活配置的数据库数据接口管理方法的进一步设计在于，规律分布曲线的获取过程具体为：设定规律分布曲线的横坐标为基准性属性，纵坐标为第v个非代表性属性，计算每个已有的横坐标的点以确定对应的纵坐标的数据值，即根据式(3)计算第q个横坐标值对应的纵坐标值yq：
20、
21、式(3)中，h表示根据第q个基准性属性进行dbscan聚类后聚簇的数量；wh表示第h个聚簇中数据种类的数量；pw表示第w个数据种类的出现的频率值；gw表示第w个数据种类的数据值；表示第h个聚簇中第w个数据种类所在聚簇的分布特征，通过聚簇的中的数据之间的密度来表示；纵坐标值通过加权平均获取，通过表示数据种类的权重；
22、根据获取的横坐标对应的纵坐标值，得到连续的分布曲线，对该分布曲线进行拟合得到对应的规律分布曲线，第v个非代表性属性节点的规律分布曲线记为第一规律分布曲线，第u个非代表性属性节点的规律分布曲线记为第二规律分布曲线；将第一数据分布曲线上的数据点的横坐标的纵坐标值与第一规律分布曲线的横坐标的纵坐标值作差，得到的差值的绝对值得到左节点的此横坐标的差异值，记为第一差异值，以此类推得到第右节点的同样横坐标的差异值，记为第二差异值，获取相同横坐标的第一差异值和第二差异值的比值与1进行作减法得到的结果的绝对值作为当前横坐标的差异值，则对应的获取多个横坐标的差异值的均值记为左节点和右节点之间的差异性，并将差异性进行反比例函数归一化处理，处理结果记为该两个节点的边权值，重复上述操作得到其他节点之间的边权值；对二分图进行k-m匹配，获取匹配结果中最大的边权值对应的两个节点，记为待组合节点，将待组合节点进行组合，形成规律分布曲线
23、所述基于灵活配置的数据库数据接口管理方法的进一步设计在于，判断是否需要继续进行迭代的条件为：计算第一聚类结果和第二聚类结果的nmi归一化互信息值的大小，若大于设定阀值，则停止迭代，获取的最终的属性组合；其中,第一聚类结果为前一次dbscan聚类迭代结果,第二次聚类结果为前一次的下一次dbscan聚类迭代结果。
24、本发明的优点如下：
25、本发明中通过获取最佳的属性组合的方式进行准确的分片聚类，以提高查询效率。其中根据同一个属性的数据变化特征来获取代表性属性，同时根据数据的整体分布获取基准性属性，进而在不同的迭代过程中建立二分图。对获取的二分图进行边权值的计算，根据基准性属性在获取边权值的过程中，获取准确的节点之间的相似性，进而准确的获取边权值，进而根据二分图的k-m匹配结果获取最佳的属性组合，根据该最佳的属性组合进行数据库的分片聚类，获取准确的分片结果，提高了了管理系统的查询效率。
1.一种基于灵活配置的数据库数据接口管理方法，其特征在于包括：
2.根据权利要求1所述的基于灵活配置的数据库数据接口管理方法，其特征在于所述步骤2)中在获取属性组合的方式的过程中，对二分图进行k-m匹配，将对应的k-m匹配结果作为属性组合结果并通过迭代的方式，获取每次迭代过程中的属性组合结果，综合获取最终的属性组合方式。
3.根据权利要求1所述的基于灵活配置的数据库数据接口管理方法，其特征在于所述步骤2)中根据式(1)得到第j个属性的代表性程度αj，
4.根据权利要求3所述的基于灵活配置的数据库数据接口管理方法，其特征在于所述步骤2)中对所有属性的代表性程度进行线性归一化处理，选取最大的基准性程度对应的属性记为基准性属性。
5.根据权利要求3所述的基于灵活配置的数据库数据接口管理方法，其特征在于所述步骤2)中基准程度通过当前属性下的整体的分布来确定，具体为：获取代表性属性相同时获取截断数据，以此类推，得到其他代表性属性下的截断数据，在所有的截断数据中，获取所有代表性属性下的截断数据的交集，所述交集即为第一截断数据，在各个截断数据中，根据式(2)计算第j个属性的基准性程度γj，
6.根据权利要求5所述的基于灵活配置的数据库数据接口管理方法，其特征在于其中获取第一截断段数据的过程为：将数据库中的所有数据进行排列，以排列的位置序号作为定位，将代表性属性相同的数据进行截段处理，进而得到当前表性属性下的截断数据。
7.根据权利要求5所述的基于灵活配置的数据库数据接口管理方法，其特征在于所述步骤2)中获取最终的属性组合的过程具体为：
8.根据权利要求7所述的基于灵活配置的数据库数据接口管理方法，其特征在于规律分布曲线的获取过程具体为：设定规律分布曲线的横坐标为基准性属性，纵坐标为第v个非代表性属性，计算每个已有的横坐标的点以确定对应的纵坐标的数据值，即根据式(3)计算第q个横坐标值对应的纵坐标值yq：
9.根据权利要求7所述的基于灵活配置的数据库数据接口管理方法，其特征在于判断是否需要继续进行迭代的条件为：计算第一聚类结果和第二聚类结果的nmi归一化互信息值的大小，若大于设定阀值，则停止迭代，获取的最终的属性组合；其中,第一聚类结果为前一次dbscan聚类迭代结果,第二次聚类结果为前一次的下一次dbscan聚类迭代结果。
