本发明涉及应用编排领域,尤其涉及一种基于性能感知的应用编排方法、装置、设备及存储介质。
背景技术:
1、应用程序编排,通常称为容器编排,是一种非常流行的技术,用来管理数量极其庞大的容器,涉及大量的任务;良好的应用编排方案对于开发团队来说能够显著地提高应用管理效率,有助于提高应用的性能、可靠性和安全性。
2、但是,目前的应用编排和调度系统更多关注的是计算资源的分配,而对于存储资源的感知和优化并不敏感,而现有的新型应用,例如大数据和ai,对于存储性能的要求日益增加,而现有技术对存储访问模式的监控和感知机制却比较薄弱。
3、因此,现有技术还有待于改进和发展。
技术实现思路
1、本发明的主要目的在于解决现有技术中应用编排依过度关注计算资源分配,忽视存储资源重要性而导致的存储容量不足、访问热点和性能下降的问题。
2、本发明第一方面提供了一种基于性能感知的应用编排方法,包括:获取应用的历史日志,根据所述历史日志,提取应用特征参数和存储配置参数,并建立所述应用特征参数和所述存储配置参数之间的映射关系;创建性能监控模型和性能预测模型,将所述应用特征参数和所述存储配置参数输入到所述性能监控模型进行训练,得到目标性能监控模型,将所述映射关系输入到所述性能预测模型,得到目标性能预测模型;获取用户输入的应用编排计划,将所述应用编排计划分别输入到所述目标性能监控模型和所述目标性能预测模型,分别得到监控数据和预测数据;创建应用存储性能模型,将所述历史日志输入到所述应用存储性能模型进行训练,得到当前应用存储性能模型,将所述监控数据和所述预测数据输入到所述当前应用存储性能模型,对所述应用编排计划进行优化。
3、可选的,在本发明第一方面的第一种实现方式中,所述获取应用的历史日志,根据所述历史日志,提取应用特征参数和存储配置参数,并建立所述应用特征参数和所述存储配置参数之间的映射关系的步骤包括:获取应用的历史日志,根据所述历史日志,提取应用源代码,分析所述应用源代码,提取所述应用的应用特征参数;根据所述历史日志中的存储信息,得到所述应用的读写特征,根据所述读写特征生成应用的存储配置参数;建立所述应用特征参数和所述存储配置参数之间的映射关系。
4、可选的,在本发明第一方面的第二种实现方式中,所述创建性能监控模型和性能预测模型,将所述应用特征参数和所述存储配置参数输入到所述性能监控模型进行训练,得到目标性能监控模型,将所述映射关系输入到所述性能预测模型,得到目标性能预测模型的步骤包括:创建性能监控模型,将所述应用特征参数和所述存储配置参数输入到所述性能监控模型,利用机器学习算法进行训练,得到目标性能监控模型;创建性能预测模型,将所述映射关系输入到所述性能预测模型,利用机器学习算法进行训练,得到目标性能预测模型。
5、可选的,在本发明第一方面的第三种实现方式中,所述获取用户输入的应用编排计划,将所述应用编排计划分别输入到所述目标性能监控模型和所述目标性能预测模型,分别得到监控数据和预测数据的步骤包括:获取用户输入的应用编排计划,根据所述应用编排计划,提取对应的当前应用特征参数,将所述当前应用特征参数输入到所述目标性能监控模型,得到所述应用编排计划的监控数据;建立所述当前应用特征参数和所述监控数据之间的当前映射关系,将所述当前映射关系输入到所述目标性能预测模型,得到所述应用编排计划的预测数据。
6、可选的,在本发明第一方面的第四种实现方式中,所述监控数据包括:负载监控数据、性能监控数据和容量监控数据;所述将所述当前应用特征参数输入到所述目标性能监控模型,得到所述应用编排计划的监控数据的步骤包括:根据当前应用特征参数,确定当前应用进行存储的当前访问模式,并获取所述当前访问模式的当前访问模式信息;将所述当前访问模式信息输入到所述目标性能监控模型,得到所述应用编排计划的所述负载监控数据、所述性能监控数据和所述容量监控数据。
7、可选的,在本发明第一方面的第五种实现方式中,所述创建应用存储性能模型,将所述历史日志输入到所述应用存储性能模型进行训练,得到当前应用存储性能模型,将所述监控数据和所述预测数据输入到所述当前应用存储性能模型,对所述应用编排计划进行优化的步骤包括:创建应用存储性能模型,从所述历史日志中提取历史应用存储性能数据,将所述历史应用存储性能数据输入到所述应用存储性能模型进行训练,得到当前应用存储性能模型;将所述监控数据和所述预测数据输入到所述当前应用存储性能模型输出应用调度决策,根据所述应用调度决策,对所述应用编排计划进行优化。
8、可选的,在本发明第一方面的第六种实现方式中,所述将所述监控数据和所述预测数据输入到所述当前应用存储性能模型,输出应用调度决策,根据所述应用调度决策,对所述应用编排计划进行优化的步骤包括:将所述监控数据和所述预测数据输入到所述当前应用存储性能模型,输出理想应用编排计划,根据所述理想应用编排计划和所述应用编排计划的差异,生成应用调度决策;根据所述应用调度决策,调整应用的启动数量、将应用进行迁移或限制低优先级应用的存储,对所述应用编排计划进行优化。
9、本发明第二方面提供了一种基于性能感知的应用编排装置,包括:参数获取模块,用于获取应用的历史日志,根据所述历史日志,提取应用特征参数和存储配置参数,并建立所述应用特征参数和所述存储配置参数之间的映射关系;模型构建模块,用于创建性能监控模型和性能预测模型,将所述应用特征参数和所述存储配置参数输入到所述性能监控模型进行训练,得到目标性能监控模型,将所述映射关系输入到所述性能预测模型,得到目标性能预测模型;数据获取模块,用于获取用户输入的应用编排计划,将所述应用编排计划分别输入到所述目标性能监控模型和所述目标性能预测模型,分别得到监控数据和预测数据;编排计划优化模型,用于创建应用存储性能模型,将所述历史日志输入到所述应用存储性能模型进行训练,得到当前应用存储性能模型,将所述监控数据和所述预测数据输入到所述当前应用存储性能模型,对所述应用编排计划进行优化。
10、可选的,在本发明第二方面的第一种实现方式中,所述参数获取模块包括:应用特征参数提取单元,用于获取应用的历史日志,根据所述历史日志,提取应用源代码,分析所述应用源代码,提取所述应用的应用特征参数;存储配置参数生成单元,用于根据所述历史日志中的存储信息,得到所述应用的读写特征,根据所述读写特征生成应用的存储配置参数;映射关系建立单元,用于建立所述应用特征参数和所述存储配置参数之间的映射关系。
11、可选的,在本发明第二方面的第二种实现方式中,所述模型构建模块包括:性能监控模型训练单元,用于创建性能监控模型,将所述应用特征参数和所述存储配置参数输入到所述性能监控模型,利用机器学习算法进行训练,得到目标性能监控模型;性能预测模型训练单元,用于创建性能预测模型,将所述映射关系输入到所述性能预测模型,利用机器学习算法进行训练,得到目标性能预测模型。
12、可选的,在本发明第二方面的第三种实现方式中,所述数据获取模块包括:监控数据获取单元,用于获取用户输入的应用编排计划,根据所述应用编排计划,提取对应的当前应用特征参数,将所述当前应用特征参数输入到所述目标性能监控模型,得到所述应用编排计划的监控数据;预测数据获取单元,用于建立所述当前应用特征参数和所述监控数据之间的当前映射关系,将所述当前映射关系输入到所述目标性能预测模型,得到所述应用编排计划的预测数据。
13、可选的,在本发明第二方面的第四种实现方式中,所述监控数据获取单元还包括:访问模式确定子单元,用于根据当前应用特征参数,确定当前应用进行存储的当前访问模式,并获取所述当前访问模式的当前访问模式信息;信息获取子单元,用于将所述当前访问模式信息输入到所述目标性能监控模型,得到所述应用编排计划的所述负载监控数据、所述性能监控数据和所述容量监控数据。
14、可选的,在本发明第二方面的第五种实现方式中,所述编排计划优化模型包括:存储性能模型训练单元,用于创建应用存储性能模型,从所述历史日志中提取历史应用存储性能数据,将所述历史应用存储性能数据输入到所述应用存储性能模型进行训练,得到当前应用存储性能模型;计划优化单元,用于将所述监控数据和所述预测数据输入到所述当前应用存储性能模型输出应用调度决策,根据所述应用调度决策,对所述应用编排计划进行优化。
15、可选的,在本发明第二方面的第六种实现方式中,所述计划优化单元还包括:决策生成子单元,用于将所述监控数据和所述预测数据输入到所述当前应用存储性能模型,输出理想应用编排计划,根据所述理想应用编排计划和所述应用编排计划的差异,生成应用调度决策;应用编排计划优化子单元,用于根据所述应用调度决策,调整应用的启动数量、将应用进行迁移或限制低优先级应用的存储,对所述应用编排计划进行优化。
16、本发明第三方面提供了一种基于性能感知的应用编排设备,包括:存储器和至少一个处理器,所述存储器中存储有计算机可读指令,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述计算机可读指令,以使得所述基于性能感知的应用编排设备执行如上所述基于性能感知的应用编排方法的各个步骤。
17、本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,当其在计算机上运行时,使得计算机执行如上所述基于性能感知的应用编排方法的各个步骤。
18、有益效果:本发明的技术方案中,获取应用的历史日志,根据所述历史日志,提取应用特征参数和存储配置参数,并建立所述应用特征参数和所述存储配置参数之间的映射关系;创建性能监控模型和性能预测模型,将所述应用特征参数和所述存储配置参数输入到所述性能监控模型进行训练,得到目标性能监控模型,将所述映射关系输入到所述性能预测模型,得到目标性能预测模型;获取用户输入的应用编排计划,将所述应用编排计划分别输入到所述目标性能监控模型和所述目标性能预测模型,分别得到监控数据和预测数据;创建应用存储性能模型,将所述历史日志输入到所述应用存储性能模型进行训练,得到当前应用存储性能模型,将所述监控数据和所述预测数据输入到所述当前应用存储性能模型,对所述应用编排计划进行优化。本发明提供的是一种基于性能感知的应用编排方法,通过静态和动态的程序分析,全面获取应用的应用特征参数和存储配置参数,同时实时监控存储系统的负载和性能状态,构建基于规则和基于数据训练的两种应用存储性能建模方法,高精度地预测应用部署于不同存储配置下的性能表现,结合性能模型和实时监控,动态确定最优的应用调度策略,保证存储性能的同时最大化应用性能,以明显改善不同应用类型的存储性能体验,提升整体业务连续性和质量,显著提升调度决策的智能化和精确度。
1.一种基于性能感知的应用编排方法,其特征在于,所述基于性能感知的应用编排方法包括:
2.根据权利要求1所述基于性能感知的应用编排方法,其特征在于,所述获取应用的历史日志,根据所述历史日志,提取应用特征参数和存储配置参数,并建立所述应用特征参数和所述存储配置参数之间的映射关系的步骤包括:
3.根据权利要求1所述基于性能感知的应用编排方法,其特征在于,所述创建性能监控模型和性能预测模型,将所述应用特征参数和所述存储配置参数输入到所述性能监控模型进行训练,得到目标性能监控模型,将所述映射关系输入到所述性能预测模型,得到目标性能预测模型的步骤包括:
4.根据权利要求1所述基于性能感知的应用编排方法,其特征在于,所述获取用户输入的应用编排计划,将所述应用编排计划分别输入到所述目标性能监控模型和所述目标性能预测模型,分别得到监控数据和预测数据的步骤包括:
5.根据权利要求4所述基于性能感知的应用编排方法,其特征在于,所述监控数据包括:负载监控数据、性能监控数据和容量监控数据;
6.根据权利要求1所述基于性能感知的应用编排方法,其特征在于,所述创建应用存储性能模型,将所述历史日志输入到所述应用存储性能模型进行训练,得到当前应用存储性能模型,将所述监控数据和所述预测数据输入到所述当前应用存储性能模型,对所述应用编排计划进行优化的步骤包括:
7.根据权利要求6所述基于性能感知的应用编排方法,其特征在于,所述将所述监控数据和所述预测数据输入到所述当前应用存储性能模型,输出应用调度决策,根据所述应用调度决策,对所述应用编排计划进行优化的步骤包括:
8.一种基于性能感知的应用编排装置,其特征在于,包括:
9.一种基于性能感知的应用编排设备,其特征在于,包括存储器和至少一个处理器,所述存储器中存储有计算机可读指令;
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1-7中任一项所述基于性能感知的应用编排方法的各个步骤。