本说明书一个或多个实施例涉及存储技术,尤其涉及一种文件调度方法、装置和电子设备。
背景技术:
1、存储系统可以通过大容量的存储空间提供数据存储服务,并通过一定的数据管理策略对存储的数据进行管理。其中,基于lsm(log structured merge,日志结构合并)的存储系统,是一种分层、面向磁盘的数据存储系统,其通常可以包括多个存储层。数据在存储时,会先存储在上层的存储层,当上层存储层的文件大小超过一定阈值后,可以与相邻的下一个存储层的文件执行文件合并操作(该文件合并操作通常可以称为compaction)。每一个存储层的文件都会如此。
2、相关技术中发现,该存储系统在同一存储层会出现有较多数量的文件,这些文件的文件大小几乎同时达到上述的阈值,进而这些文件都同时去参与执行compaction。但是,这样会对存储系统造成较大的资源处理压力,严重时可能会影响用户对存储系统的数据使用性能。
技术实现思路
1、有鉴于此,本说明书一个或多个实施例提供一种文件调度方法、装置和电子设备。
2、为实现上述目的,本说明书一个或多个实施例提供技术方案如下:
3、根据本说明书一个或多个实施例的第一方面,提出了一种文件调度方法,所述方法应用于具有多个存储层结构的存储系统;
4、每个所述存储层中包括:至少一个文件组;每个所述文件组中包括多个文件;
5、所述方法包括:
6、对于其中一文件组,在一个增量周期,根据文件大小,从所述文件组中选择符合文件筛选条件的部分文件作为目标文件,所述文件筛选条件用于调控所述文件组中的多个文件的文件大小之间形成类等差序列;
7、将所述目标文件与对应的下一存储层中的文件组,执行文件合并操作。
8、根据本说明书一个或多个实施例的第二方面,提出了一种文件调度装置,所述装置应用于具有多个存储层结构的存储系统,每个所述存储层中包括:至少一个文件组;每个所述文件组中包括多个文件;所述装置包括:
9、调度选择模块,用于对于其中一文件组,在一个增量周期,根据文件大小,从所述文件组中选择符合文件筛选条件的部分文件作为目标文件,所述文件筛选条件用于调控所述文件组中的多个文件的文件大小之间形成类等差序列;
10、文件处理模块,用于将所述目标文件与对应的下一存储层的文件组,执行文件合并操作。
11、根据本说明书一个或多个实施例的第三方面,提供了一种电子设备,包括:
12、处理器;
13、用于存储处理器可执行指令的存储器;
14、其中,所述处理器通过运行所述可执行指令以实现本说明书任一实施例的方法。
15、根据本说明书一个或多个实施例的第四方面,提供了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现本说明书任一实施例的方法。
16、根据本说明书一个或多个实施例的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本说明书任一实施例的方法。
17、本说明书实施例的文件调度方法、装置和电子设备,通过对于一个文件组,在一个增量周期,根据文件大小,从文件组中选择部分文件去执行文件合并操作,这样就可以使得文件组中的多个文件的文件大小,在经过多个增量周期后形成类等差序列,即文件组中的多个文件不再是相等的,从而这些文件可以在不同的时间逐步去做文件合并,避免了较多文件同时参与文件合并操作,减轻了资源处理压力。
1.一种文件调度方法,其特征在于,所述方法应用于具有多个存储层结构的存储系统;
2.根据权利要求1所述的方法,其特征在于,所述在一个增量周期,根据文件大小,从所述文件组中选择符合文件筛选条件的部分文件作为目标文件,包括:
3.根据权利要求2所述的方法,其特征在于,
4.根据权利要求1所述的方法,其特征在于,在部分增量周期,所述目标文件的文件大小,小于所述目标文件对应的文件合并阈值。
5.根据权利要求1所述的方法,其特征在于,
6.根据权利要求5所述的方法,其特征在于,
7.根据权利要求5所述的方法,其特征在于,
8.一种文件调度装置,其特征在于,所述装置应用于具有多个存储层结构的存储系统,每个所述存储层中包括:至少一个文件组;每个所述文件组中包括多个文件;
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。