本发明涉及数据存储领域，具体而言，涉及一种存储装置的垃圾回收方法及装置。
背景技术：
近年来，随着固态硬盘ssd(solidstatedisk，ssd)设计技术的不断进步，相比传统的机械硬盘，ssd显示出具有读写速度快、功耗低、体积小、防震抗摔、便于携带等方面的优势，它已经在许多领域开始替代传统机械硬盘。
闪存具有几大特性：1)按页(page)读写、按块(block)擦除，提供读、写和擦除3种操作；页是读/写的最小单位；块是擦除的最小单位。2)闪存擦除后只能写一次，即所谓的写前擦除，这造成闪存不能原地更新，否则会带来巨大的开销。3)闪存每个存储单元的编程/擦除(p/e)次数有限，超过擦除次数后该存储单元存储数据不再可靠。4)readdisturb，同一个block上page读，自己没事，导致其他没有被读的page数据出错，为了消除readdisturb，记录每个block读的次数，当这个数值达到阈值(闪存厂家提供)之前，把block上所有的数据刷新一遍(读出来，擦除，然后在写回)，或者把数据搬到别的地方5)dataretention在固态硬盘不忙的时候，按照一定的算法，扫描全盘，如果发现某个闪存页翻转比特数量超过一定阈值，就重写数据到新的地方。这样做的好处是避免数据放太久，导致比特翻转数量超过ecc算法的纠错能力，从而能减少ecc不可纠错误。隐藏闪存上述特性，使得这些不方便的特性对用户而言透明，垃圾回收负责将回收块中的有效数据复制到新的物理块中，将回收块擦除后重新利用；ssd使用过程中会产生碎片页，需要通过垃圾回收的方式回收失效页。然而垃圾回收机制会降低ssd的性能，同时缩减ssd的寿命。特别是ssd快写满时会频繁触发垃圾回收机制gc，严重降低ssd的性能。目前的gc机制通过设置较低的空闲空间阈值作为触发条件，这会导致使用后期垃圾回收的频繁触发，严重影响性能。
现有技术gc块的选源算法比较固定。带来的结果就是写放大，会损耗大量的盘的寿命，降低盘的性能。
针对上述的问题，目前尚未提出有效的解决方案。
技术实现要素：
本发明实施例提供了一种存储装置的垃圾回收方法及装置，以至少解决现有技术中的存储装置的垃圾回收方法，通过设置较低的空闲空间阈值，作为触发回收机制的条件，导致使用后期垃圾回收的频率越来越高，导致回收效果差，严重影响存储性能的技术问题。
根据本发明实施例的一个方面，提供了一种存储装置的垃圾回收方法，包括：获取存储装置的数据块的多个属性参数；为所述多个属性参数添加权重，其中，每个属性参数均对应有权重；根据所述多个属性参数以及对应的权重，确定所述数据块的回收值；在所述回收值达到预设回收阈值的情况下，通过回收机制对所述数据块进行回收。
可选的，所述属性参数包括下列至少之一：擦除次数，擦除次数与平均擦除次数的差，有效页数量，读取干扰值，写入数据之后的保持时间。
可选的，为所述多个属性参数添加权重之前，包括：通过机器学习算法确定每个所述属性参数的权重。
可选的，通过机器学习算法确定每个所述属性参数的权重包括：通过数据块的历史回收数据，确定在回收机制触发时，多个属性参数的可用权重范围；通过机器学习算法对多种权重组合进行处理，输出所述权重组合下的数据收敛程度，其中，所述权重组合包括多个属性参数的可用权重，所述可用权重为对应的属性参数在所述可用权重范围内的数值；根据符合预设收敛程度的权重组合，确定每个所述属性参数的所述权重。
可选的，通过机器学习算法对多种权重组合进行处理，输出所述权重组合下的数据收敛程度之前，还包括：确定所述机器学习算法；通过所述历史回收数据选取多组不同的训练数据和验证数据，对所述机器学习算法进行训练和交叉验证；选取验证数据中验证结果最好的超参数，作为所述机器学习算法的超参数。
可选的，在所述回收值达到预设回收阈值的情况下，通过回收机制对所述数据块进行回收包括：触发垃圾回收算法；通过垃圾回收算法对所述数据块进行垃圾回收处理。
可选的，根据所述多个属性参数以及对应的权重，确定所述数据块的回收值包括：确定每个属性参数的平方根；将多个属性参数的所述平方根和对应的权重的乘积进行求和，确定所述回收值。
可选的，还包括：在所述回收值未达到预设回收阈值的情况下，在预定时间对所述数据块的回收值进行再次确定。
根据本发明实施例的另一方面，还提供了一种存储装置的垃圾回收装置，包括：获取模块，用于获取存储装置的数据块的多个属性参数；加权模块，用于为所述多个属性参数添加权重，其中，每个属性参数的均对应有权重；确定模块，用于根据所述多个属性参数以及对应的权重，确定所述数据块的回收值；回收模块，用于在所述回收值达到预设回收阈值的情况下，通过回收机制对所述数据块进行回收。
根据本发明实施例的另一方面，还提供了一种计算机存储介质，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的存储装置的垃圾回收方法。
根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的存储装置的垃圾回收方法。
在本发明实施例中，采用获取存储装置的数据块的多个属性参数；为多个属性参数添加权重，其中，每个属性参数均对应有权重；根据多个属性参数以及对应的权重，确定数据块的回收值；在回收值达到预设回收阈值的情况下，通过回收机制对数据块进行回收的方式，通过对数据块的多个属性参数，并添加权重，确定数据块的回收值，在回收值达到预设回收阈值的情况下，对数据块进行回收，达到了从数据块的多个属性参数，确定回收的触发条件，对数据块有效回收的目的，从而实现了提高数据块的回收效果，降低回收对数据块的后续使用性能的影响的技术效果，进而解决了现有技术中的存储装置的垃圾回收方法，通过设置较低的空闲空间阈值，作为触发回收机制的条件，导致使用后期垃圾回收的频率越来越高，导致回收效果差，严重影响存储性能的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种存储装置的垃圾回收方法的流程图；
图2是根据本发明实施方式的交叉验证时验证数据和训练数据的示意图；
图3是根据本发明实施方式的一种权重下的数据分布的示意图；
图4是根据本发明实施方式的另一种权重下的数据分布的示意图；
图5是根据本发明实施例的一种存储装置的垃圾回收装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种存储装置的垃圾回收方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种存储装置的垃圾回收方法的流程图，如图1所示，该方法包括如下步骤：
步骤s102，获取存储装置的数据块的多个属性参数；
步骤s104，为多个属性参数添加权重，其中，每个属性参数均对应有权重；
步骤s106，根据多个属性参数以及对应的权重，确定数据块的回收值；
步骤s108，在回收值达到预设回收阈值的情况下，通过回收机制对数据块进行回收。
通过上述步骤，采用获取存储装置的数据块的多个属性参数；为多个属性参数添加权重，其中，每个属性参数均对应有权重；根据多个属性参数以及对应的权重，确定数据块的回收值；在回收值达到预设回收阈值的情况下，通过回收机制对数据块进行回收的方式，通过对数据块的多个属性参数，并添加权重，确定数据块的回收值，在回收值达到预设回收阈值的情况下，对数据块进行回收，达到了从数据块的多个属性参数，确定回收的触发条件，对数据块有效回收的目的，从而实现了提高数据块的回收效果，降低回收对数据块的后续使用性能的影响的技术效果，进而解决了现有技术中的存储装置的垃圾回收方法，通过设置较低的空闲空间阈值，作为触发回收机制的条件，导致使用后期垃圾回收的频率越来越高，导致回收效果差，严重影响存储性能的技术问题。
上述存储装置可以为固态存储装置，可以为闪存。
上述数据块可以为存储设备上进行存储的数据块，在回收时以数据块为单位对存储设备进行垃圾回收。对数据块的操作有三种，包括读、写和擦除操作，读写时按页(page)读写，擦除时按块(block)擦除。
可选的，属性参数包括下列至少之一：擦除次数，擦除次数与平均擦除次数的差，有效页数量，读取干扰值，写入数据之后的保持时间。
本实施例中选取四个属性参数，分别为擦除次数与平均擦除次数的差，有效页数量，读取干扰值，写入数据之后的保持时间。上述擦除次数为当前的数据块的擦除次数，上述平均擦除次数可以为存储设备的所有数据块的平均擦除次数，或者历史回收操作触发时的数据块的平均擦除次数。通过多个属性参数从多个角度考虑存储数据快回收的触发条件，使得对数据块有效回收，实现提高数据块的回收效果，降低回收对数据块的后续使用性能。
上述为属性参数添加权重，考虑不同的属性参数对回收触发的影响不同，可以在多个属性参数之间添加权重，以使属性参数对回收触发的影响更急合理，从而提高回收效果。
可选的，根据多个属性参数以及对应的权重，确定数据块的回收值包括：确定每个属性参数的平方根；将多个属性参数的平方根和对应的权重的乘积进行求和，确定回收值。
例如，回收值t＝af(x1) bf(x2) cf(x3) df(x4)，其中，f(x1)为当前选取的块与avgerasecnt平均擦除次数的差值的平方根，a为f(x1)的权重值，f(x2)为当前选取块的validpagecnt有效页数量的值的平方根，b为f(x2)的权重值，f(x3)为当前选取块的readdisturb读取干扰值的平方根，c为f(x3)的权重值，f(x4)为当前选取块的写入数据之后的保持时间的值的平方根，d为f(x4)的权重值。从而确定回收值，根据回收值确定是否触发数据块的垃圾回收。
在回收值达到预设回收阈值的情况下，通过回收机制对数据块进行回收。通过对数据块的多个属性参数，并添加权重，确定数据块的回收值，在回收值达到预设回收阈值的情况下，对数据块进行回收，达到了从数据块的多个属性参数，确定回收的触发条件，对数据块有效回收的目的，从而实现了提高数据块的回收效果，降低回收对数据块的后续使用性能的影响的技术效果，进而解决了现有技术中的存储装置的垃圾回收方法，通过设置较低的空闲空间阈值，作为触发回收机制的条件，导致使用后期垃圾回收的频率越来越高，导致回收效果差，严重影响存储性能的技术问题。
可选的，为多个属性参数添加权重之前，包括：通过机器学习算法确定每个属性参数的权重。
具体的，通过机器学习算法确定每个属性参数的权重包括：通过数据块的历史回收数据，确定在回收机制触发时，多个属性参数的可用权重范围；通过机器学习算法对多种权重组合进行处理，输出权重组合下的数据收敛程度，其中，权重组合包括多个属性参数的可用权重，可用权重为对应的属性参数在可用权重范围内的数值；根据符合预设收敛程度的权重组合，确定每个属性参数的权重。
可选的，通过机器学习算法对多种权重组合进行处理，输出权重组合下的数据收敛程度之前，还包括：确定机器学习算法；通过历史回收数据选取多组不同的训练数据和验证数据，对机器学习算法进行训练和交叉验证；选取验证数据中验证结果最好的超参数，作为机器学习算法的超参数。
本实施例中的上述机器学习算法可以为knn算法，knn算法的时间复杂度为o(d*n*n)。其中d为维度数，n为样本总数。参数一般分为模型参数和超级参数。模型参数是需要通过不断的调整模型和超参数训练得到的最佳参数。而超参数则可以是人为手动设定的值，上述维度数d为超参数。通过交叉验证选择合适的d的值。交叉验证指的是将训练数据集进一步分成训练数据和验证数据，选择在验证数据里面最好的超参数组合。交叉验证其实就是调参。像在knn中超参数就是d的值。可以通过交叉验证的方式，选择一组最好的d值作为模型最终的d值。从而使得knn算法更加合理和准确，从而提高了多个属性参数的权重的准确性。
可选的，在回收值达到预设回收阈值的情况下，通过回收机制对数据块进行回收包括：触发垃圾回收算法；通过垃圾回收算法对数据块进行垃圾回收处理。
上述垃圾回收算法可以为gc算法。在触发垃圾回收算法后，通过gc算法对上述数据块进行垃圾回收处理。
可选的，还包括：在回收值未达到预设回收阈值的情况下，在预定时间对数据块的回收值进行再次确定。
需要说明的是，本申请实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。
一次完整的垃圾回收gc(garbagecollection)操作包括三个步骤：1、选择需要回收的失效目标块；2、迁移目标块中的数据到其他块中；3、擦除目标块。为了提升盘后期性能，最大程度降低gc对性能的影响，优化gc的触发条件尤为重要。
本实施方式提供了一种基于机器学习的固态存储垃圾回收算法效率优化方法，提高gc垃圾回收的效率，提高满盘状态下的盘的性能，减少盘的寿命的损失。
通过机器学习，分析训练数据，找到对应的最佳权重，t＝af(x1) bf(x2) cf(x3) df(x4)。
其中的a，b，c，d通过机器学习knn强化训练得到的权重值，针对toshibath58tf71v23ba8hnand颗粒，擦除次数erasecnt以10为一个step，有效页数量validpagecnt以32为一个step，读取干扰值readdisturb以10k为一个step，具体如表1所示，表1是各项属性参数的权重对应表。
表1各项属性参数的权重对应表
f(x1)为当前选取的块与avgerasecnt平均擦除次数的差值的平方根。a为权重值，这个值需要通过机器学习训练得到。对于回收块和平均erasecnt的差值，是一个范围，当范围约束过于严苛，会导致数据块因为触发erasecnt的条件而进入回收，因此会影响回收的效率；当范围过于宽泛，又会导致块损耗不均衡，个别数据块过损耗而成为坏块。
f(x2)为当前选取块的validpagecnt有效页数量的值的平方根。b为权重值，这个值需要通过机器学习训练得到。validpagecnt对于垃圾回收非常重要，逻辑块中有效页越少回收效率越高，但是，需要均衡validpagecnt触发的回收，以及erasecnt和readdisturb以及retention触发回收之间的权重比，这会影响整个回收算法的效率和写入性能。
f(x3)为当前选取块的readdisturb读取干扰值的平方根。c为权重值，这个值需要通过机器学习训练得到。readdisturb的值是由当前数据块的读次数和erasecnt决定，这是通过不断的nand测试实验得到的一个数据库，最终拟合而成得一组算法结果。
f(x4)为当前选取块的时间的值的平方根。d为权重值，这个值需要通过机器学习训练得到。retention的值主要是由数据写入之后的保持时间和erasecnt以及环境温度决定，目前的拟合值是通过海量nand测试的结果获得。
knn算法的时间复杂度为o(d*n*n)。其中d为维度数，n为样本总数。从时间复杂度上可以很清楚的就知道knn非常不适合高维度的数据集，容易发生维度爆炸的情况。同时也发现了一个问题在关于d的选择上面。图2是根据本发明实施方式的交叉验证时验证数据和训练数据的示意图，如图2所示，通过交叉验证选择合适的k的值。交叉验证指的是将训练数据集进一步分成训练数据和验证数据，选择在验证数据里面最好的超参数组合。交叉验证其实就是调参。参数一般分为模型参数和超级参数。模型参数是需要通过不断的调整模型和超参数训练得到的最佳参数。而超参数则是人为手动设定的值。像在knn中超参数就是k的值。可以通过交叉验证的方式，选择一组最好的k值作为模型最终的k值。
通过设置不同的abcd权重值，训练数据并制作绘点查看点的分布图。
图3是根据本发明实施方式的一种权重下的数据分布的示意图，如图3所示，当a＝a1，b＝b1c＝c1d＝d1的时候，数据分布较为分散，收敛度较小；图4是根据本发明实施方式的另一种权重下的数据分布的示意图，如图4所示，当a＝a2，b＝b2,c＝c2,d＝d2的时候，数据分布较为集中，收敛度高，最终通过大量的训练模型，找出最佳的权重值和阈值t。
本实施方式能够把nand特性更好的融合，gc的时候可以综合几种特性考虑gc源块。
图5是根据本发明实施例的一种存储装置的垃圾回收装置的示意图，如图5所示，根据本发明实施例的另一方面，还提供了一种存储装置的垃圾回收装置，包括：获取模块52，加权模块54，确定模块56和回收模块58，下面对该装置进行详细说明。
获取模块52，用于获取存储装置的数据块的多个属性参数；加权模块54，用于为多个属性参数添加权重，其中，每个属性参数的均对应有权重；确定模块56，用于根据多个属性参数以及对应的权重，确定数据块的回收值；回收模块58，用于在回收值达到预设回收阈值的情况下，通过回收机制对数据块进行回收。
通过上述装置，采用获取模块52获取存储装置的数据块的多个属性参数；加权模块54为多个属性参数添加权重，其中，每个属性参数均对应有权重；确定模块56根据多个属性参数以及对应的权重，确定数据块的回收值；回收模块58在回收值达到预设回收阈值的情况下，通过回收机制对数据块进行回收的方式，通过对数据块的多个属性参数，并添加权重，确定数据块的回收值，在回收值达到预设回收阈值的情况下，对数据块进行回收，达到了从数据块的多个属性参数，确定回收的触发条件，对数据块有效回收的目的，从而实现了提高数据块的回收效果，降低回收对数据块的后续使用性能的影响的技术效果，进而解决了现有技术中的存储装置的垃圾回收方法，通过设置较低的空闲空间阈值，作为触发回收机制的条件，导致使用后期垃圾回收的频率越来越高，导致回收效果差，严重影响存储性能的技术问题。
根据本发明实施例的另一方面，还提供了一种计算机存储介质，计算机存储介质包括存储的程序，其中，在程序运行时控制计算机存储介质所在设备执行上述中任意一项的存储装置的垃圾回收方法。
根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的存储装置的垃圾回收方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
1.一种存储装置的垃圾回收方法，其特征在于，包括：
获取存储装置的数据块的多个属性参数；
为所述多个属性参数添加权重，其中，每个属性参数均对应有权重；
根据所述多个属性参数以及对应的权重，确定所述数据块的回收值；
在所述回收值达到预设回收阈值的情况下，通过回收机制对所述数据块进行回收。
2.根据权利要求1所述的方法，其特征在于，所述属性参数包括下列至少之一：擦除次数，擦除次数与平均擦除次数的差，有效页数量，读取干扰值，写入数据之后的保持时间。
3.根据权利要求1所述的方法，其特征在于，为所述多个属性参数添加权重之前，包括：
通过机器学习算法确定每个所述属性参数的权重。
4.根据权利要求3所述的方法，其特征在于，通过机器学习算法确定每个所述属性参数的权重包括：
通过所述数据块的历史回收数据，确定在回收机制触发时，多个属性参数的可用权重范围；
通过机器学习算法对多种权重组合进行处理，输出所述权重组合下的数据收敛程度，其中，所述权重组合包括多个属性参数的可用权重，所述可用权重为对应的属性参数在所述可用权重范围内的数值；
根据符合预设收敛程度的权重组合，确定每个所述属性参数的所述权重。
5.根据权利要求4所述的方法，其特征在于，通过机器学习算法对多种权重组合进行处理，输出所述权重组合下的数据收敛程度之前，还包括：
确定所述机器学习算法；
通过所述历史回收数据选取多组不同的训练数据和验证数据，对所述机器学习算法进行训练和交叉验证；
选取验证数据中验证结果最好的超参数，作为所述机器学习算法的超参数。
6.根据权利要求1所述的方法，其特征在于，在所述回收值达到预设回收阈值的情况下，通过回收机制对所述数据块进行回收包括：
触发垃圾回收算法；
通过垃圾回收算法对所述数据块进行垃圾回收处理。
7.根据权利要求1所述的方法，其特征在于，根据所述多个属性参数以及对应的权重，确定所述数据块的回收值包括：
确定每个属性参数的平方根；
将多个属性参数的所述平方根和对应的权重的乘积进行求和，确定所述回收值。
8.一种存储装置的垃圾回收装置，其特征在于，包括：
获取模块，用于获取存储装置的数据块的多个属性参数；
加权模块，用于为所述多个属性参数添加权重，其中，每个属性参数的均对应有权重；
确定模块，用于根据所述多个属性参数以及对应的权重，确定所述数据块的回收值；
回收模块，用于在所述回收值达到预设回收阈值的情况下，通过回收机制对所述数据块进行回收。
9.一种计算机存储介质，其特征在于，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至7中任意一项所述的存储装置的垃圾回收方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的存储装置的垃圾回收方法。
技术总结