相关申请的交叉引用
本申请基于2019年9月11日向韩国知识产权局提交的第10-2019-0112920号韩国专利申请并要求其优先权，该申请的公开内容通过引用整体结合于此。
本公开涉及一种半导体存储器，并且更具体地，涉及一种存储设备及操作该存储设备的方法。
背景技术：
存储设备可以包括非易失性存储器。即使断电，存储设备也可以保留存储的数据。因此，存储设备可用于长期数据存储。存储设备可以用作各种电子设备(诸如计算机、智能电话和智能板)中的主存储库。
随着移动设备变得更小，更小的存储设备被开发出来。因此，最终的工艺小型化增加了晶圆中的芯片的数量、芯片中的块的数量以及块中的字线的数量。晶圆、芯片或块中的元件的集成度的增加也增加了相邻芯片之间、相邻块之间以及相邻字线之间发生的特征变化。
技术实现要素：
根据实施例，一种存储设备包括：特征信息数据库，被配置为存储关于存储器设备的特征信息；以及机器学习模块，被配置为基于特征信息从与存储器设备的操作相对应的多个机器学习模型中选择机器学习模型，其中该存储器设备被配置为根据所选择的机器学习模型来进行操作。
根据实施例，一种操作存储设备的方法包括：确定用于存储器设备的操作的一个或多个机器学习模型是否包括多个机器学习模型；基于确定一个或多个机器学习模型包括多个机器学习模型，确定关于存储器设备的间接信息；基于关于存储器设备的直接信息或关于存储器设备的间接信息当中的至少一个，从一个或多个机器学习模型中选择机器学习模型；以及根据机器学习模型来执行推断。
根据实施例，一种存储设备包括：存储器设备；以及存储控制器，被配置为：基于关于存储器设备的特征信息从多个机器学习模型中选择机器学习模型，根据所选择的机器学习模型来执行推断，以及根据存储器设备中的实际测量值和基于特征信息的所选择的机器学习模型的预测值之间的误差来调整所选择的机器学习模型。
附图说明
结合附图，从下面的详细描述中，这些和其他方面将变得明显并且更容易理解，其中：
图1是根据实施例的存储设备100的框图。
图2至图5是示出根据实施例的操作存储设备的方法的流程图。
图6是用于解释根据实施例的存储设备中的非易失性存储器的特征和机器学习模型之间的关系的示图。
图7是用于解释根据实施例的存储设备中的非易失性存储器的特征和机器学习模型之间的关系的示图。
图8是用于解释根据实施例的强化学习模型的概念图。
图9是根据实施例的计算系统的框图。
具体实施方式
实施例提供了能够反映存储设备的各种特征变化的存储设备、包括该存储设备的计算系统以及操作该存储设备的方法。
图1是根据实施例的存储设备100的框图。
参考图1，根据实施例的存储设备100可以被实施为，但不限于，智能卡、安全数字(securedigital，sd)卡、多媒体卡(multimediacard，mmc)、嵌入式mmc(embeddedmmc，emmc)、嵌入式多芯片封装(embeddedmulti-chippackage，emcp)、完美页面nand(perfectpagenand，ppn)、通用闪存(universalflashstorage，ufs)、通用串行总线(universalserialbus，usb)闪存驱动器、固态驱动器(solidstatedrive，ssd)或嵌入式ssd(embeddedssd，essd)。
存储设备100可以包括机器学习(machinelearning，ml)模块110、存储器设备150和特征信息数据库160。如本文所使用的术语“模块”意味着，但不限于，执行特定任务的软件或硬件组件，诸如现场可编程门阵列(fieldprogrammablegatearray，fpga)或专用集成电路(applicationspecificintegratedcircuit，asic)。模块可以有利地被配置为驻留在可寻址存储介质上，并被配置为在一个或多个处理器上执行。因此，作为示例，模块可以包括组件(诸如软件组件、面向对象的软件组件、类组件和任务组件)、进程、函数、属性、过程、子例程、程序代码段、驱动器、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。组件和模块中提供的功能可以被组合为更少的组件和模块，或者被进一步分离为附加的组件和模块。
例如，存储器设备150可以是基于非易失性存储器(nonvolatilememory，nvm)的设备，例如nand闪存。存储器器件150可以包括存储器单元阵列，存储器单元阵列可以包括多个块，该块中的每一个可以包括多个页面，并且该页面中的每一个可以包括非易失性存储器单元。
机器学习模块110可以根据存储器设备150的操作来机器学习关于存储器设备150的特征信息，以便使存储器设备150能够更有效地操作。机器学习模块110可以基于存储在特征信息数据库160中的特征信息为存储器设备150的操作选择最优机器学习模型。存储器设备150可以根据所选择的最优机器学习模型来进行操作。
根据实施例，当根据最优机器学习模型来控制存储器设备150的操作时，如果关于存储器设备150和存储器设备150的操作的测量特征信息与基于当前特征信息的最优机器学习模块的预测值相差超过预定范围，则机器学习模块110可以调整所选择的最优机器学习模型的参数。
根据实施例，当根据最优机器学习模型来控制存储器设备150的操作时，如果关于存储器设备150的测量特征信息与所选择的机器学习模块的预测值相差超过预定范围，则代替所选择的机器学习模型，可以选择使测量特征信息和预测值之间的误差最小化的另一机器学习模型。
特征信息数据库160可以包括关于存储器设备150的特征信息。也就是说，特征信息数据库160可以包括关于每个存储器单元、每个页面和每个块的特征信息。
即使通过相同的工艺制造存储器单元，存储器单元也可能具有稍微不同的特征。特征信息可以包括能够表示每个存储器单元的特征的所有数据。
根据实施例，如图1所示，特征信息可以包括物理信息161、退化(degradation)信息162和剖析(profiling)信息163。
物理信息161可以是关于每个存储器单元的物理特征的固定信息。例如，物理信息161可以包括批次(lot)标识(id)、芯片编号、块地址和字线编号。然而，根据当前实施例的物理信息161不限于该示例。
退化信息162可以是指示每个存储器单元根据其操作而退化的程度的信息。也就是说，退化信息162是关于退化进程的日志信息。退化信息可以包括表示退化程度的各种值，例如，编程/擦除(program/erase，pe)周期、读取计数、保持时间、编程时间和编程/读取温度。然而，根据当前实施例的退化信息162不限于该示例。
剖析信息163可以是指示每个存储器单元抗退化的强度的信息。例如，剖析信息163可以包括抗保持的强度、抗读取的强度、抗温度的强度和抗pe周期的强度，并且甚至可以包括测量值和根据机器学习模型的关于每个存储器单元的各种特征信息的预测值之间的误差信息。然而，根据当前实施例的剖析信息163不限于该示例。
机器学习模块110可以包括模型池111、模型选择器112和模型调整器113。
模型池111可以存储两个或更多个机器学习模型。机器学习模型中的每一个可以是使用基于关于每个存储器单元的各种特征信息的、与存储器设备150的操作相关的训练数据而训练的模型。根据各种实施例，训练数据可以基于存储在特征信息数据库160中的特征信息，可以基于由用户在设计时预设的特征信息，或者可以基于在存储器设备150的操作期间实时监测和收集的关于存储器单元的特征信息。
模型池111可以包括基于关于存储器设备150本身的或者在存储器设备150的操作中测量的特征信息的机器学习模型。此外，根据实施例，模型池111还可以包括虚拟机器学习模型，该虚拟机器学习模型基于通过考虑关于存储器设备150的特征信息的变化趋势的可预测范围的合成数据。稍后将参考图4更详细地描述存储在模型池111中的机器学习模型的示例。
模型选择器112可以从特征信息数据库160接收关于存储器设备150的当前特征信息，并基于接收到的特征信息来选择至少一个机器学习模型。稍后将参考图3描述从多个机器学习模型中选择至少一个最优机器学习模型的示例。
在一些实施例中，模型选择器112可以是映射表，其中关于存储器设备150的特征信息与机器学习模型进行匹配。以映射表的形式实施的模型选择器112可以节省选择最优机器学习模型所需的时间和成本。
在一些实施例中，模型选择器112可以根据预测值和测量值之间的误差，从应用了关于存储器设备150的特征信息的机器学习模型中选择机器学习模型。也就是说，在执行用于测量存储器设备150中的测量值和每个机器学习模型的预测值之间的误差的剖析操作之后，可以选择最优机器学习模型。
在一些实施例中，可以基于关于存储器设备150的当前特征信息来选择两个或更多个机器学习模型。在这种情况下，模型选择器112可以基于关于存储器设备150的当前特征信息根据映射表来选择两个或更多个机器学习模型作为候选，并通过将当前候选信息应用于该候选来选择使测量值和预测值之间的误差最小化的最优机器学习模型。
机器学习模块110可以执行推断，即，根据最优机器学习模型来控制存储器设备150的操作。
模型调整器113可以在存储设备100运行时间期间调整由模型选择器112选择的机器学习模型。
在一些实施例中，模型调整器113可以根据预设规则来调整机器学习模型。例如，当测量值和机器学习模型的预测值不同时，具体地，当测量值和预测值之间的误差大于预设阈值范围时，调整所选择的机器学习模型的参数。也就是说，可以增大或减小至少一个参数。
在一些实施例中，模型调整器113可以使用强化学习技术来调整所选择的机器学习模型。稍后将参考图5详细描述强化学习技术的示例。
模型调整器113可以将存储在模型池111中的当前机器学习模型更新为经调整的机器学习模型。
图2至图5是示出根据实施例的操作存储设备的方法的流程图。
首先，参考图2，在操作s10，存储设备100可以确定是否存在多个机器学习模型。例如，参考图1，存储设备100可以检查是否存在用于控制存储器设备150的操作的多个机器学习模型。
如果存在两个或更多个机器学习模型，则可以执行操作以选择最适合于存储器设备的操作的机器学习模型。具体地，在操作s20，存储设备100可以确定是否存在关于存储器设备的间接信息。如果不存在间接信息，则在操作s40，可以仅基于直接信息来选择最优机器学习模型。
然而，如果存在间接信息，则在操作s30，可以基于间接信息和直接信息两者来选择最优机器学习模型。直接信息可以包括能够在没有任何操作的情况下获得的关于存储器设备的信息，例如，图1的物理信息161和退化信息162。间接信息可以包括在根据存储器设备的操作对直接信息进行预处理之后获得的信息，例如，图1的剖析信息163。
在操作s30，可以通过综合考虑存储器设备的特征数据库和机器学习模型池来选择最优机器学习模型。例如，可以从图1的存储设备100中的机器学习模块110中选择最优机器学习模型。
在一些实施例中，在操作s31，可以基于映射表根据直接信息和间接信息来选择最优机器学习模型。在一些实施例中，在操作s32，可以根据奖励(reward)，即每个机器学习模型的预测值和测量值之间的误差，选择最优机器学习模型。在一些实施例中，可以使用混合方法来选择最优机器学习模型。具体地，在操作s33，可以基于映射表来选择两个或更多个机器学习模型作为候选，并且然后可以根据奖励从该候选中选择最优机器学习模型。
在一些实施例中，存储设备可以使用机器学习模型来执行推断，即使用强化学习技术来调整机器学习模型，以便更准确地预测操作控制。这里，在操作s50，强化学习技术识别当前选择的机器学习模型的预测值和通过实际应用当前状态而识别的测量值之间的误差，作为奖励。如果误差在阈值th内(这可以意味着小于阈值th)，则在操作s70，存储设备100可以在没有调整的情况下使用所选择的机器学习模型来执行推断。如果误差大于阈值th，则在操作s60，存储设备100可以在运行时间期间调整所选择的机器学习模型。
在其中调整所选择的机器学习模型的操作s60中，可以使用强化学习技术来调整所选择的机器学习模型。经调整的机器学习模型可以有效地应对在设计机器学习模型时无法预见的情况。根据实施例，当测量值和机器学习模型的预测值不同时，具体地，如果误差大于第一阈值范围th1，则可以确定调整是必要的。在操作s51，如果误差等于或小于第一阈值范围th1，则可以确定调整不是必要的。
如果调整是必要的，则在操作s52，存储设备100可以确定误差是否大于第二阈值范围th2。如果误差大于第二阈值范围th2，则在操作s61，存储设备可以重新选择机器学习模型。如果误差等于或小于第二阈值范围th2，则在操作s62，存储设备可以调整所选择的机器学习模型的参数。在实施例中，在操作s62，可以增大或减小至少一个参数。
在操作s70，存储器设备可以使用根据存储器设备的特征而自适应选择的最优机器学习模型来执行推断。具体地，在操作s70，存储设备100可以确定是否已经发生了模型调整。如果尚不存在调整，则在操作s72，可以使用在操作s30中选择的机器学习模型来执行推断。如果已经发生了模型调整，则在操作s73，可以在模型池中反映经调整的机器学习模型，并且在操作s74，可以使用经调整的机器学习模型来执行推断。尽管操作s73和s74是按顺序示出的，但是根据实施例，它们可以被同时执行或者以相反的顺序被执行，例如，s73可以在s74之后被执行。
图6是用于解释根据实施例的存储设备中的非易失性存储器的特征和机器学习模型之间的关系的示图。
存储器设备150可以根据它们的位置具有不同存储器区域的分布，即使它们被相等地退化。在图6中，细实线(模型a)可以表示由于宽的分散(dispersion)宽度而具有相对高的误差位的存储器区域的分散。粗实线(模型b)可以表示由于窄的分散宽度而表现出更大的抗退化的强度的存储器区域的分散。
基于存储器设备150的这些特征，模型选择器112可以基于存储器区域中的退化程度来选择合适的模型，该退化程度可以对应于退化的强度信息。可以通过对存储器区域中的每一个应用相同的退化来获得存储器区域中的退化程度。基于通过特殊剖析动作或通过使用诸如巡读(patrolread)的操作同时检查存储器区域的退化程度而收集的信息，可以对不同存储器区域执行相同的退化。
图7是用于解释根据实施例的存储设备中的非易失性存储器的特征和机器学习模型之间的关系的示图。
参考图7，可以通过使用从存储器设备150的大量块收集的数据针对每条字线wl示出基于单元上(on-cell)计数的读取电平。在图7中，单元上计数可以对应于所示的x轴，并且读取电平可以对应于所示的y轴。如图所示，每条字线可以具有一个单元上计数值和读取电平之间的关系的不同趋势。也就是说，可以基于关于存储器设备150的物理信息和退化信息来生成机器学习模型。
例如，参考模型a至模型c，如果可以通过另外收集存储器单元的不同位置处的单元上计数信息并基于其他物理信息来评估在字线之间发生的变化的趋势，则可以使用至少一个虚拟机器学习模型来识别特征和标签之间的关系。
在一些实施例中，机器学习模型可以用于存储器设备150的整个存储器区域。
在一些实施例中，机器学习模型可以用于存储器设备150的一些不同的存储器区域。这是因为收集大量特征以生成一个机器学习模型例如在诸如ssd设备的环境的实施例中可能是性能开销。
在一些实施例中，机器学习模型可以基于虚拟数据。可以基于大量数据来生成所示的合成数据，该大量数据用于执行学习以生成要被包括在模型池111中的机器学习模型。该合成数据不是测量值，而是根据变化趋势可能实际存在的区域的虚拟数据。虚拟机器学习模型可以基于合成数据来表示变化趋势。如果模型池111还包括虚拟机器学习模型，则模型池111可以具有存储器设备150的操作特征的更广泛的覆盖。
图8是用于解释根据实施例的强化学习模型的概念图。
强化学习可以表示在特定环境中定义的代理(agent)识别当前状态st并从可选择的动作(action)当中选择将奖励rt最大化的动作的情况。
为了不断提高机器学习模型的预测准确度，强化学习可以用于在运行时间中调整机器学习模型。
在实施例中，状态信息可以是存储在存储器设备150的特征信息数据库中的信息。也就是说，状态信息可以是存储器单元位置、物理信息、剖析信息和退化信息(诸如pe周期、保持、施加的温度改变、读取计数等)中的至少一个。
在实施例中，动作可以是改变所选择的机器学习模型的动作或者增大或减小属于所选择的机器学习模型的参数值的动作。
在实施例中，奖励可以是当前选择的机器学习模型的准确度。也就是说，当前选择的机器学习模型的预测值和通过实际应用当前状态而获得的测量值之间的误差程度可以被认为是准确度。
在实施例中，这可以意味着作为奖励的误差越大，准确度越低。因此，如果在代理调整机器学习模型作为动作之后，作为奖励的误差减小，则准确度增加。在这种情况下，代理可以不调整机器学习模型。这是为了仅在必要时执行调整。
模型调整器113可以通过强化学习将存储在模型池111中的当前机器学习模型更新为经调整的机器学习模型。本公开反映了运行时间期间的机器学习模型中的存储器设备150的当前状态，从而提高了机器学习模型的预测准确度。
图9是根据实施例的计算系统的框图。
参考图9，计算系统可以包括主机10和存储设备100。
主机10可以向存储设备100传送存取请求，以向存储设备100写入数据或者读取或删除存储的数据。
存储控制器200可以控制存储器设备150的整体操作。存储控制器200可以解释从主机10提供的命令，并根据解释结果来控制存储器设备150的操作，例如编程、读取或擦除操作。
根据实施例，存储控制器200可以被实施为集成电路(integratedcircuit，ic)或片上系统(systemonchip，soc)。尽管未示出，存储控制器200可以包括总线结构、设备接口、处理器、内部存储器、存储器控制器和缓冲器管理器。
在一些实施例中，存储控制器200可以包括机器学习模块110和特征信息数据库160。这里，特征信息数据库160可以将关于存储器设备150的特征信息存储在存储控制器200的内部存储器中。根据实施例，内部存储器可以被实施为一次性可编程(one-timeprogrammable，otp)存储器、随机存取存储器(randomaccessmemory，ram)、动态ram(dynamicram，dram)、静态ram(staticram，sram)、缓冲器、缓冲存储器、高速缓存或紧密耦合存储器(tightlycoupledmemory，tcm)。
在一些实施例中，存储控制器200可以包括机器学习模块110，并且存储器设备150可以包括特征信息数据库160。
在一些实施例中，存储控制器200可以包括模型选择器112和模型调整器113，并且存储器设备150可以包括模型池111和特征信息数据库160。
在一些实施例中，存储控制器200可以包括机器学习模块110并存储剖析信息163，并且存储器设备150可以存储物理信息161和退化信息162。
在一些实施例中，存储器设备150可以包括机器学习模块110和特征信息数据库160。
如本发明构思领域中的传统，实施例是根据功能块、单元和/或模块来描述的，并在附图中示出。本领域技术人员将理解，这些块、单元和/或模块由电子(或光学)电路(诸如逻辑电路、分立元件、微处理器、硬连线电路、存储元件、布线连接等)物理实施，该电子(或光学)电路可以使用基于半导体的制造技术或其他制造技术形成。在块、单元和/或模块由微处理器等实施的情况下，它们可以使用软件(例如，微码)来编程以执行这里讨论的各种功能，并且可以可选地由固件和/或软件来驱动。或者，每个块、单元和/或模块可以由专用硬件实施，或者作为执行某些功能的专用硬件和执行其他功能的处理器(例如，一个或多个编程的微处理器和相关电路)的组合来实施。此外，在不脱离本发明构思的范围的情况下，实施例的每个块、单元和/或模块可以在物理上被分成两个或更多个相互作用和分立的块、单元和/或模块。此外，在不脱离本发明构思的范围的情况下，实施例的块、单元和/或模块可以物理地组合成更复杂的块、单元和/或模块。
在总结详细描述时，本领域技术人员将理解，在基本不背离本公开的原理的情况下，可以对一些示例实施例进行许多变化和修改。因此，所公开的示例实施例仅在一般和描述性的意义上使用，而不是为了限制的目的。
1.一种存储设备，包括：
特征信息数据库，被配置为存储关于存储器设备的特征信息；以及
机器学习模块，被配置为基于所述特征信息从与所述存储器设备的操作相对应的多个机器学习模型中选择机器学习模型，
其中，所述存储器设备被配置为根据所选择的机器学习模型来进行操作。
2.根据权利要求1所述的存储设备，其中，所述机器学习模块包括：
模型池，包括所述多个机器学习模型；以及
模型选择器，被配置为基于所述特征信息从所述模型池中选择所述机器学习模型。
3.根据权利要求1所述的存储设备，其中，所述特征信息数据库还被配置为存储：
包括关于所述存储器设备的物理信息和根据所述存储器设备的操作的退化信息的直接信息；以及
基于所述直接信息根据所述存储器设备的操作而计算的间接信息。
4.根据权利要求2所述的存储设备，其中，所述模型选择器还被配置为根据映射表基于关于所述存储器设备的所述特征信息来选择所述机器学习模型。
5.根据权利要求2所述的存储设备，其中，所述模型选择器还被配置为：
基于所述特征信息来确定所述多个机器学习模型的多个预测值；
基于所述多个预测值和所述存储器设备中的实际测量值之间的比较来确定多个误差；以及
基于所述多个误差来选择所述机器学习模型。
6.根据权利要求2所述的存储设备，其中，所述模型选择器还被配置为：
基于关于所述存储器设备的所述特征信息，选择所述多个机器学习模型中的至少两个机器学习模型作为候选；以及
通过将关于所述存储器设备的当前特征信息应用于所述候选来选择所述机器学习模型。
7.根据权利要求2所述的存储设备，其中，所述机器学习模块还包括模型调整器，所述模型调整器被配置为在所述存储器设备的运行时间期间调整所述所选择的机器学习模型。
8.根据权利要求7所述的存储设备，其中，所述模型调整器还被配置为增大或减小所述所选择的机器学习模型的参数。
9.根据权利要求7所述的存储设备，其中，所述模型调整器还被配置为重新选择由所述模型选择器选择的所述机器学习模型。
10.根据权利要求1所述的存储设备，其中，所述多个机器学习模型包括基于合成数据而生成的虚拟机器学习模型，其中所述合成数据包括用于执行学习以生成所述多个机器学习模型的训练数据以及虚拟数据。
11.一种操作存储设备的方法，所述方法包括：
确定用于存储器设备的操作的一个或多个机器学习模型是否包括多个机器学习模型；
基于确定所述一个或多个机器学习模型包括所述多个机器学习模型，确定关于所述存储器设备的间接信息；
基于关于所述存储器设备的直接信息或关于所述存储器设备的所述间接信息当中的至少一个，从所述一个或多个机器学习模型中选择机器学习模型；以及
根据所述机器学习模型来执行推断。
12.根据权利要求11所述的方法，其中，所述多个机器学习模型对应于所述存储器设备的不同区域。
13.根据权利要求11所述的方法，还包括通过识别测量值和基于特征信息的所选择的机器学习模型的预测值之间的误差来调整所述所选择的机器学习模型。
14.根据权利要求13所述的方法，其中，对所述所选择的机器学习模型的调整包括改变所述所选择的机器学习模型的参数或基于所述误差大于阈值来改变所述机器学习模型中的至少一个。
15.根据权利要求11所述的方法，其中，所述机器学习模型是根据映射表基于关于所述存储器设备的特征信息而选择的。
16.根据权利要求11所述的方法，其中，所述机器学习模型是通过使所述存储器设备中的实际测量值和基于特征信息的所述机器学习模型的预测值之间的误差最小化而选择的。
17.根据权利要求11所述的方法，其中，所述直接信息包括关于所述存储器设备的物理信息和退化信息，
其中，所述间接信息包括关于所述存储器设备的剖析信息，并且
其中，所述机器学习模型是通过在所述选择的时间处检查所述存储器设备的退化程度而选择的。
18.一种存储设备，包括：
存储器设备；以及
存储控制器，被配置为：
基于关于所述存储器设备的特征信息从多个机器学习模型中选择机器学习模型，
根据所选择的机器学习模型来执行推断，以及
根据所述存储器设备中的实际测量值和基于所述特征信息的所述所选择的机器学习模型的预测值之间的误差来调整所述所选择的机器学习模型。
19.根据权利要求18所述的存储设备，其中，所述存储控制器包括：
机器学习模块，包括所述多个机器学习模型，并且还被配置为基于所述特征信息来选择所述机器学习模型，并调整所述所选择的机器学习模型；以及
特征信息数据库，被配置为存储关于所述存储器设备的所述特征信息。
20.根据权利要求18所述的存储设备，其中，所述存储控制器包括机器学习模块，其中所述机器学习模块包括所述多个机器学习模型，并且还被配置为基于所述特征信息来选择所述机器学习模型，并调整所述所选择的机器学习模型，并且
其中，所述存储器设备包括被配置为存储关于所述存储器设备的所述特征信息的特征信息数据库。
技术总结