本申请涉及显示技术领域，尤其涉及一种基于深度学习的画面色彩调节方法、装置、设备及介质。
背景技术：
在利用手机、投影仪、电视等终端设备观看影片等视频的过程中，用户往往对影片色彩还原度有着较高的要求。然而目前大多数终端设备播放的影片都是根据出厂设置或用户设定好的色彩参数值进行统一设定播放。这样存在的问题是对于某些影片场景，如果采用同一个色彩参数值，会存在偏色的问题。
技术实现要素：
通常，视频画面中场景比较复杂，并且前后帧的变化差异较大。当设定统一的r光源电流值、g光源电流值、b光源电流值、r通道增益(rgain)、b通道增益(bgain)、g通道增益(ggain)、gamma值和/或饱和度值等色彩调节参数值时(r、g和b分别代表红色、绿色和蓝色)，可能会产生偏色的情况。本申请要解决的技术问题是如何根据画面变化自动设置跟色彩相关的参数实时更新色彩，以最真实的还原度来还原色彩。本申请提出一种基于深度学习的画面色彩调节方法、装置、设备及介质，利用大量视频中的画面以及对应的r光源电流值(或rgain)、g光源电流值(或ggain)、b光源电流值(或bgain)、gamma值、饱和度值等跟色彩相关的参数的任意组合对构建好的模型进行训练和测试，旨在让模型对于任意一个视频，可以自动预测当前视频应该调的r光源电流值(或rgain)、g光源电流值(或ggain)、b光源电流值(或bgain)、gamma值和/或饱和度值等跟色彩相关的参数，从而让画面色彩还原度更高。
第一方面，本申请提供一种基于深度学习的画面色彩调节方法，包括：
获取视频画面的图像；
根据所述图像和色彩调节模型获得色彩调节参数目标值；
根据所述色彩调节参数目标值调节画面色彩。
在一种可能的实现方式中，所述根据所述图像和色彩调节模型获得色彩调节参数目标值包括：
将所述图像输入到所述色彩调节模型中，由所述色彩调节模型输出色彩调节参数目标值。
在一种可能的实现方式中，所述根据所述图像和色彩调节模型获得色彩调节参数目标值包括：
获取所述图像的颜色直方图；
将所述颜色直方图输入到所述色彩调节模型中，由所述色彩调节模型输出色彩调节参数目标值。
在一种可能的实现方式中，所述色彩调节模型为包含输入层、卷积层和输出层的卷积神经网络，所述卷积层包括并联的分支一和分支二，分支一和分支二上均设置有卷积核，且分支一和分支二通过一个卷积核汇总输出。
在一种可能的实现方式中，所述分支一采用大卷积核，所述分支二采用小卷积核，大卷积核用于学习输入数据整体的特征信息分布，小卷积核用于学习输入数据局部的特征信息分布。
在一种可能的实现方式中，所述大卷积核的尺寸等于输入数据的尺寸。
在一种可能的实现方式中，所述色彩调节模型是根据视频画面图像样本和对应的色彩调节参数标定值训练得到的。
在一种可能的实现方式中，所述获取视频画面的图像包括：
通过内部接口获取视频单帧画面的图像。
在一种可能的实现方式中，所述色彩调节参数包含以下各项中的一项或多项：
红色光源电流值；
绿色光源电流值；
蓝色光源电流值；
r通道增益；
b通道增益；
g通道增益；
gamma值；
饱和度值。
第二方面，本申请提供一种基于深度学习的画面色彩调节装置，包括：
图像获取模块，用于获取视频画面的图像；
参数目标值计算模块，用于根据所述图像和色彩调节模型获得色彩调节参数目标值；
画面色彩调节模块，用于根据所述色彩调节参数目标值调节画面色彩。
在一种可能的实现方式中，所述参数目标值计算模块包括：
颜色直方图计算子模块，用于获取所述图像的颜色直方图；将所述颜色直方图输入到所述色彩调节模型中，由所述色彩调节模型输出色彩调节参数目标值。
在一种可能的实现方式中，所述色彩调节模型为包含输入层、卷积层和输出层的卷积神经网络，所述卷积层包括并联的分支一和分支二，分支一和分支二上均设置有卷积核，且分支一和分支二通过一个卷积核汇总输出。
在一种可能的实现方式中，所述分支一采用大卷积核，所述分支二采用小卷积核，大卷积核用于学习输入数据整体的特征信息分布，小卷积核用于学习输入数据局部的特征信息分布。
第三方面，本申请提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如第一方面或第一方面的可能的实现方式中所述的基于深度学习的画面色彩调节方法。
第四方面，本申请提供一种存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如第一方面或第一方面的可能的实现方式中所述的基于深度学习的画面色彩调节方法。
需要说明的是，本申请中第二方面所述的基于深度学习的画面色彩调节装置、第三方面所述的终端设备以及第四方面所述的存储介质，用于实现上述第一方面所提供的方法，因此可以达到与第一方面所述的方法相同的有益效果，本申请实施例不再一一赘述。
本申请采用深度学习的方法解决画面的色彩自适应调节问题，利用训练完成的模型预测色彩调节参数目标值，可以根据画面变化自动设置色彩调节参数实时更新色彩，提高画面色彩还原度。此外，本申请采用双分支来学习画面图像的全局和局部信息，使得模型学习更加全面的特征信息，提高预测精度。
附图说明
本申请将通过实施例并参照附图的方式说明，其中：
图1为本申请实施例提供的基于深度学习的画面色彩调节方法流程图；
图2为本申请实施例提供的色彩调节模型的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
在本申请实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。
除非另外定义，本申请使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而是仅用于区分描述，且对应术语的含义可以相同也可以不同。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
下面将结合附图，对本申请中的技术方案进行描述。
本申请实施例中的色彩调节参数可从以下各项中选取：r光源电流值、g光源电流值、b光源电流值、rgain、bgain、ggain、gamma值和饱和度值等与色彩相关的参数。需要注意的是，若使用投影仪播放视频时，对应的是r光源电流值、g光源电流值和b光源电流值，若使用手机播放视频时，没有r光源电流值、g光源电流值和b光源电流值，对应的是rgain、bgain和ggain，即色彩调节参数可根据终端设备的实际情况进行选取。为了简单明了地对本申请的方案进行说明，以下仅以使用投影仪播放视频，且色彩调节参数选取为r光源电流值、g光源电流值和b光源电流值作为示例进行详细说明，但本申请同样适用于使用手机、电视等其他类型终端设备播放视频和色彩调节参数选取为其他参数的情形。
图1为本申请实施例提供的基于深度学习的画面色彩调节方法流程图。如图1所示，基于深度学习的画面色彩调节方法包括以下步骤：
s101.获取视频画面的图像。
当播放影片等视频时，通过系统内部接口可以获取到视频每帧画面的图像。
s102.根据所述图像和色彩调节模型获得色彩调节参数目标值。
在步骤s101获取到视频单帧画面的图像后，可直接将该单帧画面的图像输入到色彩调节模型中，也可先对该单帧画面的图像进行处理得到其颜色直方图，将其颜色直方图输入到色彩调节模型中，然后由色彩调节模型输出色彩调节参数目标值。
本申请可采用卷积神经网络、支持向量机svm等机器学习方法构建色彩调节模型，利用输入数据与对应的人工标注标签不断拟合模型，使得模型对于输入的预测值与标注标签尽可能接近。在本申请实施例中，色彩调节模型采用卷积神经网络，输入数据为视频画面图像样本，人工标注标签即色彩调节参数标定值。色彩调节模型的训练过程主要包括以下步骤：
1.输入数据集制作。这里以视频为影片为例。采集上千张影片单帧画面图像(尽可能覆盖多的色彩场景)，利用投影仪逐张播放每张图像到白墙上。请专业色彩专家调节投影仪rgb电流值(即r光源电流值、g光源电流值和b光源电流值)使每帧投影画面色彩达到其标准，并记录各帧图像对应的rgb电流值。这样可以得到上千张图像和对应的专家标注的rgb电流标定值。本申请实施例采用的图像是rgb图像，在其他实施例中，也可以采用yuv或hsv等其他格式。
2.若色彩调节模型的输入为颜色直方图，则需对步骤1采集的上千张图像数据逐张计算颜色直方图。具体计算方法示例如下：
(1)首先计算单帧画面图像中每个像素的rgb中r和b两个分量与r g b的比值：
r＝r/(r g b)
b＝b/(r g b)
其中，r、g和b分别代表每个像素的红色分量、绿色分量和蓝色分量，如果像素为红色，则r＝255，g＝0，b＝0。
(2)创建一个m*n的二维矩阵，并对矩阵m*n每个值初始化为0，其中，10<＝m<＝40，10<＝n<＝40。
(3)对每个像素计算得到r、b值进行如下计算：
r’＝floor(r*10 0.5)
b’＝floor(b*10 0.5)，其中floor为向下取整，如r＝0.1，r’＝1。在其他一些实施例中，也可以采用向上取整。
(4)得到每个像素的(r’,b’)坐标后，遍历每个像素并在m*n的二维矩阵中对应的(r’,b’)坐标位置加一，这样即可得到单帧画面所有像素的颜色直方图。下面的矩阵为单张图像计算得到的颜色直方图示例，以5*5为例。
1030509080
7010451588
8771565169
5312774098
2410341196
颜色直方图的计算方法也可如下：
(1)首先将单帧画面图像中每个像素的rgb中r、g和b三个分量归一化0-1之间：
r＝r/255
b＝b/255
g＝g/255
(2)创建一个m*n*c的三维矩阵，并对矩阵m*n*c每个值初始化为0，其中，10<＝m<＝40，10<＝n<＝40，10<＝c<＝40。
(3)对每个像素计算得到r、b、g值进行如下计算：
r’＝floor(r*10 0.5)
b’＝floor(b*10 0.5)
g’＝floor(g*10 0.5)，其中，floor为向下取整，如r＝0.1，r’＝1。
(4)得到每个像素的(r’,b’,g’)坐标后，遍历每个像素并在m*n*c的三维矩阵中对应的(r’,b’，g’)坐标位置加一，这样即可得到单帧画面所有像素的颜色直方图。
3.构建卷积神经网络。网络的输入为步骤1采集的上千张图像数据，也可为步骤2对上千张图像数据计算得到的颜色直方图，网络的输出为步骤1专家标注的上千组rgb电流值。网络的输入若为颜色直方图，如下面表示所示，左边为某图像数据计算得到的颜色直方图，右边专家对应为图像数据标定的rgb电流值，这里以(10,15,20)为例。
1030509080
7010451588
8771565169——>(10,15,20)
5312774098
2410341196
卷积神经网络的结构如图2所示，包括输入层、卷积层和输出层，该卷积层分为上、下两个并联的分支。分支一采用大卷积核，卷积核的尺寸可为m*n*1*3，大卷积核可以用来学习m*n的颜色直方图整体的特征信息分布(其中1和3为经验值)。分支二采用小卷积核(尺寸小于大卷积核)来学习颜色直方图局部的特征信息，示例地，小卷积核的尺寸可以为2*2-7*7之间任意尺寸。最终将两个分支通过6*1*1*3的卷积核进行汇总得到最终预测的3个rgb电流值。图中设置有一个大卷积核和两个小卷积核，在其他实施例中，卷积核的尺寸和数量可根据需要进行设置。
若颜色直方图为三维矩阵，则分支一上的大卷积核的尺寸为m*n*c*3(其中3为经验值)。分支二上的小卷积核可以为2*2*2-7*7*7之间任意尺寸。
4.开始训练。采用pytorch或caffe等主流的深度学习框架对步骤3的网络结构进行搭建，并通过框架的接口来进行如下参数设置：
(1)设置网络求解方法(随机梯度下降方法或其他方法)。
(2)设置学习率(学习率一般设置为0.01或更小)。
(3)设置训练次数为10000次，该值可根据具体效果进行设置。
在设置参数后，运行程序从而开始训练。训练过程中会使网络各层的参数不断变化以尽可能拟合输入与标签输出，并使得网络各卷积核的参数收敛到稳定状态。训练完成的网络对每张图像或每张图像的颜色直方图进行卷积计算得到预测的rgb电流值与色彩专家标定的rgb电流值理论上尽可能相近。
训练完成的网络即可做为色彩调节模型对色彩调节参数进行预测。示例地，当投影仪播放影片时，对每帧画面图像计算颜色直方图，并将该颜色直方图输入到色彩调节模型中，即可由色彩调节模型输出预测的rgb电流值。
s103.根据所述色彩调节参数目标值调节画面色彩。
步骤s102得到预测的rgb电流值后，投影仪即可根据该预测rgb电流值对光机进行电流调节，从而让影片的画面色彩更加符合预期。
本申请实施例还提供一种基于深度学习的画面色彩调节装置，该装置用于实现上述实施例涉及的基于深度学习的画面色彩调节方法，可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，例如，用于获取视频画面的图像的图像获取模块；用于根据所述图像和色彩调节模型获得色彩调节参数目标值的参数目标值计算模块；用于根据所述色彩调节参数目标值调节画面色彩的画面色彩调节模块。
在一些实施例中，参数目标值计算模块可包括颜色直方图计算子模块，用于获取所述图像的颜色直方图；将所述颜色直方图输入到所述色彩调节模型中，由所述色彩调节模型输出色彩调节参数目标值。
在一些实施例中，色彩调节模型为包含输入层、卷积层和输出层的卷积神经网络，所述卷积层包括并联的分支一和分支二，分支一和分支二上均设置有卷积核，且分支一和分支二通过一个卷积核汇总输出。优选地，所述分支一采用大卷积核，所述分支二采用小卷积核，大卷积核用于学习输入数据整体的特征信息分布，小卷积核用于学习输入数据局部的特征信息分布。
本申请实施例还提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现上述实施例涉及的基于深度学习的画面色彩调节方法。
本申请实施例还提供一种存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现上述实施例涉及的基于深度学习的画面色彩调节方法。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，部分或全部步骤可以并行执行或先后执行，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，网络设备或者终端设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram)磁碟或者光盘等各种可以存储程序代码的介质。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
1.一种基于深度学习的画面色彩调节方法，其特征在于，包括：
获取视频画面的图像；
根据所述图像和色彩调节模型获得色彩调节参数目标值；
根据所述色彩调节参数目标值调节画面色彩。
2.根据权利要求1所述的一种基于深度学习的画面色彩调节方法，其特征在于，所述根据所述图像和色彩调节模型获得色彩调节参数目标值包括：
将所述图像输入到所述色彩调节模型中，由所述色彩调节模型输出色彩调节参数目标值。
3.根据权利要求1所述的一种基于深度学习的画面色彩调节方法，其特征在于，所述根据所述图像和色彩调节模型获得色彩调节参数目标值包括：
获取所述图像的颜色直方图；
将所述颜色直方图输入到所述色彩调节模型中，由所述色彩调节模型输出色彩调节参数目标值。
4.根据权利要求1所述的一种基于深度学习的画面色彩调节方法，其特征在于，所述色彩调节模型为包含输入层、卷积层和输出层的卷积神经网络，所述卷积层包括并联的分支一和分支二，分支一和分支二上均设置有卷积核，且分支一和分支二通过一个卷积核汇总输出。
5.根据权利要求4所述的一种基于深度学习的画面色彩调节方法，其特征在于，所述分支一采用大卷积核，所述分支二采用小卷积核，大卷积核用于学习输入数据整体的特征信息分布，小卷积核用于学习输入数据局部的特征信息分布。
6.根据权利要求5所述的一种基于深度学习的画面色彩调节方法，其特征在于，所述大卷积核的尺寸等于输入数据的尺寸。
7.根据权利要求1所述的一种基于深度学习的画面色彩调节方法，其特征在于，所述色彩调节模型是根据视频画面图像样本和对应的色彩调节参数标定值训练得到的。
8.根据权利要求1所述的一种基于深度学习的画面色彩调节方法，其特征在于，所述获取视频画面的图像包括：
通过内部接口获取视频单帧画面的图像。
9.根据权利要求1所述的一种基于深度学习的画面色彩调节方法，其特征在于，所述色彩调节参数包含以下各项中的一项或多项：
红色光源电流值；
绿色光源电流值；
蓝色光源电流值；
r通道增益；
b通道增益；
g通道增益；
gamma值；
饱和度值。
10.一种基于深度学习的画面色彩调节装置，其特征在于，包括：
图像获取模块，用于获取视频画面的图像；
参数目标值计算模块，用于根据所述图像和色彩调节模型获得色彩调节参数目标值；
画面色彩调节模块，用于根据所述色彩调节参数目标值调节画面色彩。
11.根据权利要求10所述的一种基于深度学习的画面色彩调节装置，其特征在于，所述参数目标值计算模块包括：
颜色直方图计算子模块，用于获取所述图像的颜色直方图；将所述颜色直方图输入到所述色彩调节模型中，由所述色彩调节模型输出色彩调节参数目标值。
12.根据权利要求10所述的一种基于深度学习的画面色彩调节装置，其特征在于，所述色彩调节模型为包含输入层、卷积层和输出层的卷积神经网络，所述卷积层包括并联的分支一和分支二，分支一和分支二上均设置有卷积核，且分支一和分支二通过一个卷积核汇总输出。
13.根据权利要求12所述的一种基于深度学习的画面色彩调节装置，其特征在于，所述分支一采用大卷积核，所述分支二采用小卷积核，大卷积核用于学习输入数据整体的特征信息分布，小卷积核用于学习输入数据局部的特征信息分布。
14.一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1-9中任一项所述的基于深度学习的画面色彩调节方法。
15.一种存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1-9中任一项所述的基于深度学习的画面色彩调节方法。
技术总结