基于hsv色彩空间和retinex理论的无正常光照参考的低照度图像增强方法
技术领域
1.本发明属于计算机视觉图像技术领域,尤其是一种基于hsv色彩空间和retinex理论的无正常光照参考的低照度图像增强方法。
背景技术:
2.随着人类物质文化的丰富,人类更乐于使用拍摄照片来记录生活中的场景。然而,由于场景或设备的限制,许多照片都不是在最优的光照条件下拍摄的,其中一个主要的问题就是拍摄照片时处于一个暗光的环境,产生低照度图像。在光线不足的条件下,照片的审美质量下降,人类通过照片可以捕捉到的信息也很少。因此,如何高效地低照度图像进行亮度增强操作,进而提高图像的质量,是计算机视觉领域的一个重要的研究课题。
3.低照度图像增强技术(low-light image enhancement)是指将在暗光条件下拍摄到的图像或欠曝光的图像进行亮度增强,得到正常曝光的图像,是从软件角度解决亮度增强问题的重要技术手段。经过增强的低照度图像可以为计算机更好地观察、分析图像提供重要的技术支持,在监控系统等领域具有非常重要的应用价值。
4.传统的低照度图像增强方法主要有两类:(1)基于直方图均衡化(histogram equalization)的方法。直方图均衡化可以扩大图像的动态范围,从而使亮度得到提升,常见的方法如全局直方图均衡化和局部直方图均衡化。(2)基于retinex理论的方法。retinex理论是指一张图像可以被分解为反射分量和照明分量,反射分量被认为在不同的光照条件下具有一致性。常见的方法包括对照明分量施加高斯平滑的方法单尺度retinex(ssr);对ssr增加多尺度高斯平滑和颜色修复的方法多尺度retinex(msrcr);使用加权变分模型同时估计照明分量和反射分量的方法(srie);使用结构先验知识只估计照明分量,并将反射分量作为最终结果的方法(lime)。虽然这些方法也可以获得较好的结果,但是受限于模型容量,很难将其应用在更广泛的场景,而且整个过程需要人们精心修改各个参数。
5.卷积神经网络是一种专门用来处理具有类似网格结构的数据(例如图像即可以被视为二维的像素网格)的神经网络,已经在大量不同类型的计算机视觉处理任务(如图像分类、目标检测等)中取得成功。与传统方法不同,人们通过大量数据训练卷积神经网络,让网络学习到输入—输出的复杂映射函数。针对训练神经网络的数据类型,基于卷积神经网络的低照度图像增强方法可以分为:(1)有监督学习方法。有监督方法是指在训练卷积神经网络过程中需要成对的低照度图像和正常光照图像,计算低照度图像经过网络的输出结果和正常光照图像之间的差距,从而进一步优化神经网络。例如首先将低照度图像和正常光照图像通过神经网络分解为照明分量和反射分量,约束二者的反射分量一致,再将低照度图像的照明分量经过神经网络进行亮度增强,与反射分量重组得到亮度增强后的图像,约束亮度增强后的与正常光照图像一致(retinex-net)。有监督方法虽然可以获得很好的结果,但是如何获取配对的低照度图像和正常光照图像是一个难点。一种思路是基于正常曝光图像手动调节得到低照度图像,但是这一类的数据集与真实数据还是有一定的差距。另一种
思路是通过调整感光度、曝光时间等方式拍摄真实的成对数据集,但是会出现相机抖动、场景变化等问题,需要对拍摄的数据精心筛选。(2)基于生成对抗网络(gan)的学习方法。生成对抗网络的优点是不需要配对的图像即可完成训练,低照度图像首先通过生成器得到亮度增强的图像,然后通过判别器与真正的正常曝光图像计算损失,由于不是配对图像,判别器往往衡量的是两个图像分布之间的差异。然而,虽然基于生成对抗网路的方法可以有效避免对于配对数据集的需要,但是非配对的数据集同样需要精心挑选,而且训练过程较为繁琐,需要迭代式地训练生成器和判别器。(3)无参考学习方法。无参考学习方法是指在训练神经网络时只使用低照度图像,对神经网络输出的图像进行一些约束,也称为无正常光照图像参考的学习方法。如使用亮度控制约束、空间结构约束、颜色约束、平滑约束等(zero-dce),或与直方图均衡化的结果相比较。例如将低照度图像分解为照明分量和反射分量,通过约束反射分量的最大通道(取每个像素点rgb三个通道值中最大的值重组为一个新的通道)和输入低照度图像的最大通道经过直方图均衡化的结果,得到亮度增强的反射分量作为最终输出。由于不需要正常曝光图像参与训练,因此可以作为训练集的低照度图像数量可以大大增加,该训练方法也成为了最近的研究热点。然而,仍有很多在有监督或基于生成对抗网络的学习方法中使用到的理论尚未被应用在无参考学习方法,并且无参考学习与有监督或基于生成对抗网络的方法仍有许多目标上的不同。
6.对于无参考学习方法来说,所有的信息来自于低照度图像,因此对于颜色信息要尽可能保留低照度图像中的信息,而不是像有监督学习方法调整到正常曝光图片对应的颜色。因此,本发明将低照度图像增强任务分解为颜色保留任务和亮度增强任务。对于颜色保留任务,通过将图像转换到hsv色彩空间将颜色信息与亮度信息解耦,保留其中的颜色信息。对于亮度信息,本发明通过对其扰动得到一组同一场景的不同光照的图像对,通过使用retinex理论中的反射一致性,并配合其他损失来实现亮度增强。
技术实现要素:
7.本发明的目的在于克服现有技术的不足,基于hsv色彩空间和retinex理论,提出一种设计合理的无正常光照参考图像的低照度图像增强方法。
8.本发明解决其技术问题是采取以下技术方案实现的:
9.一种基于hsv色彩空间和retinex理论的无正常光照参考的低照度图像增强方法,包括以下步骤:
10.步骤1:在图像输入阶段,将低照度图像从像素值范围[0,255]归一化到[0,1];
[0011]
步骤2:将步骤1得到的图像从rgb色彩空间转换到hsv色彩空间,并将三通道分离,得到色相分量(h)、饱和度分量(s)、明度分量(v);
[0012]
步骤3:计算步骤2得到的明度分量(v)的平均值,对于平均值≤0.5的图像生成一个指数为[0,1]区间的幂函数,对于平均值>0.5的图像生成一个指数为[1,5]区间的幂函数。将步骤2得到的明度分量(v)通过生成的幂函数进行调整,得到扰动后的明度分量(vd);
[0013]
步骤4:步骤2得到的明度分量(v)和步骤3得到的扰动后的明度分量(vd)通过retinex理论计算得到明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd);
[0014]
步骤5:将步骤2得到的色相分量(h)、饱和度分量(s)与步骤4得到的明度分量的反射分量(r)重组得到hsv色彩空间中的三通道图像;
[0015]
步骤6:将步骤5得到的hsv色彩空间中的三通道图像转换到rgb色彩空间,并调整其像素值范围从[0,1]到[0,255],得到增强后的低照度图像。
[0016]
进一步,所述步骤2的低照度图像从rgb色彩空间转换到hsv色彩空间的具体细节包含以下内容:
[0017]
(1)根据公式计算最大通道(c
max
)、最小通道(c
min
)和对比度(δ):c
max
=max
[0018]
(r,g,b),c
min
=min(r,g,b),δ=c
max-c
min
(其中r、g、b表示rgb色彩空间中的三个通道,下同);
[0019]
(2)根据公式计算色相(h):
[0020][0021]
(3)根据公式计算饱和度(s):
[0022][0023]
(4)根据公式计算明度(v):
[0024]
v=c
max
。
[0025]
进一步,所述步骤4的通过retinex理论获得反射分量的具体细节包含以下内容:
[0026]
(1)将明度分量明度分量(v)和扰动后的明度分量(vd)分别送入卷积神经网络,得到明度分量的照明分量的倒数形式(l)和扰动后的明度分量的照明分量的倒数形式(ld);
[0027]
(2)通过公式r=v
·
l得到明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd);
[0028]
(3)通过计算反射一致性和其他损失约束r、rd、l、ld,优化网络。
[0029]
进一步,所述步骤(1)的卷积神经网络的具体细节为:
[0030]
①
将明度分量输入卷积神经网络的输入模块,输入模块由2个3
×3×
32的卷积层组成,对低照度图像的明度分量进行初步特征提取,输出原始特征图;
[0031]
②
将
①
的输出依次输入4个级联的编码模块,编码模块由下采样、2个卷积层构成。编码模块通过多个卷积层和下采样层对输入的原始特征图进行高层次特征提取,最后输出空间尺寸较小、语义层次较高的特征图;
[0032]
③
将
②
的输出的高层次特征图输入和编码网络对称的4个由双线性插值上采样、2个卷积层构成的解码模块组成解码网络。该模块使用跳连结构,将前层丰富的空间信息和编码模块输出高层特征信息结合,最后获得兼顾空间信息和语义信息的特征图;
[0033]
④
将解码网络的输出特征图经过输出模块的卷积处理,映射到输出的特征维度,输出最终的增强后的明度分量,卷积核的输出通道数和输入模块输入原始图像的通道数一致。
[0034]
进一步,所述步骤
②
的编码模块处理输入特征的具体方法包括以下步骤:
[0035]
a.在每个编码模块的开头,使用2
×
2最大值池化将输入特征图的尺寸降低为原来的1/2,进行空间特征融合,提高卷积网络的感受野,提取更多语义信息;
[0036]
b.使用2个级联的卷积层提取尺寸下降后的特征信息。每个卷积层由1个卷积操作和1个relu激活函数组成。对于卷积操作,在级联的4个编码模块中,使用的卷积核尺寸分别依次是3
×3×
64,3
×3×
128,3
×3×
256,3
×3×
256,并且每个编码模块内部使用相同通道数的卷积核。
[0037]
进一步,所述步骤
③
的解码模块处理输入特征的具体方法包括以下步骤:
[0038]
a.在每个解码模块的起始,对于输入特征图,使用双线性插值法将其尺寸上采样为原来的2倍,通道数量不变,用以逐渐恢复输入原始图像的尺寸;
[0039]
b.取输入模块以及编码模块中和当前解码模块中双线性插值输出空间尺寸一样的特征输出(即编码模块3和解码模块1,编码模块2和解码模块2,编码模块1和解码模块3,输入模块和解码模块3),和当前双线性插值的输出在通道维度进行拼接,输入模块和前三个级联的编码模块输出的通道数量依次分别为32,64,128,256,对称的四个级联的解码模块输入的通道数量分别为256,128,64,32,拼接后通道维数变为512,256,128,64,依次分别作为解码网络后续卷积层的输入,综合利用深层特征图的语义信息和浅层特征图的空间信息;
[0040]
c.在将拼接后的通道数为512,256,128,64的4个特征图依次分别输入4个级联的解码模块的解码卷积层进行特征融合,每个卷积层由1个卷积操作和1个relu激活函数级联组成,解码卷积层将浅层特征图的空间信息和深层特征图的语义信息进行融合,解码卷积层由2个不同卷积核的卷积层构成,在4个级联的解码模块中各自使用的卷积核依次分别是3
×3×
256、3
×3×
128,3
×3×
128、3
×3×
64,3
×3×
64、3
×3×
32,3
×3×
32、3
×3×
32,因此4个级联的解码模块输出的通道数依次分别是128,64,32,32。
[0041]
进一步,所述步骤(3)的计算反射一致性和其他约束的具体细节为:
[0042]
①
计算反射分量一致性约束:根据retinex理论,明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd)应保持一致;
[0043]
②
计算反射分量亮度约束:明度分量的反射分量(r)的平均亮度保持在0.6;
[0044]
③
计算反射分量结构一致性约束:明度分量(v)和其反射分量(r)应具有相似的空间结构;
[0045]
④
计算照明分量平滑约束:根据retinex理论,照明分量应是平滑的。
[0046]
本发明的优点和积极效果是:
[0047]
1、本发明通过将低照度图像从rgb色彩空间转换到hsv色彩空间,实现亮度与颜色的解耦,从而减小了在亮度增强的过程中的颜色信息丢失;
[0048]
2、本发明通过对低照度图像的亮度分量进行扰动,实现了从单张低照度图像恢复出标准光照下的图像,完成无监督低照度增强过程;
[0049]
3、本发明通过恢复标准光照下的图像,实现了对于不同程度光照的低照度图像的泛化能力。
附图说明
[0050]
图1是本发明的整体网络框架,其中权值共享是指两个卷积神经网络使用同样的
参数,一致性是指两个反射分量r和rd保持一致。
[0051]
图2是本发明的亮度增强模块的具体结构图,图中方形为特征图,其上方或下方的数字代表其通道数,黑色空心推进箭头表示3
×
3和relu激活函数,黑色实线实心箭头表示2
×
2最大池化,黑色实线空心箭头表示双线性插值上采样,虚线箭头表示跳连结构,即将箭头左端的特征图直接作用到箭头右端。
具体实施方式
[0052]
以下结合附图对本发明实施例做进一步详述。
[0053]
一种基于hsv色彩空间和retinex理论的无正常光照参考的低照度图像增强方法,如图1至图2所示,包括以下步骤:
[0054]
步骤s1:在图像输入阶段,将低照度图像从像素值范围[0,255]归一化到[0,1];
[0055]
步骤s2:将步骤s1得到的图像从rgb色彩空间转换到hsv色彩空间,并将三通道分离,得到色相分量(h)、饱和度分量(s)、明度分量(v);
[0056]
步骤s2的具体实现方法如下:
[0057]
s2.1根据公式计算最大通道(c
max
)、最小通道(c
mi
)和对比度(δ):c
max
=max
[0058]
(r,g,b),c
min
=min(r,g,b),δ=c
max-c
mib
(其中r、g、b表示rgb色彩空
[0059]
间中的三个通道,下同);
[0060]
s2.2根据公式计算色相(h):
[0061][0062]
s2.3根据公式计算饱和度(s):
[0063][0064]
s2.4根据公式计算明度(v):
[0065]
v=c
max
。
[0066]
步骤s3:计算步骤2得到的明度分量(v)的平均值,对于平均值≤0.5的图像生成一个指数为[0,1]区间的幂函数,对于平均值>0.5的图像生成一个指数为[1,5]区间的幂函数。将步骤s2得到的明度分量(v)通过生成的幂函数进行调整,得到扰动后的明度分量(vd);
[0067]
步骤s4:步骤s2得到的明度分量(v)和步骤s3得到的扰动后的明度分量(vd)通过retinex理论计算得到明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd);
[0068]
步骤s4的具体实现方法如下:
[0069]
s4.1将明度分量明度分量(v)和扰动后的明度分量(vd)分别送入卷积神经网络,在图1中表示为权值共享的两个卷积神经网络,得到明度分量的照明分量的倒数形式(l)和
扰动后的明度分量的照明分量的倒数形式(ld);
[0070]
步骤s4.1的具体实现方法如下:
[0071]
s4.1.1将明度分量输入卷积神经网络的输入模块,输入模块由2个3
×3×
32的卷积层组成,对低照度图像的明度分量进行初步特征提取,输出原始特征图;
[0072]
s4.1.2将s4.1.1的输出依次输入4个级联的编码模块,编码模块由下采样、2个卷积层构成。编码模块通过多个卷积层和下采样层对输入的原始特征图进行高层次特征提取,最后输出空间尺寸较小、语义层次较高的特征图;
[0073]
步骤s4.1.2的具体实现方法如下:
[0074]
s4.1.2.1在每个编码模块的开头,使用2
×
2最大值池化将输入特征图的尺寸降低为原来的1/2,如图2中的黑色实线实心箭头,进行空间特征融合,提高卷积网络的感受野,提取更多语义信息;
[0075]
s4.1.2.2使用2个级联的卷积层提取尺寸下降后的特征信息。每个卷积层由1个卷积操作和1个relu激活函数组成,如图2中的黑色空心推进箭头。对于卷积操作,在级联的4个编码模块中,使用的卷积核尺寸分别依次是3
×3×
64,3
×3×
128,3
×3×
256,3
×3×
256,并且每个编码模块内部使用相同通道数的卷积核,特征图通道数标注在图2中每个特征图上方或下方。
[0076]
s4.1.3将s4.1.2的输出的高层次特征图输入和编码网络对称的4个由双线性插值上采样、2个卷积层构成的解码模块组成解码网络。该模块使用跳连结构,将前层丰富的空间信息和编码模块输出高层特征信息结合,最后获得兼顾空间信息和语义信息的特征图;
[0077]
步骤s4.1.3的具体实现方法如下:
[0078]
s4.1.3.1在每个解码模块的起始,对于输入特征图,使用双线性插值法将其尺寸上采样为原来的2倍,通道数量不变,如图2中的黑色实线空心箭头,用以逐渐恢复输入原始图像的尺寸;
[0079]
s4.1.3.2取输入模块以及编码模块中和当前解码模块中双线性插值输出空间尺寸一样的特征输出(即编码模块3和解码模块1,编码模块2和解码模块2,编码模块1和解码模块3,输入模块和解码模块3),如图2中的虚线跳连结构,和当前双线性插值的输出在通道维度进行拼接,输入模块和前三个级联的编码模块输出的通道数量依次分别为32,64,128,256,对称的四个级联的解码模块输入的通道数量分别为256,128,64,32,拼接后通道维数变为512,256,128,64,依次分别作为解码网络后续卷积层的输入,综合利用深层特征图的语义信息和浅层特征图的空间信息;
[0080]
s4.1.3.3在将拼接后的通道数为512,256,128,64的4个特征图依次分别输入4个级联的解码模块的解码卷积层进行特征融合,每个卷积层由1个卷积操作和1个relu激活函数级联组成,如图2中的黑色空心推进箭头,解码卷积层将浅层特征图的空间信息和深层特征图的语义信息进行融合,解码卷积层由2个不同卷积核的卷积层构成,在4个级联的解码模块中各自使用的卷积核依次分别是3
×3×
256、3
×3×
128,3
×3×
128、3
×3×
64,3
×3×
64、3
×3×
32,3
×3×
32、3
×3×
32,因此4个级联的解码模块输出的通道数依次分别是128,64,32,32,特征图通道数标注在图2中每个特征图上方或下方。
[0081]
s4.1.4将解码网络的输出特征图经过输出模块的卷积处理,映射到输出的特征维度,输出最终的增强后的明度分量,卷积核的输出通道数和输入模块输入原始图像的通道
数一致。
[0082]
s4.2通过公式r=v
·
l得到明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd);
[0083]
s4.3通过计算反射一致性和其他损失约束r、rd、l、ld,优化网络。
[0084]
步骤s4.3的具体实现方法如下:
[0085]
s4.3.1计算反射分量一致性约束:根据retinex理论,明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd)应保持一致,在图1中表示为r和rd的一致性;
[0086]
s4.3.2计算反射分量亮度约束:明度分量的反射分量(r)的平均亮度保持在0.6;
[0087]
s4.3.3计算反射分量结构一致性约束:明度分量(v)和其反射分量(r)应具有相似的空间结构;
[0088]
s4.3.4计算照明分量结构平滑约束:根据retinex理论,照明分量应是平滑的。
[0089]
步骤s5:将步骤s2得到的色相分量(h)、饱和度分量(s)与步骤s4得到的明度分量的反射分量(r)重组得到hsv色彩空间中的三通道图像;
[0090]
步骤s6:将步骤s5得到的hsv色彩空间中的三通道图像转换到rgb色彩空间,并调整其像素值范围从[0,1]到[0,255],得到增强后的低照度图像。
[0091]
通过以上步骤即可得到低照度增强后的图像。
[0092]
最后,我们通过最小化明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd)的一致性,明度分量的反射分量(r)的亮度、结构一致性,明度分量的照明分量倒数形式(l)的结构平滑的损失和为目标训练网络,使用psnr(peak signal to noise ratio,峰值信噪比)和ssim(structural similarity index,结构相似性)评价网络性能。
[0093]
测试环境:python 3.6;pytorch深度学习框架;ubuntu16.04系统;nvidia gtx 1080ti gpu。
[0094]
测试序列:所选数据集是从sice part2数据集中对每个图像序列随机取前三分之一的一张低照度图像,共得到229张低照度图像及其真值图像。
[0095]
测试方法:通过训练得到低照度图像增强模型,使用上述数据集进行测试,计算评价指标数据。
[0096]
测试指标:本发明使用psnr、ssim等指标进行评测。对当今流行的不同算法计算这些指标数据然后进行结果对比,证明本发明在低照度图像增强领域能够得到较好的结果。
[0097]
测试结果:
[0098]
表1.本发明与其他算法在sice数据集下的性能比较(psnr/ssim)
[0099]
算法psnrssimsrie14.410.54lime16.170.57li et al.15.190.54retinexnet15.990.53wang et al.13.520.49enlightengan16.210.59zero-dce16.600.62本发明18.110.63
[0100]
本发明未述及之处适用于现有技术。
[0101]
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。
技术特征:
1.基于hsv色彩空间和retinex理论的无正常光照参考的低照度图像增强方法,其特征在于包括以下步骤:步骤1:在图像输入阶段,将低照度图像从像素值范围[0,255]归一化到[0,1];步骤2:将步骤1得到的图像从rgb色彩空间转换到hsv色彩空间,并将三通道分离,得到色相分量(h)、饱和度分量(s)、明度分量(v);步骤3:计算步骤2得到的明度分量(v)的平均值,对于平均值≤0.5的图像生成一个指数为[0,1]区间的幂函数,对于平均值>0.5的图像生成一个指数为[1,5]区间的幂函数。将步骤2得到的明度分量(v)通过生成的幂函数进行调整,得到扰动后的明度分量(vd);步骤4:步骤2得到的明度分量(v)和步骤3得到的扰动后的明度分量(vd)通过retinex理论计算得到明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd);步骤5:将步骤2得到的色相分量(h)、饱和度分量(s)与步骤4得到的明度分量的反射分量(r)重组得到hsv色彩空间中的三通道图像;步骤6:将步骤5得到的hsv色彩空间中的三通道图像转换到rgb色彩空间,并调整其像素值范围从[0,1]到[0,255],得到增强后的低照度图像。2.根据权利要求1所述的基于hsv色彩空间和retinex理论的无正常光照参考的低照度图像增强方法,其特征在于,所述步骤2的从rgb转换到hsv色彩空间的具体方法包括以下步骤:(1)根据公式计算最大通道(c
max
)、最小通道(c
min
)和对比度(δ):c
max
=max(r,g,b),c
min
=min(r,g,b),δ=c
max-c
min
(其中r、g、b表示rgb色彩空间中的三个通道,下同);(2)根据公式计算色相(h):(3)根据公式计算饱和度(s):(4)根据公式计算明度(v):v=c
max
。3.根据权利要求1所述的基于hsv色彩空间和retinex理论的无正常光照参考的低照度图像增强方法,其特征在于,所述步骤4的通过retinex理论获得反射分量的具体方法包括以下步骤:(1)将明度分量明度分量(v)和扰动后的明度分量(vd)分别送入卷积神经网络,得到明度分量的照明分量的倒数形式(l)和扰动后的明度分量的照明分量的倒数形式(ld);(2)通过公式r=v
·
l得到明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd);
(3)通过计算反射一致性和其他损失约束r、rd、l、ld,优化网络。4.根据权利要求3所述的通过retinex理论获得反射分量的具体方法,其特征在于,所述步骤(1)的卷积神经网络具体包括以下步骤:
①
将明度分量输入卷积神经网络的输入模块,输入模块由2个3
×3×
32的卷积层组成,对低照度图像的明度分量进行初步特征提取,输出原始特征图;
②
将
①
的输出依次输入4个级联的编码模块,编码模块由下采样、2个卷积层构成。编码模块通过多个卷积层和下采样层对输入的原始特征图进行高层次特征提取,最后输出空间尺寸较小、语义层次较高的特征图;
③
将
②
的输出的高层次特征图输入和编码网络对称的4个由双线性插值上采样、2个卷积层构成的解码模块组成解码网络。该模块使用跳连结构,将前层丰富的空间信息和编码模块输出高层特征信息结合,最后获得兼顾空间信息和语义信息的特征图;
④
将解码网络的输出特征图经过输出模块的卷积处理,映射到输出的特征维度,输出最终的增强后的明度分量,卷积核的输出通道数和输入模块输入原始图像的通道数一致。5.根据权利要求4所述的卷积神经网络,其特征在于,所述步骤
②
的编码模块具体包括以下步骤:a.在每个编码模块的开头,使用2
×
2最大值池化将输入特征图的尺寸降低为原来的1/2,进行空间特征融合,提高卷积网络的感受野,提取更多语义信息;b.使用2个级联的卷积层提取尺寸下降后的特征信息。每个卷积层由1个卷积操作和1个relu激活函数组成。对于卷积操作,在级联的4个编码模块中,使用的卷积核尺寸分别依次是3
×3×
64,3
×3×
128,3
×3×
256,3
×3×
256,并且每个编码模块内部使用相同通道数的卷积核。6.根据权利要求4所述的卷积神经网络,其特征在于,所述步骤
③
的解码模块具体包括以下步骤:a.在每个解码模块的起始,对于输入特征图,使用双线性插值法将其尺寸上采样为原来的2倍,通道数量不变,用以逐渐恢复输入原始图像的尺寸;b.取输入模块以及编码模块中和当前解码模块中双线性插值输出空间尺寸一样的特征输出(即编码模块3和解码模块1,编码模块2和解码模块2,编码模块1和解码模块3,输入模块和解码模块3),和当前双线性插值的输出在通道维度进行拼接,输入模块和前三个级联的编码模块输出的通道数量依次分别为32,64,128,256,对称的四个级联的解码模块输入的通道数量分别为256,128,64,32,拼接后通道维数变为512,256,128,64,依次分别作为解码网络后续卷积层的输入,综合利用深层特征图的语义信息和浅层特征图的空间信息;c.在将拼接后的通道数为512,256,128,64的4个特征图依次分别输入4个级联的解码模块的解码卷积层进行特征融合,每个卷积层由1个卷积操作和1个relu激活函数级联组成,解码卷积层将浅层特征图的空间信息和深层特征图的语义信息进行融合,解码卷积层由2个不同卷积核的卷积层构成,在4个级联的解码模块中各自使用的卷积核依次分别是3
×3×
256、3
×3×
128,3
×3×
128、3
×3×
64,3
×3×
64、3
×3×
32,3
×3×
32、3
×3×
32,因此4个级联的解码模块输出的通道数依次分别是128,64,32,32。7.根据权利要求3所述的通过retinex理论获得反射分量的具体方法,其特征在于,所述步骤(3)的计算反射一致性和其他约束具体包括以下步骤:
①
计算反射分量一致性约束:根据retinex理论,明度分量的反射分量(r)和扰动后的明度分量的反射分量(rd)应保持一致;
②
计算反射分量亮度约束:明度分量的反射分量(r)的平均亮度保持在0.6;
③
计算反射分量结构一致性约束:明度分量(v)和其反射分量(r)应具有相似的空间结构;
④
计算照明分量平滑约束:根据retinex理论,照明分量应是平滑的。
技术总结
本发明设计了一种基于HSV色彩空间和Retinex理论的无正常曝光图像参考的低照度图像增强方法,属于计算机视觉图像技术领域。针对于无正常曝光图像参考的低照度增强任务,本发明将其分解为颜色保留任务和亮度增强任务。对于颜色保留任务,本发明通过HSV色彩空间分离出颜色信息,并保留到增强后的图像上。对于亮度增强任务,本发明通过对分离出的亮度信息进行扰动,得到同一场景的不同光照水平的图像对,通过Retinex理论中的反射一致性约束得到反射分量,并将反射分量作为亮度增强的结果。实验表明,本发明可以有效地增强低照度图像,并在各个数据集和不同光照程度的低照度图像上有很强的泛化能力。上有很强的泛化能力。上有很强的泛化能力。
技术研发人员:姜竹青 李昊天 李凯 门爱东 王海婴
受保护的技术使用者:北京邮电大学
技术研发日:2020.12.07
技术公布日:2021/3/9
转载请注明原文地址:https://wp.8miu.com/read-64588.html