本发明涉及图像处理以及计算机视觉领域，特别涉及一种基于自适应亮度提升与细节复原的暗光模糊图像增强方法。
背景技术：
1、近些年来，科学技术的进步和发展显著推动了社会与人民生活的改善。随着图像采集设备体积的微小化和采集能力的高效化，图像和图像系统与人们的日常生活以及生产发展息息相关。基于图像的处理系统在生活场景中有着广泛用途，图像系统可方便使用者直观的进行记录和实时观察，具有很高的便捷性。但受限于采集设备所处环境和使用状态，所获得的图像欠缺理想的可观察性，这体现在图像的运动模糊、照度不佳等现象。尤其是在光照条件较差时，照度不佳的情况很常见，此时所拍摄的图像往往存在多个暗色区域，同时物体运动和相机抖动可能会造成图像模糊，这对于人眼阅读或机器视觉处理都带来困难。因此，设计暗光模糊图像的增强方法具备重要的理论和应用意义。
2、暗光图像可由于曝光不足或环境条件因素产生，暗光图像中通常包含可视度较差的区域；模糊图像可由于图像拍摄时物体或摄影器材发生运动产生，是图像采集中常见的问题。暗光图像和模糊图像均会造成人眼的感知困难，同时也使得这些图像难以被应用于计算机的高级视觉任务中。暗光模糊图像中的物体和场景信息被极大掩盖，具体来说，暗光模糊图像中的像素分布差异较小，像素值趋近于0，颜色和纹理信息难以察觉。同时模糊因素也会对纹理结构和轮廓造成极大破坏，特别是对于细节信息的影响很严重。
3、对于暗光模糊图像中单一问题的解决已有部分研究，例如研究暗光图像增强，或者是图像去模糊问题，单一问题的场景中颜色与细节轮廓的丢失局限于某个特性，例如暗光图像若不存在模糊问题，则仅需要对于像素值进行相应改变，无需修复图像的结构和细节信息；同理，若模糊图像不存在暗光问题，则仅需要对于纹理和细节进行增强和复原，这个过程中图像整体色调、亮度等均不会发生大的改变。但是当暗光与模糊问题同时发生，尚需要有效的方法同时解决这些问题。
技术实现思路
1、本发明的目的在于提供一种基于自适应亮度提升与细节复原的暗光模糊图像增强方法，该方法基于图像暗光与模糊问题的独立特性，创造性地提出了自适应亮度提升和细节复原的方案，通过每个增强阶段的全局调制估计，对于当前阶段特征进行自适应的调制。所设计的网络有两个分支结构，但是两个分支结构之间在每个阶段都有所交互，并且以估计场景的边缘信息作为辅助任务，有利于对暗光和去模糊双重问题的解决。
2、为实现上述目的，本发明的技术方案是：一种基于自适应亮度提升与细节复原的暗光模糊图像增强方法，包括如下步骤：
3、步骤s1、构建用于训练的数据集，对暗光模糊图像的每幅图像进行预处理，得到训练数据集；
4、步骤s2、设计自适应亮度提升与细节复原的暗光模糊图像增强网络，该网络由边缘重建分支和图像增强分支组成；
5、步骤s3、设计用于训练步骤s2所设计自适应亮度提升与细节复原的暗光模糊图像增强网络的损失函数；
6、步骤s4、使用训练数据集训练自适应亮度提升与细节复原的暗光模糊图像增强网络；
7、步骤s5、将待测暗光模糊图像输入到训练好的自适应亮度提升与细节复原的暗光模糊图像增强网络，预测生成具有更好视觉感知的最终结果。
8、在本发明一实施例中，所述步骤s1具体实现如下：
9、步骤s11、将数据集中的每张暗光模糊图像缩放为尺寸为h×w的大小相同的图像；
10、步骤s12、将暗光模糊图像进行归一化处理，给定暗光模糊图像itrain，计算归一化后的暗光模糊图像的公式如下：
11、
12、其中，itrain是具有8位色彩深度的h×w大小的暗光模糊图像，ibit_max是h×w大小且像素值均为255的图像。
13、在本发明一实施例中，所述步骤s2具体实现如下：
14、步骤s21、设计边缘重建分支，边缘重建分支由边缘重建预处理网络、边缘重建主干网络、和边缘重建头部网络组成；边缘重建分支的输入为：归一化的大小为h×w的暗光模糊图像x，最终输出大小为h×w的边缘重建结果以及边缘特征集合t；
15、步骤s22、设计图像增强分支，图像增强分支由图像增强预处理网络、图像增强主干网络、和图像增强头部网络组成；图像增强分支的输入为：归一化的大小为h×w的暗光模糊图像x，最终输出大小为h×w的图像增强结果以及图像增强特征集合h。
16、在本发明一实施例中，所述步骤s21具体实现如下：
17、步骤s211、设计边缘重建预处理网络，边缘重建预处理网络包含1个卷积层，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；边缘重建预处理网络的输出记为f0edge；
18、步骤s212、设计边缘重建主干网络，边缘重建主干网络包含若干个结构相同的边缘重建网络块，若为第i＝1个网络块，则其输入为f0adge，若为第i(i>1)个网络块，边缘重建网络块的输入为图像增强特征集合h中的特征hi；当前边缘重建网络块的输入经过门控傅里叶变换单元gfm(gated fft module)、卷积层、relu激活函数、卷积层依次处理得到特征fiedge；其中，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；门控傅里叶变换模块gfm的处理过程为：对于给定输入特征fg，由gfm得到输出特征fgout的过程描述为：
19、fg1a＝conv3×3(prelu(conv3×3(fg))+fg
20、fg1b＝prelu(conv1×1(fg))
21、fg2＝ifft(prelu(conv1×1(fft(fg1b)))+fg1b
22、fgout＝conv1×1(sigmoid(fg1b)·fg2)
23、其中，conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，prelu(·)是激活函数；fft(·)为取实部的傅里叶变换，ifft(·)为取实部的傅里叶逆变换，sigmoid(·)是激活函数；·为矩阵的元素乘法；
24、步骤s213、设计边缘重建头部网络，边缘重建头部网络接受来自边缘重建主干网络的输出作为其输入，并最终输出边缘重建结果边缘重建头部网络由卷积层、relu激活函数和卷积层依次堆叠而成，其中卷积层是卷积核大小为3×3、步长为1、填充为1的卷积。
25、在本发明一实施例中，所述步骤s22具体实现如下：
26、步骤s221、设计图像增强预处理网络，图像增强预处理网络由1个卷积层组成，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；输出特征记为f0en；
27、步骤s222、设计图像增强主干网络，图像增强主干网络包含若干个结构相同的图像增强网络块，对于第i(i≥1)个网络块，图像增强网络块输入为fi-1en与fiedge经过特征通道拼接所得到的特征；输入的特征经过全局调制预测模块gmpm(global modulationprediction module)，得到预测的亮度调制αi和模式调制ki，同时输入特征依次经过通道调制模块cmm(channel modulation module)和多尺度复原模块msrm(multi-scalerestoration module)处理；
28、步骤s223、设计全局调制预测模块gmpm，对于给定输入特征fg，由gmpm得到亮度调制αi和模式调制ki的过程描述为：
29、fg1＝dwconv3×3(fg)+fg
30、fg2a＝fc(fg1)
31、fg2b＝fc(fg1)
32、fg3＝fg2b*q
33、fg4＝fc(fg2b*fg3)
34、fgout＝ln(fc(g elu(fc(fg4))))+fg4
35、αi＝fgout[1:1]
36、ki＝reshape3×3(fgout[2:10])
37、其中dwconv3×3为是卷积核大小为3×3、步长为1、填充为1的通道可分离卷积，fc(·)为线性变换运算，q为单位矩阵，ln(·)为层归一化ln(layer norm)运算，gelu(·)为gelu激活函数，[1:1]取得张量的第1维元素，[2:10]取得张量的第2-10维元素，reshape3×3运算将张量变形为3×3大小；
38、步骤s224、设计通道调制模块cmm，对于给定输入特征fc和输入的亮度调制αi，由cmm得到输出特征fcout的过程描述为：
39、fc1＝conv1×1(fc)
40、
41、fc3＝conv1×1(fc2)
42、
43、其中conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积；与⊕是带有广播机制的元素乘法与元素加法，wc与bc分别为可学习的通道级别权重和偏置；fc(·)为线性变换运算；
44、步骤s225、设计多尺度复原模块msrm，对于给定输入特征fm和输入的模式调制ki，由msrm得到输出特征fmout的过程描述为：
45、fm1a＝down×4(ru(fm))
46、fm1b＝down×2(ru(fm))
47、fm1c＝ru(fm)
48、fm2a＝ru(fm1a)
49、fm2b＝ru(fu(fm1b,fm1a))
50、fm2c＝ru(fu(fm1c,fm1b))
51、fm3a＝up×4(ru(fm2a))
52、fm3b＝up×2(ru(fu(fm2b,fm2a)))
53、fm3c＝ru(fu((fm2c,fm2b))
54、fm4＝conv1×1(concatenate(fm,fm3a,fm3b,fm3c).)
55、fmout＝fm4*conv1×1(ki)
56、其中，down×4(·)是由双线性插值方法进行的空间4倍下采样，up×4(·)是由双线性插值方法进行的空间4倍上采样；down×2(·)是由双线性插值方法进行的空间2倍下采样，up×2(·)是由双线性插值方法进行的空间2倍上采样，concatenate(·)是沿通道的特征拼接，ru为残差单元，fu为融合单元；残差单元是由若干残差块构成；残差块由卷积层、leakyrelu激活函数和卷积层堆叠，并且输入与输出进行跳跃相加，其中卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；融合单元对于给定输入特征ff1和ff2，得到输出特征ffout的过程描述为：
57、ffout＝conv3×3(concatenate(conv1×1(ff1),up×2(conv1×1(ff2))))
58、其中，conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，concatenate(·)是沿通道的特征拼接，up×2(·)是由双线性插值方法进行的空间2倍上采样。
59、在本发明一实施例中，所述步骤s3具体实现如下：
60、步骤s31、设计整个网络的总优化目标，优化目标为最小化总损失函数
61、
62、其中，表示全局亮度预测损失函数，λen表示全局亮度预测损失函数的权重；表示语义感知损失函数，λsem表示语义感知损失函数的权重；表示像素损失函数，λpix表示像素损失函数的权重；表示边缘重建损失函数，λedge表示边缘重建损失函数的权重；
63、步骤s32、设计全局亮度预测损失函数，的计算公式如下：
64、
65、其中，{αi}是所有全局调制预测模块gmpm输出的亮度调制，fc(·)为可学习的全连接层，αy是参考图像y在hsv色彩空间中v通道的均值，||·||1是取绝对值操作；
66、步骤s33、设计语义感知损失函数，的计算公式如下：
67、
68、其中为图像增强结果，y为参考图像，φ(·)代表使用在imagenet预训练的vgg-16模型提取conv2-2、conv3-2、conv4-2层特征的操作，||·||1是取绝对值操作；
69、步骤s34、设计光像素损失函数，的计算公式如下：
70、
71、其中，为图像增强结果，y为参考图像，||·||1是取绝对值操作，
72、步骤s35、设计边缘重建损失函数，的计算公式如下：
73、
74、其中，为边缘重建分支的输出结果，y为参考图像，edge(·)为取得边缘信息的运算，边缘信息由soble算子提取，||·||1是取绝对值操作。
75、在本发明一实施例中，所述步骤s4具体实现如下：
76、步骤s41、在经过步骤s1构建的训练数据集中，选取随机的训练图像x；
77、步骤s42、训练图像编码与增强，输入训练图像x，经过训练好的自适应亮度提升与细节复原的暗光模糊图像增强网络，输出图像增强结果和边缘重建结果计算步骤s31中的总损失
78、步骤s43、使用反向传播方法计算自适应亮度提升与细节复原的暗光模糊图像增强网络中各参数的梯度，并利用adam优化方法更新参数；
79、步骤s44、步骤s41-s43为训练过程的一次迭代，整个训练过程需要105次迭代，且每次迭代过程中，随机采样多个图像对作为一个批次进行训练。
80、在本发明一实施例中，所述步骤s5中，将待测暗光模糊图像输入到训练好的自适应亮度提升与细节复原的暗光模糊图像增强网络，输出即为最终结果。
81、相较于现有技术，本发明具有以下有益效果：本发明的针对现有的暗光图像增强方法或图像去模糊方法均不能有效解决暗光模糊图像的增强。本发明提出了基于自适应亮度提升与细节复原的暗光模糊图像增强方法，通过设计自适应的亮度提升与细节复原方案增强暗光模糊图像，并且设计了边缘预测任务作为辅助；设计的网络能够有效地提升输入图像的亮度，并且消除模糊，输出高质量的正常照度的清晰图像。
1.一种基于自适应亮度提升与细节复原的暗光模糊图像增强方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于自适应亮度提升与细节复原的暗光模糊图像增强方法，其特征在于，所述步骤s1具体实现如下：
3.根据权利要求1所述的基于自适应亮度提升与细节复原的暗光模糊图像增强方法，其特征在于，所述步骤s2具体实现如下：
4.根据权利要求3所述的基于自适应亮度提升与细节复原的暗光模糊图像增强方法，其特征在于，所述步骤s21具体实现如下：
5.根据权利要求3所述的基于自适应亮度提升与细节复原的暗光模糊图像增强方法，其特征在于，所述步骤s22具体实现如下：
6.根据权利要求1所述的基于自适应亮度提升与细节复原的暗光模糊图像增强方法，其特征在干，所述步骤s3具体实现如下：
7.根据权利要求6所述的基于自适应亮度提升与细节复原的暗光模糊图像增强方法，其特征在于，所述步骤s4具体实现如下：
8.根据权利要求1所述的基于自适应亮度提升与细节复原的暗光模糊图像增强方法，其特征在于，所述步骤s5中，将待测暗光模糊图像输入到训练好的自适应亮度提升与细节复原的暗光模糊图像增强网络，输出即为最终结果。
