本发明涉及图像处理，具体涉及一种基于门控提取模块和特征增强模块的图像去雾方法。
背景技术：
1、单图像去雾是指通过去除有雾输出中的雾从而重建高质量图像的技术，由于雾会遮挡图像中的物体，导致严重的信息退化（例如颜色失真、可见度降低、特征退化等），从而使原始图像无法为未来的视觉应用提供足够的重要细节，因此，图像去雾已成为计算机视觉领域的一个活跃话题。
2、现有技术中，图像去雾算法一般可以分为基于先验知识的算法和基于学习的算法，基于知识的去雾算法又可以分为基于物理模型的算法和基于非物理模型的算法。物理模型去雾算法利用先验知识确定透射率、大气照度值等相关参数，然后得到去雾图像；非物理模型去雾算法的出发点是尽可能去除图像干扰成分，增强图像细节信息，从而恢复清晰无雾霾的图像。尽管此类方法在早期被广泛使用，但由于先验知识使用场景的限制，卷积神经网络(cnn)逐渐取代了它们，早期基于cnn的作品结合大气模型公式和卷积神经网络(cnn)来估计物理参数。虽然这些方法在很大程度上克服了基于先验的方法的缺点，但很容易引起颜色失真以及伪影现象。因此，后续又提出了端到端去雾方法，通过卷积神经网络直接建立有雾图像和无雾图像之间的映射，而不需要估计任何中间参数。而在最近，transformer凭借强大的表达能力，在多个低级视觉任务(包括图像去雾)中取得了与cnn相当甚至超越cnn的优异结果。
3、专利公开号为：cn117036182a的专利文件公开了一种单幅图像去雾方法及系统，该方案结合动态卷积模块和transformer模块，动态卷积能够根据输入变换卷积核的参数，transformer能够捕获有雾特征图之间的关系，将两者集合用于去雾取得了较好的结果；同时在两个模块中加入注意力机制，使模型关注到有雾区域；模型基于编码器解码器架构，将有雾图像经过编码器进行编码，再经过解码器进行解码得到去雾图像。在模型的设计中加入了门控模块，可以融合不同阶段的提取的特征图，有利于去雾效果的提升。解码器加入跳接结构，是网络的梯度得到更快的更新，缓解网络过深产生梯度消失与梯度弥散，使模型更容易收敛。
4、尽管现有的方法已经取得了良好的性能，但仍然存在一些问题:一是现有网络总是包含更深更广的网络拓扑和堆叠复杂或莫名其妙的架构，这种策略带来的改进是有限的，并且需要大量的计算资源来实现，导致了大量的计算开销和参数；二是当前方法习惯于在前馈网络(fn)中引入通道注意或单一注意力，但这仍然不足以探索特征图的内部区域的差异机制。
技术实现思路
1、为了克服上述的技术问题，本发明的目的在于提供一种基于门控提取模块和特征增强模块的图像去雾方法，该方法将门控特征提取模块和特征增强注意力网络相结合，对上述背景技术中提出的问题进行优化解决。
2、本发明的目的可以通过以下技术方案实现：
3、一种基于门控提取模块和特征增强模块的图像去雾方法，包括以下步骤：
4、s1、对原始雾天图像进行预处理操作，使其能够符合算法网络的输入要求；
5、s2、得到预处理的图像后，先将图像投影到特征级别，然后通过门控提取模块来提取图像特征，进行图像信息的捕获与下采样操作，门控提取模块集成了门控线性单元和深度可分离卷积，以去除图像特征中不必要的线性层并且聚合图像信息空间的上下文，完成对图像浅层阶段的处理；
6、s3、经过以上浅层阶段的处理后，对图像特征进行深层阶段的处理，在特征增强模块中首先利用通道注意机制和空间注意机制对输入的图像特征进行初步的粗略优化，然后将原始特征的内容作为先前粗糙信息的向导，同时对两者的特征信息进行组合和过滤，使模型能够专注于更有效的部分；
7、s4、随后两个融合模块将来自浅层的门控提取模块和深层的特征增强模块处理过的、具有相同尺寸的特征信息进行相加融合，提高模型的性能；
8、s5、最后经过两次上采样操作与浅层的解码阶段，通过卷积层的简单拟合后得到最终的输出图片。
9、进一步在于，s1步骤中，预处理操作包括：
10、裁剪：将训练数据集中不同尺寸的图像随机裁剪为256×256的固定子图像，以适应算法网络的输入要求并增加数据的多样性和泛化能力；
11、旋转：将裁剪后的图像按照随机角度进行旋转以增加数据的不变性和鲁棒性；
12、颜色增强：继续对图像进行一些随机颜色调整以增加数据的变化性和鲁棒性，并得到预处理后的图像。
13、进一步在于，s2步骤中，首先利用3×3卷积将图像投影到特征级别，并获得低级特征嵌入尺寸256×256×32，其中，256×256为当前图像尺寸，32为当前通道数；
14、之后执行下采样操作，采用双层门控提取模块捕获局部信息，并使用3×3卷积来降低图像的分辨率，同时扩大通道尺寸，此时图像特征尺寸为128×128×64，接下来再次进行双层门控提取模块的信息捕获与下采样操作；
15、s3步骤中，经过以上浅层阶段的处理后，尺寸为64×64×128的图像特征数据到达深层阶段。
16、进一步在于，门控提取模块在工作时，首先使用xn＝batchnorm(x0)对输入的图像特征x0进行归一化处理；
17、归一化后的特征xn将被送入门控线性单元的上层分支和下层分支中，整个门控线性单元的前期可表示为：
18、
19、其中，和fpw分别表示5×5深度卷积和逐点卷积，深度卷积和逐点卷积为深度可分离卷积的两个步骤，⊙表示元素乘法；
20、然后使用1×1逐点卷积运算，将深度卷积的输出特征图进行压缩和融合，实现在不同通道之间集成和交互，同时引入额外的非线性变换来增强网络的建模和学习能力；
21、将门控线性单元的上层分支作为全局门控信号的输出，定义为：xg；
22、将xg输入到一个简单的感知器中，用relu激活层拟合去雾特征，最后利用两次残差连接缓解梯度消失并提高信息流动性；
23、整个门控提取模块可表示为：
24、
25、进一步在于，在门控线性单元的下层分支中，深度卷积使用通道特定的5×5卷积核进行卷积操作，该卷积核只对通道内的数据进行卷积操作，并没有跨通道的交互。
26、进一步在于，在门控线性单元的上层分支中，该去雾方法增加了sigmoid激活函数，提取全局门控特征并对信息进行滤波和调节。
27、进一步在于，拟合去雾特征时使用逐点卷积-激活层，relu激活层为逐点卷积-激活层中的一个激活层，逐点卷积-激活层还包括：sigmoid激活层、tanh激活层以及leakyrelu激活层。
28、进一步在于，特征增强模块在工作时，首先使用xn＝batchnorm(x0)对输入特征x0进行归一化处理，归一化后的特征xn分别输入通道注意机制和空间注意机制中，分别得到通道注意输出xc和空间注意输出xs；
29、将xc和xs使用加法运算融合在一起，得到粗特征xcs＝xc+xs；
30、接下来使用扩张维度的操作将获得的粗特征xcs和之前的归一化特征xn沿着一个新的维度连接起来，得到一个新的张量x2；
31、最后，使用sigmoid激活函数来确定特征图的权重值，该权重值将用于调整输入特征图和输出加权特征图，整个特征增强模块可表示为：
32、
33、进一步在于，对于通道注意机制，包含了二个线性层linear，一个relu激活函数和一个均值池化操作，具体步骤如下：
34、步骤一、针对归一化后的特征xn进行均值池化操作，得到平均值favg(xn)；
35、步骤二、将平均值favg(xn)输入到第一个线性层中进行线性变换linear(favg(xn))；
36、步骤三、对第一个线性层的输出应用relu激活函数relu(linear(favg(xn)))；
37、步骤四、将第二步中得到的结果应用到第二个线性层中进行线性变换；
38、步骤五、最后得到输出xc；
39、xc＝linear(relu(linear(favg(xn))))；
40、其中，favg表示全局平均池化操作。
41、进一步在于，对于空间注意机制，包含了均值池化和最大池化这两个池化操作、一个通道拼接操作和一个深度卷积操作具体步骤如下：
42、步骤一、对归一化后的特征xn分别进行均值池化和最大池化操作，得到两个池化结果favg(xn)和fmax(xn)；
43、步骤二、将两个池化结果拼接在一起，形成一个新的特征图：cat(favg(xn)，fmax(xn))；
44、步骤三、将拼接后的特征图输入到一个深度卷积操作中进行处理；
45、步骤四、最后得到输出xs；
46、
47、其中，fmax表示全局最大池化操作，cat(·)表示连接操作。
48、本发明的有益效果：
49、相较于传统方法，本技术方案将深度可分离卷积和门控线性单元集成到门控提取模块中，可以在输入数据上应用门控机制，以便根据输入的不同特征和上下文信息选择性地增强或抑制特征表示，通过自适应门控机制，模型可以更加灵活地学习不同输入之间的关系，并提高对于复杂任务的建模能力，同时有助于获得更高的性能和效果，而通过特征增强模块的设计，同时利用通道注意机制和空间注意机制，不仅有效地减弱图像中的信道雾霾差异，还提升了模型的性能和表达能力，这种策略的优势在于在特征空间内进行建模，更全面地考虑了图像的结构和语义信息，有助于提高图像去雾的效果。
1.一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于门控提取模块和特征增强模块的图像去雾方法,其特征在于，s1步骤中，预处理操作包括：
3.根据权利要求1所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，s2步骤中，首先利用3×3卷积将图像投影到特征级别，并获得低级特征嵌入尺寸256×256×32，其中，256×256为当前图像尺寸，32为当前通道数；
4.根据权利要求3所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，门控提取模块在工作时，首先使用xn＝batchnorm(x0)对输入的图像特征x0进行归一化处理；
5.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，在门控线性单元的下层分支中，深度卷积使用通道特定的5×5卷积核进行卷积操作，该卷积核只对通道内的数据进行卷积操作，并没有跨通道的交互。
6.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，在门控线性单元的上层分支中，该去雾方法增加了sigmoid激活函数，提取全局门控特征并对信息进行滤波和调节。
7.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，拟合去雾特征时使用逐点卷积-激活层，relu激活层为逐点卷积-激活层中的一个激活层，逐点卷积-激活层还包括：sigmoid激活层、tanh激活层以及leaky relu激活层。
8.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，特征增强模块在工作时，首先使用xn＝batchnorm(x0)对输入特征x0进行归一化处理，归一化后的特征xn分别输入通道注意机制和空间注意机制中，分别得到通道注意输出xc和空间注意输出xs；
9.根据权利要求8所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，对于通道注意机制，包含了二个线性层linear，一个relu激活函数和一个均值池化操作，具体步骤如下：
10.根据权利要求9所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，对于空间注意机制，包含了均值池化和最大池化这两个池化操作、一个通道拼接操作和一个深度卷积操作具体步骤如下：
