本发明涉及一种结合曝光特征的夜晚图像语义分割模型，属于计算机视觉。
背景技术：
1、图像语义分割是计算机视觉领域的经典任务之一，它的主要目标是将输入图像分割为具有语义类别标签的区域块，最终输出逐像素语义类别标注的结果图像。语义分割是许多高层次图像处理任务的基础，在自动驾驶、智能机器人、增强现实等领域也具有实用价值。
2、随着深度神经网络在计算机视觉领域的广泛应用，深度学习方法在图像语义分割任务上也得到了应用。图像语义分割网络能够自动学习图像中的特征并实现语义类别标签的预测，极大提升了语义分割的精确度。但是，现有的分割模型主要集中于解决白天场景下拍摄图像的语义分割，并没有成熟的夜晚图像的语义分割技术。夜晚场景下，图像整体光照较弱，对比度低，光照缺失可能造成图像整体特征的损失，同时，目标的颜色、纹理等浅层特征不明显；另一方面，夜晚街景场景相比白天存在更多光源，如路灯、车灯以及建筑内外灯光等，这些强光源形成的光晕会导致光晕附近目标的原有特征丧失，而光晕、眩光的产生，也会给正常的夜晚图像带来更多噪声。这些因素给夜晚图像的语义分割带来很大挑战。对于一个夜晚图像语义分割模型，其不仅要在特征提取阶段将被削弱的特征进行增强提取，还要利用上下文信息辅助那些特征损失的区域进行有效的特征补充，从而为特征损失严重目标的准确分割提供指导。而现有的图像语义分割模型往往在特征明显的白天数据集上训练，对于特征损失严重的目标分割精度差，不能满足夜晚场景下准确的图像语义分割的要求。
3、为了提升夜晚场景下图像语义分割精度，本发明提出一种结合曝光特征的夜晚图像语义分割模型。针对夜晚图像特征弱的问题，设计曝光特征提取模块与目标特征增强模块，提取图像的曝光特征并利用曝光特征增强图像特征；同时，设计曝光注意力模块和上下文信息提取模块，使用曝光特征控制上下文语义信息融合的程度；在模型解码阶段将高层语义特征与低层特征结合，补充损失的图像细节，提高目标边缘的语义分割精度。最终提升语义分割网络在夜晚场景下的分割精度。
技术实现思路
1、本发明的目的是提供一种结合曝光特征的夜晚图像语义分割模型。考虑到夜晚图像目标特征缺失、上下文信息利用不足、浅层特征不明显的问题，该模型设计了曝光特征提取模块和目标特征增强模块来学习夜晚图像特征，进一步引入曝光注意力矩阵对上下文特征图进行加权融合，并在模型解码阶段将高层语义特征与低层特征结合以补充损失的图像细节，最终得到准确的夜晚图像语义分割结果。
2、为实现上述目的，本发明采用的技术方案流程如下：
3、一种结合曝光特征的夜晚图像语义分割模型，其特征在于包括如下步骤：
4、分为三个阶段，分别是目标特征增强提取阶段、上下文信息融合阶段和解码阶段；首先，在目标特征增强提取阶段，图像经过目标特征增强模块得到目标增强特征图f，经过曝光特征提取模块得到曝光特征图fe；然后，在上下文信息融合阶段，目标增强特征图f输入到上下文信息提取模块进行多尺度池化，然后再降维拼接，得到包含上下文信息的语义特征图fi，同时将曝光特征图fe输入曝光注意力模块，计算出曝光注意力矩阵we，利用曝光注意力矩阵we对包含上下文信息的语义特征图fi进行加权，得到最终的加权上下文特征图f′i，再将加权上下文特征图f′i与目标特征增强提取阶段得到的目标增强特征图f进行拼接降维，获得上下文融合特征图fend用于解码；最后，在解码阶段，融合fend与目标特征增强模块中提取到的浅层特征利用浅层特征恢复高层语义信息中缺失的细节信息来进行语义分割，最终得到语义分割结果；
5、(1)目标特征增强提取：在目标特征增强提取阶段，网络模型包括目标特征增强模块、曝光特征提取模块；曝光特征提取模块的输入为一维的hsv空间的v通道图像，即原图像的光照强度图；在曝光特征提取模块中，v通道图像会输入到骨干网格resnet50中，逐次通过骨干网络resnet50的s1、s2、s3、s4阶段，s1阶段从图像中提取曝光特征再将输入到s2阶段，提取曝光特征以此类推，最后在s4阶段输出曝光特征图fe；目标特征增强模块的输入是rgb图像，输入的图像会逐次通过骨干网络resnet50的s1、s2、s3、s4阶段；在目标特征增强模块中，s1阶段从rgb图像提取目标特征fs1，然后将fs1和曝光特征提取模块在s1阶段提取到的一起输入到目标特征增强结构g1中，对提取到的目标特征fs1进行增强，输出增强后的目标特征再将输入到s2阶段，提取目标特征fs2，进行同样的目标特征增强操作，最后将增强的目标特征输入到s3阶段中，进行目标特征提取之后再输入到s4阶段，最后输出目标增强特征图f；目标特征增强提取阶段分别输出目标增强特征图与曝光特征图，即f与fe；
6、(2)上下文信息融合：在上下文信息融合阶段，设计上下文信息提取模块，通过对目标增强特征图f进行不同尺度的池化操作得到多尺度上下文信息，然后将多尺度上下文信息通过一个卷积层进行降维，再将其通过上采样还原到原特征图大小，进行特征拼接、1×1的卷积层(conv)进行降维，得到包含上下文信息的语义特征图fi；同时，将曝光特征图fe输入到曝光注意力模块，计算出曝光注意力矩阵we；利用曝光注意力矩阵对包含上下文信息的语义特征图fi进行加权，得到最终的加权上下文特征图f′i；然后将目标特征增强提取阶段得到的目标增强特征图f与加权上下文特征图f′i维度拼接，拼接后再通过一个卷积层对通道维度进行降维，最终获得上下文融合特征图fend用于解码；
7、(3)解码阶段：在解码阶段，首先输入上下文融合特征图fend进行上采样，将上采样的输出作为高层语义信息fhigh，结合目标特征增强模块中g1阶段提取到的浅层特征来恢复高层语义信息中缺失的细节信息，然后通过一个卷积层进行特征融合，最后进行双线性插值上采样，并通过全连接层得到输出的语义分割结果。
8、如上所述的方法，其特征在于步骤(1)中曝光特征提取模块的具体处理过程为：将输入图片转换到hsv空间后，将v通道的一维图像输入到骨干网络resnet50中，resnet50的s0阶段的卷积层卷积核大小为w0×h0×d0，其中w0、h0和d0分别优选为7、7、1；在曝光特征提取模块的s1、s2阶段分别提取到曝光特征后，将曝光特征分别输入到目标特征增强结构g1、g2中对目标特征fs1、fs2进行增强；之后继续通过加入了扩张率为e1、e2的空洞卷积的s3、s4阶段提取曝光特征，其中e1和e2分别优选为2和4；将最后得到的下采样8倍的曝光特征图fe输入到曝光注意力模块。
9、如上所述的方法，其特征在于步骤(1)中目标特征增强模块的具体处理过程为：目标特征增强模块中，si(即目标特征增强模块中s1阶段和s2阶段，此处统称为si)提取到的目标特征fsi分别输入目标特征增强结构g1、g2，在曝光特征的引导下，对受到光照影响的区域的目标特征进行加权，计算公式为其中表示矩阵乘法，w1、w2是目标特征结合曝光特征的权重参数，wr是通过公式计算得到的软空间注意力图，也称为权重系数矩阵，σ表示sigmoid激活函数，w、b为学习得到的参数。
10、如上所述的方法，其特征在于步骤(2)中上下文信息提取模块的具体处理过程为：采用pspnet空间金字塔池化，将目标特征增强模块提取到的目标增强特征图f分别通过四个并行的、池化后尺寸大小为1×1、2×2、3×3、6×6的最大值池化层，得到不同空间范围的目标语义特征作为全局语义信息，即提取到的上下文信息；再通过1×1的卷积层(conv)对提取到的4个不同尺度的特征图进行降维，得到通道数是原特征图1/4的全局信息特征图，然后分别对分辨率不同的四个特征图采用相应尺度的双线性插值上采样变为原来的目标特征图大小，得到通道数与原来相等的上下文特征图；输入包含1×1的卷积层(conv)进行降维，将通道数缩减为原特征图的1/4，得到包含上下文信息的语义特征图fi；将fi输入到曝光注意力模块中，获得加权上下文特征图f′i，将目标特征增强提取阶段得到的目标增强特征图f与加权上下文特征图f′i维度拼接，拼接后再输入到包含1×1的卷积层(conv)，对通道维度进行降维，最终获得原分辨率大小，通道数为原来1/4的目标特征图fend用于解码。
11、如上所述的方法，其特征在于步骤(2)中曝光注意力模块的具体处理过程为：输入为曝光特征图fe，fe的维度为[c，h，w]，分别通过在通道维度的最大值池化操作和平均值池化操作，得到两个维度为[1，h，w]的特征图；对两个特征图按元素进行如公式(1)所示的计算，并归一化后得到曝光注意力矩阵we，其中c表示输入的曝光特征的通道维度数，n表示语义分割的类别数；将上下文信息提取模块输出的维度为[c/4，h，w]的语义特征图fi用曝光注意力矩阵we进行加权，加权公式为得到包含了有效上下文信息的、维度为[c/4，h，w]的加权上下文特征图f′i；其中，f′i表示最终输出的加权上下文特征图，fi表示输入的包含上下文信息的语义特征图，w3、w4表示曝光特征权重学习的参数。
12、
13、如上所述的方法，其特征在于步骤(3)中解码阶段的具体过程为：输入上下文融合特征图fend作为高层语义特征fhigh，将目标特征增强结构g1输出的特征图作为浅层特征flow；假设fhigh大小为w1×h1、维度为d1，flow大小为w2×h2、维度为d2，将fhigh双线性插值上采样，使得w1＝w2，h1＝h2；同时通过1×1卷积将flow的维度从d2降到d3，来减少浅层信息的比例；其中h1、h1和d1分别优选为60、60、512，w2、h2和d2分别优选为120、120、256，d3优选为128；将浅层特征flow与高层特征f咖h维度拼接，再通过包含3×3的卷积层进行卷积，实现浅层特征与高层特征融合；最后进行双线性插值上采样恢复成原始图像尺寸，并通过全连接层得到语义分割结果。
14、如上所述的方法，其特征在于步骤(1)对所述目标特征增强时，目标特征结合曝光特征的权重参数w1优选为1.0，w2优选为0.3。
15、与现有技术相比，本发明针对夜晚图像中目标特征损失、上下文信息无法有效利用、浅层特征不明显的问题，设计了曝光特征提取模块和目标特征增强模块，利用曝光特征对提取的目标特征进行增强，改善夜晚场景下因光照弱、光照不均导致的目标特征损失的问题；进一步，设计了曝光注意力模块，引入曝光注意力矩阵对上下文特征图进行加权融合，让模型学习到更有效的上下文信息；最后，在模型解码阶段将高层语义特征与低层特征结合以补充损失的图像细节，有效地提升了语义分割网络的性能。
1.一种结合曝光特征的夜晚图像语义分割模型，其特征在于包括如下步骤：
2.如权利要求1所述的一种结合曝光特征的夜晚图像语义分割模型，其特征在于步骤(1.1)中曝光特征提取模块的具体处理过程为：
3.如权利要求1所述的一种结合曝光特征的夜晚图像语义分割模型，其特征在于步骤(1.1)中目标特征增强模块的具体处理过程为：
4.如权利要求1所述的一种结合曝光特征的夜晚图像语义分割模型，其特征在于步骤(1.2)中上下文信息提取模块的具体处理过程为：
5.如权利要求1所述的一种结合曝光特征的夜晚图像语义分割模型，其特征在于步骤(1.2)中曝光注意力模块的具体处理过程为：
6.如权利要求1所述的一种结合曝光特征的夜晚图像语义分割模型，其特征在于步骤(1.3)中解码阶段的具体过程为：
7.如权利要求3所述的一种结合曝光特征的夜晚图像语义分割模型，其特征在于：所述目标特征增强时，目标特征结合曝光特征的权重参数w1优选为1.0，w2优选为0.3。
