本发明属于机器视觉、图像处理领域，涉及一种基于图像融合与目标检测网络的低照度图像目标检测方法。
背景技术：
目标检测识别，指用某种技术手段对图像中的感兴趣目标进行定位、识别。目前主要有两种类型的目标检测方法，基于滑动窗口的方法和基于区域目标性的方法。前者用窗口遍历整幅图像，在每个位置提取窗口内的图像特征，最后用分类器对特征进行分类；后者采用显著性检测或者目标性的方法来提取目标的候选区域，避免了滑动窗口的大量计算，但由于可能出现框定部分目标或对临近目标区分差的情况，对检测结果有一定影响，有许多方法被提出来改善这一问题，如有文献提出一种目标性更强的区域提取方法，减少了候选窗口数量同时提高了候选窗口的质量。
虽然目前深度学习网络在目标检测领域得到了很大发展，但是基本都是基于可见光图像做目标识别，当环境光照条件差时精度将会大幅下跌。虽然红外图像可以在一定程度上弥补光照条件差的影响，但是由于红外图像缺乏纹理、细节信息，单独使用红外图像做目标识别任务很难准确识别目标。因此，在低照度条件下对同一场景的红外和可见光图像融合，再使用目标检测网络对融合后的数据进行检测可以在实现提高目标能见度的同时增强目标纹理、细节信息。
技术实现要素：
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于图像融合与目标检测网络的低照度图像目标检测方法，有效提高深度学习检测网络在低照度条件下对目标的检测准确率。使用密集链接方式替换yolov4网络残差块，使其能够更好的提取目标细粒度特征，最后再对融合后的图像进行识别，实现低照度条件下的目标识别任务。
技术方案
一种基于图像融合与目标检测网络的低照度图像目标检测方法，其特征在于步骤如下：
步骤1：采集同一视角和同一时刻的低照度可见光数据和红外数据；
步骤2：对低照度可见光图像进行非下采样nssct剪切波变换得到高频系数组和低频系数；
对红外图像经过非下采样nssct剪切波变换得到高频系数组和低频系数组；
所述低频系数组包含图像整体信息和结构信息；
步骤3：采用信息互补的方式对nssct变换得到的红外与可见光图像高频系数组进行融合，得到融合后的高频系数组图像数据；
步骤4：采用信息互补的方式对nssct变换得到的红外与可见光图像低频系数组进行融合，得到融合后的低频系数组图像数据；然后对图像数据中的显著性目标进行增强，在保留边缘信息同时对两种图像的低频信息进行融合；
步骤5：采用非下采样剪切波逆变换对步骤3和步骤4融合后的图像高频系数与低频系数进行处理，得到融合的图像；
步骤6：重复步骤1～步骤5，得到同场景的红外和可见光数据进行融合，再对融合后的数据进行标注，形成数据集；
步骤7：对数据集的数据进行数据增强，进行旋转得到旋转后的数据集；进行平移得到平移后的数据集；进行伽马变换得到伽马变换后的数据集；进行mixup数据增强方法得到mixup数据增强方法后的数据集；进行mosaic数据增强方法得到mosaic数据增强方法后的数据集；进行模糊化处理得到模糊化处理后的数据集；
步骤8：使用改进后的yolov4网络在步骤7增强后的数据集上进行训练，得到融合后图像的检测模型；所述改进后的yolov4网络是：将yolov4网络的里的残差块替换为密集链接层；
步骤9：以实时采集同一视角和同一时刻的低照度可见光数据和红外数据，按照步骤1～步骤5的过程处理后的数据作为步骤8训练后的检测模型的输入，得到低照度可见光图像和红外图像融合的目标检测结果。
所述步骤3的红外与可见光图像高频系数组的融合是：利用信息互补的方式来对红外与可见光图像的高频系数进行融合：
式中
所述评估因子σ取值在0～1之间。
所述融合系数ω为：
所述步骤4采用信息互补的方式对nssct变换得到的红外与可见光图像低频系数组进行融合，首先构造显著性图：
在低频系数融合时所遵循的规则式为：
式中pi和pj分别是以像素点i和j为中心的3×3像素点，
所述ε＝0.8。
所述β＝1。
所述加权系数α为
有益效果
本发明提出的一种基于图像融合与目标检测网络的低照度图像目标检测方法，结合非下采样剪切波变换(nssct)图像融合算法与改进目标检测网络yolov4的低照度图像目标检测方法，属于图像处理与目标检测领域。内容包括：1)红外和低照度可见光图像融合技术，使用其可以对红外和低照度可见光图像进行信息互补，提高轮廓清晰度的同时突出纹理信息；2)将融合后的图像送入改进后的yolov4目标检测网络进行检测，输出低照度条件下的目标信息；3)为了提升yolov4网络的特征提取能力，本发明将yolov4主干网络中的残差块替换为密集链接块，相比于残差块，密集链接块使网络能够提升特征表达能力，提高网络的特征提取能力。最后，实验证明利用本发明可以提高在低照度条件下的目标检测能力。
以nssct处理方法在分解和重构过程中没有对图像进行下采样和上采样的操作，使得nssct操作不仅具有良好的频域局部化特性、多方向性以及接近最优的稀疏表示能力，还具有平移不变性，并且经过nssct分解的图像与原图像大小相同。
以利用信息互补的方式可以弥补由于低照度条件下可见光相机难以采集到有效信息的缺陷，将红外图像所得到目标特征高频系数与可见光图像高频系数相融合。
对数据增强从数据层面解决过拟合，提高模型的泛化性，提升算法的鲁棒性。
使用数据融合算法和改进后的yolov4作为最后的模型，这是因为红外图像轮廓信息显著但是纹理信息模糊，可见光图像在低照度条件下有一定的纹理信息，但是轮廓信息模糊，融合红外图像和可见光图像后两种轮廓信息和纹理信息互补，提升目标的特征信息。
附图说明
图1～2为红外图像和可见光图像在经过非下采样剪切波变换后的结果；
图3为不同调整因子下的显著性图，显著性因子依次为：
ε＝0.2,ε＝0.4,ε＝0.6,ε＝0.8,ε＝1.0,ε＝1.2；
图4为融合结果实例图；
图5为残差块结构图；
图6为密集链接块结构图。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
1.对可见光图像和红外图像分别进行nssct变换
相比于可见光图像，红外图像的灰度值整体偏高，仅仅依靠图像强度进行的变换以及其他空域处理方法普遍会造成融合后的图像中红外图像成分较重，因此为保持边缘细节的同时提高融合图像的对比度，本发明采用了nssct变换的方法，具体如下文介绍：
nssct变换是在剪切波变换的基础上利用非下采样尺度变换以及非下采样方向滤波器进行的处理，具有良好的平移不变性。因此，nssct变换是图像稀疏表示的最优逼近。
对一个二维仿射变换系统，其构造形式为
其中ψ∈l2(r2)，l表示可积空间，r代表实数空间，z表示整数集合，a和b分别为二维可逆矩阵，且|detb|＝1，本设计中剪切波变换
则称ψj,i,k为合成小波。其中矩阵a控制尺度变换，矩阵b控制几何方向变换。可认为剪切波变换是合成小波的一种特定类型。
红外图像和可见光图像在经过非下采样剪切波变换后得到如图(1)～(2)所示结果。
其中低频分量代表着图像亮度或者灰度值变化缓慢的区域，也就是图像中大片平坦的区域，描述了图像的主要部分，是对整幅图像强度的综合度量。高频分量对应着图像变化剧烈的部分，也就是图像的边缘(轮廓)或者噪声以及细节部分，主要是对图像边缘和轮廓的度量，而人眼对高频分量比较敏感，之所以说噪声对应着高频分量，是因为图像噪声在大部分情况下都是高频的。
2.对于高频系数的融合
利用信息互补的方式来对红外与可见光图像的高频系数进行融合，如下式所示：
式中
σ的选择对于待融合区域融合后的图像质量十分关键，在进行比较时，需要对系数进行归一化操作，σ取值在0～1之间，当σ较大时，图像中较多区域遵循第一种融合方法(进行加权平均)，只在差别较大区域进行单独的选择；当σ较小时，只在区域差别较小的区域利用加权平均的方法进行融合，该过程主要运用了某一效果更优的源图像系数，过大的σ会使得融合后的图像不能充分运用源图像优点；过小的σ会引起图像过分利用某一源图像，不利于融合后图像的整体质量，因此合适的σ选择至关重要，为了获得好的融合结果，本发明选择了适中的评估因子σ＝0.4。
通过计算两种源图像的比重ω，可以提升融合后的整体对比度，ω可用下式计算得到：
通过对比度评估得到的高频融合系数，能够有效选择红外与可见光图像对比度较高的区域，并且避免因某一源图像整体灰度大而造成的细节不足与重要信息丢失的问题。
3.低频系数融合规则
图像经过非下采样剪切波变换得到的低频系数展现了图像的整体信息和结构信息，包含了图像中的主要能量以及目标的位置与强度信息，为使得识别算法对显著目标的获取更加迅速与准确，需要对显著性目标进行必要的增强，同时保留显著性目标的边缘信息。
首先构造显著性图，得到
式中pi和pj分别是以像素点i和j为中心的3×3像素点，
式(5)中，si为像素块pi的显著性度量值，si越大表示显著性更高，在低频系数融合中需要进行增强。在低频系数融合时所遵循的规则式为
式中β为增强系数(为避免过度融合本设计中β＝1)，li为第i层低频系数，α为加权系数，根据显著区域的比重的影响定义α为
4.融合结果分析
在本发明提出的实例(图4)中可以看出，经过基于非下采样剪切波变换提出的可见光与红外图像融合方法对实例中的红外图像和可见光图像进行融合，得到的融合结果效果较好，图像中原本不明显的图像细节在融合后得到明显的增强。
5.改进目标检测网络
yolov4目标检测网络在yolov3网络的基础上对进行了优化与改进。主要工作包括：1)使用mosaic数据增强技术对数据进行了增强，这有效丰富了检测物体的背景；2)使用自对抗训练数据增强方法，该方法通过在数据上添加噪声提高模型的鲁棒性；3)将空间注意力模块的空间注意力机制(spatial-wiseattention)修改为点注意力机制(point-wiseattention)，并将路径聚合网络中的捷径连接替换为级联；4)将批归一化(bn)替换为跨批归一化(cmbn)，其将批内部的4个minibatch当做一个整体对外隔离，之后在minibatch里对前三个时刻的统计量进行汇总。
本发明为了提高网络特征提取能力，将yolov4网络中的残差块替换为密集链接块。yolov4使用cspdarknet53作为主干网络提取特征，cspdarknet53是在yolov3darknet53网络基础上加入csp块组成。每个csp块有多个残差块组成，残差块如图5所示。在网络训练时残差块可以提高梯度的传播效率，提高网络训练速度的同时提升网络特征传播效率。假设xi表示网络第i层的输出，xi 1是第(i 1)层的输出。则网络中残差层的输出为
yi＝(xi xi-1)w(8)
其中，w表示相加后的特征权重。从式(1)可以看出，第i层和第i 1层输出的特征共享同一个权重。虽然这可以提升网络训练的效率，但是由于两层的输出都共享一个权重，限制了网络对特征表达的多样性，这限制了网络对复杂环境中微小目标特征提取的能力。
为了解决该问题，该发明将网络中的残差块替换为密集链接块。该方法可以有效提高网络特征表达多样性，提取更为细粒度的目标特征。密集链接块由多个3×3后接1×1的卷积层组成。每个块里所有3×3的卷积层都直接与3×3层之后的所有1×1卷积层相连，如图6所示。其输出可表示为
其中xk表示1×1卷积层前方的3×3卷积层产生的特征图，w表示为每个与1×1卷积层相连特征图分配的权重，yi表示密集链接块中1×1卷积层的输出。可以看出，相比于残差链接块密集链接块具备更强的特征表达能力，这是因为密集链接块为每个特征图分配了不一样的权重。
最后，将图像融合算法与改进后的检测网络串联组成低照度图像目标检测模型。
6.实验分析
本发明为了验证算法的有效性，在低照度条件下拍摄了15322张同一场景的图片，并对算法进行了验证。
为了验证对yolov4改进的有效性，分别使用原始yolov4和改进后的yolov4在数据集上进行了验证。首先将两种算法在低照度可见光数据集上进行了对比实验，实验结果如表1所示。从表中可以看出，改进后的yolov4比原始的yolov4精度有一定提升，这是因为改进后的yolov4网络特征提取能力更好。
表1yolov4和改进后yolov4对比实验
表中ap表示平均精度，ap50表示当iou大于等于0.5时的平均精度，ap75表示iou大于等于0.75时的平均精度，为严格模式测量。
为了验证整个发明的有效性，本文首先对所有同场景的红外图片和低照度可见光图片进行了融合，并对这些图片进行了标注。之后将改进后的yolov4网络在低照度和融合后的数据上分别进行了测试验证，结果如表2所示。从表中可以看出，网络在融合的数据集上具有更高的检测率，其验证了发明的有效性。
表2算法有效性对比
1.一种基于图像融合与目标检测网络的低照度图像目标检测方法，其特征在于步骤如下：
步骤1：采集同一视角和同一时刻的低照度可见光数据和红外数据；
步骤2：对低照度可见光图像进行非下采样nssct剪切波变换得到高频系数组和低频系数；
对红外图像经过非下采样nssct剪切波变换得到高频系数组和低频系数组；
所述低频系数组包含图像整体信息和结构信息；
步骤3：采用信息互补的方式对nssct变换得到的红外与可见光图像高频系数组进行融合，得到融合后的高频系数组图像数据；
步骤4：采用信息互补的方式对nssct变换得到的红外与可见光图像低频系数组进行融合，得到融合后的低频系数组图像数据；然后对图像数据中的显著性目标进行增强，在保留边缘信息同时对两种图像的低频信息进行融合；
步骤5：采用非下采样剪切波逆变换对步骤3和步骤4融合后的图像高频系数与低频系数进行处理，得到融合的图像；
步骤6：重复步骤1～步骤5，得到同场景的红外和可见光数据进行融合，再对融合后的数据进行标注，形成数据集；
步骤7：对数据集的数据进行数据增强，进行旋转得到旋转后的数据集；进行平移得到平移后的数据集；进行伽马变换得到伽马变换后的数据集；进行mixup数据增强方法得到mixup数据增强方法后的数据集；进行mosaic数据增强方法得到mosaic数据增强方法后的数据集；进行模糊化处理得到模糊化处理后的数据集；
步骤8：使用改进后的yolov4网络在步骤7增强后的数据集上进行训练，得到融合后图像的检测模型；所述改进后的yolov4网络是：将yolov4网络的里的残差块替换为密集链接层；
步骤9：以实时采集同一视角和同一时刻的低照度可见光数据和红外数据，按照步骤1～步骤5的过程处理后的数据作为步骤8训练后的检测模型的输入，得到低照度可见光图像和红外图像融合的目标检测结果。
2.根据权利要求1所述基于图像融合与目标检测网络的低照度图像目标检测方法，其特征在于：所述步骤3的红外与可见光图像高频系数组的融合是：利用信息互补的方式来对红外与可见光图像的高频系数进行融合：
式中
3.根据权利要求2所述基于图像融合与目标检测网络的低照度图像目标检测方法，其特征在于：所述评估因子σ取值在0～1之间。
4.根据权利要求2所述基于图像融合与目标检测网络的低照度图像目标检测方法，其特征在于：所述融合系数ω为：
5.根据权利要求1所述基于图像融合与目标检测网络的低照度图像目标检测方法，其特征在于：所述步骤4采用信息互补的方式对nssct变换得到的红外与可见光图像低频系数组进行融合，首先构造显著性图：
在低频系数融合时所遵循的规则式为：
式中pi和pj分别是以像素点i和j为中心的3×3像素点，
6.根据权利要求5所述基于图像融合与目标检测网络的低照度图像目标检测方法，其特征在于：所述ε＝0.8。
7.根据权利要求5所述基于图像融合与目标检测网络的低照度图像目标检测方法，其特征在于：所述β＝1。
8.根据权利要求5所述基于图像融合与目标检测网络的低照度图像目标检测方法，其特征在于：所述加权系数α为
