本发明涉及基于模态字典和特征匹配的未配准红外可见图像融合方法，属于图像融合。
背景技术：
1、不同的传感器能够捕获到来自不同波段的信息，这取决于它的硬件构成和成像原理。现阶段还不存在能够捕获来自同一场景中所有波段信息的传感器。例如，可见光传感器可以捕获到物体表面的纹理细节，但是一旦受到极端天气、遮挡和光照的影响就会丢失大量信息。然而，红外传感器在恶劣条件下也能够高效地对目标进行突出，但是它对纹理细节的捕获能力不足。因此，为了能够在单张图像中表征出尽量多的场景信息，图像融合技术应运而生。但是传感器在不同环境下拍摄，容易出现红外可见光图像对在空间上的未对齐的情况。对未对齐的红外可见光图像对直接进行融合，往往会得到一张充满伪影和偏移的融合图像，严重影响到下游任务的性能，例如图像识别，语义分割，目标追踪等等。于是，针对上述困境，提出了基于模态字典和特征匹配的未配准红外可见图像融合方法。在减少源图像对未对齐给融合结果带来的负面影响的同时，得到一张不存在伪影和偏移的视觉效果良好且计算机易于分析的融合结果。
技术实现思路
1、为了解决现有方法的不足，本发明针对红外可见光图像对在空间上的未对齐，给融合结果中引入伪影和偏移，从而严重影响到下游任务的性能，提出了一种基于模态字典和特征匹配的未配准红外可见图像融合方法。
2、本发明的技术方案是：基于模态字典和特征匹配的未配准红外可见图像融合方法，所述方法的具体步骤如下：
3、步骤1：获取用于未对齐红外可见光图像融合的训练数据集；
4、步骤2：将固定图像和偏移图像输入到特征提取模块中，获得固定特征和偏移特征；固定特征和偏移特征是能够对场景信息进行高效且全面表征的特征；
5、步骤3：将固定特征和偏移特征输入到跨模态表示学习模块中，获得统一表示的固定特征和偏移特征；
6、将固定特征和偏移特征输入到跨模态表示学习模块中后，利用模态可学习字典对不同模态的特征进行一致性表示。具体操作如下：
7、将不同模态的特征同另一个模态的可学习字典进行注意力计算，并得到一致性表示的特征。
8、步骤4：将统一表示的固定特征和偏移特征输入特征匹配模块中，输出匹配矩阵；具体过程如下：
9、首先，将统一表示的固定特征和偏移特征输入特征匹配模块中的双重特征增强块中，得到增强之后的固定特征和偏移特征；之后，对增强之后的特征计算相似度，并输出匹配矩阵；其中，对增强之后的特征计算相似度即将增强之后的特征通过逐元素内积计算得到两个特征之间的点到点对应关系；
10、步骤5：将匹配矩阵和偏移特征输入特征重组块中，利用匹配矩阵对偏移特征进行重组，以实现重组特征与固定特征在空间上对齐；
11、步骤6：将重组特征和固定特征输入融合模块中，并重构出红外可见光融合图像。
12、作为本发明的进一步方案，所述步骤1中未对齐红外可见光图像融合的训练数据集包含数对未对齐红外可见光图像对，其中每个红外可见光图像对，都由一张红外图像和一张可见光图像组成；每张红外图像和可见光图像的大小均为256×256；首先对用于未对齐红外可见光图像融合的训练数据集进行预处理，预处理的方法具体为，对数据进行随机反转、随机旋转和偏移，对处理之后的图像进行归一化。
13、作为本发明的进一步方案，所述步骤2中，具体操作如下：
14、将固定图像和偏移图像输入特征提取模块中，并获得特征{,,,}；其中，表示固定的i模态的图像得到的用于融合的特征，表示偏移的j模态的图像得到的用于融合的特征，表示固定的i模态的图像得到的用于一致性表示的特征，表示偏移的j模态的图像得到的用于一致性表示的特征，上述过程表示为：
15、
16、该特征提取模块由卷积核大小为3×3，步长为1的卷积层、relu激活层、批规范化层组成，其中，i表示固定图像所属模态，j表示偏移图像所属模态；vis表示该图像属于可见光模态，即可见光图像；ir表示该图像属于红外模态，即红外图像。
17、作为本发明的进一步方案，所述步骤3中，跨模态表示学习模块的具体操作如下:
18、将固定的i模态的图像得到的用于一致性表示的特征同另一个模态的可学习字典进行注意力计算并得到固定的单一模态特征，即统一表示的固定特征，表示为：
19、；
20、其中，表示由经过线性映射之后得到的结果，作为注意力计算中的查询；表示由经过线性映射之后得到的结果，作为注意力计算中的键；表示由经过线性映射之后得到的结果，作为注意力计算中的值，表示的维度大小；
21、与上述过程类似，将偏移的不同模态特征同另一个模态的可学习字典进行注意力计算并得到偏移的单一模态特征，即统一表示的偏移特征；其中，i表示固定图像所属模态，j表示偏移图像所属模态；vis表示该图像属于可见光模态，即可见光图像；ir表示该图像属于红外模态，即红外图像。
22、为了使得特征之间有良好的一致性表示，定义了特征一致性损失：
23、
24、其中，表示范数。同样，类似于上述过程定义了针对偏移特征的相关损失和特征一致性损失。
25、作为本发明的进一步方案，所述步骤4中，在特征匹配前先针对统一表示的固定特征和偏移特征采用精心设计的窗口划分方式进行划分；具体地，采用大小的窗口对统一表示的固定特征进行无重叠地划分，得到，其中表示窗口个数；之后，采用大小的窗口对统一表示的偏移特征进行划分，得到，其中。
26、作为本发明的进一步方案，所述步骤4中，设计了双重特征增强块对特征进行增强，通过增强特征提高后续特征匹配的准确度。具体操作如下：
27、将分别输入模态规范化块得到两个不同的特征；模态规范化块由卷积核大小为3×3，步长为1的卷积层、relu激活层和实例规范化层组成；两个特征分别输入参数不共享的u-net网络中进行特征增强；然后，将两个初步增强之后的特征进行通道维度上的拼接操作，再分别输入到参数不共享的u-net网络中再次进行特征增强；最后，将两个经过双重增强的特征在通道维度上进行拼接并使用信息聚合块进行信息整合：
28、；
29、其中，表示固定特征中第个窗口经过增强之后的结果；信息聚合块由卷积核大小为3×3，步长为1的卷积层、relu激活层和实例规范化层组成；同样，根据上述过程，得到经过增强之后的偏移特征，表示通道维度上的拼接操作；表示经过两次特征增强之后的第一支路的特征；表示经过两次特征增强之后的第二支路的特征。
30、作为本发明的进一步方案，所述步骤4中，对增强之后的特征进行特征匹配，具体操作如下：
31、对和的逐像素进行内积计算，以获得它们之间的对应关系：
32、；
33、其中，表示增强之后的偏移特征和固定特征第个窗口之间的匹配矩阵；表示对该矩阵的第0维度进行softmax计算。
34、匹配矩阵的准确度对后续特征在空间上的对齐有着重要影响。因此，定义了相对对应损失以监督预测的匹配矩阵具有较高的准确度：
35、；
36、其中，表示匹配矩阵的ground truth，该矩阵由0和1构成；表示图像的高；表示图像的宽；表示窗口个数。
37、作为本发明的进一步方案，所述步骤5中特征重组块的具体操作如下所示：
38、将匹配矩阵中的第行与展平的偏移特征进行相乘：
39、
40、其中，表示偏移特征中第个窗口经过重组的结果，表示j模态的偏移特征中的第个窗口的特征。
41、作为本发明的进一步方案，所述步骤6中，将重组特征和固定特征输入融合模块进行特征融合的具体操作如下所示：
42、将个按照逆划分规则重构出重组特征，并与固定特征一同输入融合模块，并重建出融合图像:
43、
44、其中，融合模块由数个卷积核大小为3×3，步长为1的卷积层、relu激活层和批规范化层组成的重建块构成，表示偏移特征中第个窗口经过重组的结果。
45、融合图像中应该具有清晰的纹理细节信息和显著的目标信息，以实现对场景有效且全面地表征。为了尽可能多地保留红外图像和可见光图像中的纹理细节，定义了纹理损失：
46、；
47、其中，表示逐像素最大值选择；表示图像的高；表示图像的宽；表示j模态偏移图像和i模态固定图像经过上述过程得到的融合图像；表示sobel算子提取梯度操作；表示的梯度图；表示的梯度图；表示的梯度图，表示不带有偏移的j模态图像；
48、在图像内容信息的保留方面，将融合图像与源图像在像素层面上进行拉近，由此定义内容损失：
49、；
50、 表示用于平衡子损失项的权重。
51、本发明的有益效果是：
52、1、本发明通过模态可学习字典对不同模态的特征进行表示，在特征的相互引导下，获得一致性表示的跨模态特征。以此将后续的跨模态特征匹配问题转化成单模态匹配问题；
53、2、本发明利用双重特征增强块将更丰富的信息聚合到源特征中，用于增强特征的表征能力，大大地增加了特征匹配的准确率；
54、3、本发明通过特征匹配的方式，计算出偏移图像和固定图像之间的逐像素对应关系，并利用匹配矩阵的特性对偏移特征进行重组。以一种全新的方式实现了偏移特征和固定特征在空间上的对齐；
55、4、本发明针对未对齐红外可见光图像对进行融合，并重构出一张不存在伪影和偏移的高质量融合图像，解决了现阶段难以应对未对齐红外可见光图像对融合的困难；
56、5、针对公开数据集的大量实验结果表明，本发明提出的方法能有效地融合未对齐红外可见光图像对，比现有先进方法性能更好。
1.基于模态字典和特征匹配的未配准红外可见图像融合方法，其特征在于：所述方法的具体步骤如下：
2.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法，其特征在于，所述步骤1中未对齐红外可见光图像融合的训练数据集包含数对未对齐红外可见光图像对，其中每个红外可见光图像对，都由一张红外图像和一张可见光图像组成；每张红外图像和可见光图像的大小均为256×256；首先对用于未对齐红外可见光图像融合的训练数据集进行预处理，预处理的方法具体为，对数据进行随机反转、随机旋转和偏移，对处理之后的图像进行归一化。
3.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法，其特征在于，所述步骤2中，具体操作如下：
4.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法，其特征在于，所述步骤3中，跨模态表示学习模块的具体操作如下:
5.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法，其特征在于，所述步骤4中，在特征匹配前先针对统一表示的固定特征和偏移特征采用精心设计的窗口划分方式进行划分；具体地，采用大小的窗口对统一表示的固定特征进行无重叠地划分，得到，其中表示窗口个数；之后，采用大小的窗口对统一表示的偏移特征进行划分，得到，其中，i表示固定图像所属模态，j表示偏移图像所属模态；vis表示该图像属于可见光模态，即可见光图像；ir表示该图像属于红外模态，即红外图像。
6.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法，其特征在于，所述步骤4中，设计了双重特征增强块对特征进行增强，具体操作如下：
7.根据权利要求6所述的基于模态字典和特征匹配的未配准红外可见图像融合方法，其特征在于，所述步骤4中，对增强之后的特征进行特征匹配，具体操作如下：
8.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法，其特征在于，所述步骤5中特征重组块的具体操作如下所示：
9.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法，其特征在于，所述步骤6中，将重组特征和固定特征输入融合模块进行特征融合的具体操作如下所示：
