本发明属于图像处理与计算机视觉技术领域，涉及一种基于特征解耦的红外和可见光图像检索方法。
背景技术：
红外和可见光图像的检索可以应用于红外和可见光监控系统和为图像配准研究做辅助。然而，红外和可见光图像由于其不同的成像原理，导致了一对红外和可见光图像之间具有非常大的跨模态差异。
为了解决上述问题，公开号为cn110472089a的中国专利公开了一种基于对抗生成网络的红外和可见光图像检索方法，此方法利用对抗生成网络将红外图像转换到可见光模态，于此同时利用分割网络估计图像中的人物数量，计算人物数量在误差范围内的真实可见光图像和转换可见光图像之间的欧式距离。最后对欧式距离进行排序得到红外图像检索可见光图像的结果。反之利用可见光图像检索红外图像具有一样的操作。然而该装置的检索效果依赖于对抗生成网络所生成的转换图像的效果；且该装置仅拉近了图像跨模态差异，而忽略了因模态内部的差异而导致的误差。通常跨模态差异远大于模态内部的差异，使得无法精确检索。
技术实现要素：
本专利旨在利用所设计的特征解耦法，将专属于红外图像模态的热度特征和专属于可见光图像模态的光照特征作为模态的属性特征剥离，得到红外图像和可见光图像之间相似的一致性特征。并利用三重损失减小跨模态差异，拉近一对图像之间的距离，增强不配对图像之间的距离，提升了红外和可见光图像的检索精度，具有现实意义和良好的应用前景。
本发明解决上述问题可以采用如下技术方案：
一种基于特征解耦的红外和可见光图像检索方法，所述图像检索方法包括以下步骤：
s1、将配对后的红外图像和可见光图像后分别送入特征解耦模块，得到各自的属性特征和一致性特征；
s2、交换红外图像和可见光图像生成的属性特征，并将交换后的属性特征与原有的一致性特征拼接，送入生成器重建红外图像和重建可见光图像并利用鉴别器判别来源；
s3、将重建的红外图像和可见光图像分别送入特征解耦模块，分别得到重组属性特征和重组一致性特征；
s4、再次交换重建红外图像和可见光图像生成的重组属性特征，并与重组后的一致性特征拼接，送入生成器得到虚假红外图像和虚假可见光图像并利用鉴别器判别来源；
s5、最小化步骤s1到步骤s4训练过程产生的损失和，将生成器和鉴别器构成特征解耦模块的反馈网络；对包括反馈网络的特征解耦模块进行训练；
s6、输入未配对的红外图像和可见光图像，利用训练完成的特征解耦模块输出红外图像以及可见光图像的一致性特征；
s7、计算出红外图像和可见光图像一致性特征之间的相似度距离，根据相似度距离从小到大排序得到红外图像检索可见光图像的结果或者可见光图像检索红外图像的结果。
本专利旨在利用所设计的特征解耦法，将专属于红外图像模态的热度特征和专属于可见光图像模态的光照特征作为模态的属性特征剥离，得到红外图像和可见光图像之间相似的一致性特征。在提取一致性特征时，对两个一致性特征提取器的网络参数进行共享，更有利于捕捉相似性的特征。同时利用相似性损失约束一致性特征之间的距离。并利用度量学习中的三重损失减小跨模态配对图像之间的差异，增大不配对图像之间的距离，提升了红外和可见光图像的检索精度，具有现实意义和良好的应用前景。
附图说明
图1为本发明整体流程示意图；
图2为本发明特征解耦模块中属性特征提取器的结果示意图；
图3为本发明特征解耦模块中一致性特征提取器的结果示意图；
图4为本发明生成器的结构示意图；
图5为本发明鉴别器的结构示意图；
图6为本发明训练时网络结构示意图。
具体实施方式
本发明所提出的技术方案是：在训练阶段选取多个配对的红外图像和可见光图像进行训练，训练完成以后，在训练完成的模型中输入待检索的红外图像和可见光图像，输出待检索的红外图像和可见光图像的属性特征和一致性特征；按照这个特征的相似度距离，检索出红外图像所对应的可见光图像或者检索出可见光图像所对应的红外图像。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于特征解耦的红外和可见光图像检索方法，所述图像检索方法包括以下步骤：
s1、将配对后的红外图像和可见光图像后分别送入特征解耦模块，得到各自的属性特征和一致性特征；
在一些实施例中，所述配对后的图像包括将相同背景和相同人物的红外图像与可见光图像固定到同样的大小，对所述红外图像和所述可见光图像进行配对并进行拼接处理。
例如，将相同背景和相同人物的红外图像与可见光图像裁剪到256×256大小，再将两个图像拼接组成一个512×256尺寸的组合配对图像；将这个组合配对图像输入到特征解耦模块中，输出红外图像x的属性特征ax和一致性特征sx，以及可见光图像y的属性特征ay和一致性特征sy。
在本实施例中，所述特征解耦模块包括属性特征提取器和一致性特征提取器；如图2所示，所述属性特征提取器包括多个卷积层和一个全连接层，每个卷积层后进行批归一化操作，并使用relu函数进行激活；如图3所示，所述一致性特征提取器包括多个卷积层，每个卷积层后均进行批归一化操作，除最后一个卷积层以外，其余卷积层使用relu函数进行激活；最后一个卷积层利用tanh函数进行激活。
在一些优选实施例中，属性特征提取器由四个卷积层和一个全连接构成，其卷积核大小为4×4，步长为2，每个卷积层后进行批归一化操作后使用relu函数进行激活；一致性特征提取器由五个卷积层构成，每个卷积层后进行批归一化操作，第1-4个归一化操作后使用relu函数进行激活。
具体的，步骤s1中分解出红外图像和可见光图像的特征的具体过程可以包括：
s11、将准备送入特征解耦模块的配对图像拆分成相同大小的可见光图像和红外图像，并对像素值进行归一化操作；
以上述实施例为基础，将准备送入特征解耦模块的组合图像拆开成256×256大小的可见光图像和256×256大小的红外图像，并对像素值进行归一化操作，即将红外图像像素值从[0,1]转化为[-1,1]；可见光图像颜色通道的输入值从[-110,110]转化为[-1,1]；
s12、将拆开后成对的红外图像x和可见光图y分别送入红外图像特征解耦模块和可见光图像特征解耦模块；
红外图像x经过红外图像特征解耦模块中的属性特征提取器
s13、利用相似性损失对一致性特征sx，sy进行l1约束，使得红外图像和可见光的一致性特征具有较小的相似度距离。其损失函数ls如下所示：
ls＝ex，y[||sx-sy||1]
其中，||·||1表示求1范数，ex，y[·]表示红外图像x和可见光图y中的一致性特征sx和sy一范数的结果求均值。
s14、利用kl散度损失lkl对红外图像和可见光图像的属性特性进行约束，使得属性特征能够尽可能接近先验高斯分布，如下所示：
其中，
s15、为了使配对红外图像和可见光图像之间的一致性特征距离更小，不配对的红外和可见光图像之间的距离更大，分别对可见光图像和红外图像使用三重损失
其中，
可以理解的是，本发明中步骤s13-s15中三个损失的训练过程并没有先后顺序，这三种损失训练可以同时进行，也可以先后进行，本发明对其不作任何限定。
s2、交换红外图像和可见光图像生成的属性特征，并将交换后的属性特征与原有的一致性特征拼接，送入生成器重建红外图像和重建可见光图像并利用鉴别器判别来源；
s21、交换红外图像和可见光图像的属性特征，并与另一个图像模态的一致性特征进行组合；
例如交换前红外图像的属性特征与一致性特征表示为(ax,sx)，交换后则表示为(ay,sx)；交换前可见光图像的属性特征与一致性特征表示为(ay,sy)，交换后则表示为(ax,sy)。
s22、将重组后的红外图像的特征向量送入红外图像生成器gx，重组后的可见光图像的特征向量送入可见光图像生成器gy，得到重建红外图像x′和重建可见光图像y′；
下面说明一下生成器的结构，如图4所示，所述生成器由五个卷积层构成，其卷积核大小为4×4，步长为1/2；卷积前，先对输入特征向量每使用relu函数进行激活，在第1-4次卷积后分别进行了批归一化操作和使用relu函数进行激活。在第五次卷积后，利用tanh函数进行激活。
s23、将重建红外图像和重建可见光图像送入鉴别器，分别与真实的红外图像和真实的可见光图像进行判决；
s24、鉴别器对图像来源做二分类判别，生成器和鉴别器相互对抗并迭代优化，最终得到鉴别器无法正确判别来源的伪样本；
下面说明一下鉴别器的结构，如图5所示，所述鉴别器由四个卷积层和一个全连接构成，其卷积核大小为4×4，步长为2。每次卷积后使用relu函数进行激活。
s25、生成器和鉴别器相互对抗生成对抗网络，根据鉴别器和生成器中生成图像与真实图像之间的差异，优化对抗网络的第一损失
其中，e[·]表示对结果求均值，x,y表示真实的红外图像和可见光图像；g为生成器，d为鉴别器。
s26、使用图像重构损失进行图像级别的约束，使重建的红外图像和原红外图像相似；重建的可见光图像与原可见光图像相似，此时图像重构的第一损失
其中，e[·]表示对结果求均值；x,y表示真实的红外图像和可见光图像；g(·)表示由生成器生成的重建可见光图像；||·||1表示求1范数。
s3、将重建的红外图像和可见光图像分别送入特征解耦模块，分别得到重组属性特征和重组一致性特征；
s31、分别得到重组属性特征和重组一致性特征；
s32、使用重组损失进行特征级别的约束，使重组的属性特征和一致性特征与原图的属性特征和一致性特征相似。
其中，e[·]表示对结果求均值；||·||1表示求1范数。
可以理解的是，本发明的原红外图像就是真实的红外图像，原可见光图像就是真实的可见光图像，这里的原图泛指原红外图像和原可见光图像。
s4、再次交换重建红外图像和可见光图像生成的重组属性特征，并与重组后的一致性特征拼接，送入生成器得到虚假红外图像和虚假可见光图像并利用鉴别器判别来源；
s41、交换重建红外图像和重建可见光图像的属性特征，并于另一个图像模态的一致性特征进行组合；
s42、将重组后的重建红外图像的特征向量送入红外图像生成器，将重组后的重建可见光图像的特征向量送入可见光图像生成器，得到虚假红外图像和虚假可见光图像；
s43、将虚假红外图像和虚假可见光图像送入鉴别器，分别与真实的红外图像和真实的可见光图像进行判决；
s44、鉴别器对图像来源做二分类判别，生成器和鉴别器相互对抗并迭代优化，最终使得鉴别器无法正确判别来源的伪样本；
s45、生成器和鉴别器相互对抗并迭代优化包括生成对抗网络根据鉴别器和生成器中生成图像与真实图像之间的差异；
s46、使用图像重构损失进行图像级别的约束，使虚假红外图像和原红外图像相似；虚假可见光图像与原可见光图像相似。
此时的对抗网络的第二损失
其中，e[·]表示对结果求均值，g(·)表示由生成器生成的虚假图像，d表示判别器，||·||1表示求1范数。
s5、最小化步骤s1到步骤s4训练过程产生的损失和，将生成器和鉴别器构成特征解耦模块的反馈网络；对包括反馈网络的特征解耦模块进行训练；
为了更为直观的展示本发明的训练过程，如图6所示，可以看出，本发明先将红外图像和可将光图像的属性特征进行交换，交换完成后，基于生成器重建红外图像和重建可见光图像；再次将重建后的图像的属性特征进行交换，再送入生成器得到虚假红外图像和虚假可见光图像。
在上述过程中，步骤s1产生了相似性损失ls、kl散度损失lkl以及三重损失
其中总的损失函数可表示为：
其中，
s6、输入未配对的红外图像和可见光图像，利用训练完成的特征解耦模块输出红外图像以及可见光图像的一致性特征；
在上述训练过程完成以后，本发明可以直接输入未配对的可见光图像和红外图像，假设输入红外图像a和可见光图像abcdef，训练完成的特征耦合模块将会分别输出红外图像a和可见光图像abcdef的一致性特征。
s7、计算出红外图像和可见光图像一致性特征之间的相似度距离，根据相似度距离从小到大排序得到红外图像检索可见光图像的结果或者可见光图像检索红外图像的结果。
计算出图像的一致性特征后，计算出红外图像a与可见光图像abcdef的相似度距离，假设距离排序按照从小到大依次为bdfeca，那么对于该红外图像a，检索的结果为可见光图像b。
在一些实施例中，所述相似度距离包括欧式距离和余弦距离。
本发明减小了红外图像和可见光图像之间的跨模态差异，拉近配对图像之间的距离，有效的对红外图像和可见光图像进行匹配和检索。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
1.一种基于特征解耦的红外和可见光图像检索方法，所述图像检索方法包括以下步骤：
s1、将配对后的红外图像和可见光图像后分别送入特征解耦模块，得到各自的属性特征和一致性特征；
s2、交换红外图像和可见光图像生成的属性特征，并将交换后的属性特征与原有的一致性特征拼接，送入生成器重建红外图像和重建可见光图像并利用鉴别器判别来源；
s3、将重建的红外图像和可见光图像分别送入特征解耦模块，分别得到重组属性特征和重组一致性特征；
s4、再次交换重建红外图像和可见光图像生成的重组属性特征，并与重组后的一致性特征拼接，送入生成器得到虚假红外图像和虚假可见光图像并利用鉴别器判别来源；
s5、最小化步骤s1到步骤s4训练过程产生的损失和，将生成器和鉴别器构成特征解耦模块的反馈网络；对包括反馈网络的特征解耦模块进行训练；
s6、输入未配对的红外图像和可见光图像，利用训练完成的特征解耦模块输出红外图像以及可见光图像的一致性特征；
s7、计算出红外图像和可见光图像一致性特征之间的相似度距离，根据相似度距离从小到大排序得到红外图像检索可见光图像的结果或者可见光图像检索红外图像的结果。
2.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法，其特征在于，所述配对后的图像包括将相同背景和相同人物的红外图像与可见光图像固定到同样的大小，对所述红外图像和所述可见光图像进行配对并进行拼接处理。
3.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法，其特征在于，所述特征解耦模块包括属性特征提取器和一致性特征提取器；所述属性特征提取器包括多个卷积层和一个全连接层，每个卷积层后进行批归一化操作，并使用relu函数进行激活；所述一致性特征提取器包括多个卷积层，每个卷积层后均进行批归一化操作，除最后一个卷积层以外，其余卷积层使用relu函数进行激活。
4.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法，其特征在于，所述步骤s1包括：
s11、将准备送入特征解耦模块的配对图像拆分成相同大小的可见光图像和红外图像，并对像素值进行归一化操作；
s12、将拆开后成对的红外图像x和可见光图像y分别送入红外图像特征解耦模块和可见光图像特征解耦模块；得到红外图像属性特征ax和一致性特征sx，可见光图像属性特征ay和一致性特征sy；
s13、采用相似性损失、kl散度损失以及三重损失对一致性特征、属性特征进行约束。
5.根据权利要求4所述的一种基于特征解耦的红外和可见光图像检索方法，其特征在于，所述步骤s13包括：
利用相似性损失对一致性特征sx和sy采用l1函数约束，使得红外图像和可见光图像的一致性特征具有较小的相似度距离；
利用kl散度损失对属性特性ax和ay进行约束，使得属性特征接近先验高斯分布；
采用三重损失进行约束，使配对的红外图像和可见光图像之间的一致性特征距离更小，不配对的红外图像和可见光图像之间的一致性特征距离更大。
6.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法，其特征在于，所述步骤s2包括：
s21、交换红外图像和可见光图像的属性特征，并与另一个图像模态的一致性特征进行组合；
s22、将重组后的红外图像的特征向量送入红外图像生成器，重组后的可见光图像的特征向量送入可见光图像生成器，得到重建红外图像和重建可见光图像；
s23、将重建红外图像和重建可见光图像送入鉴别器，分别与真实的红外图像和真实的可见光图像进行判决；
s24、鉴别器对图像来源做二分类判别，生成器和鉴别器相互对抗并迭代优化，最终得到鉴别器无法正确判别来源的伪样本；
s25、生成器和鉴别器相互对抗生成对抗网络，根据鉴别器和生成器中生成图像与真实图像之间的差异，优化对抗网络的损失；
s26、使用图像重构损失进行图像级别的约束，使重建的红外图像和原红外图像相似；重建的可见光图像与原可见光图像相似。
7.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法，其特征在于，所述步骤s3包括：
s31、分别得到重组属性特征和重组一致性特征；
s32、使用重组损失进行特征级别的约束，使重组的属性特征和一致性特征与原图的属性特征和一致性特征相似。
8.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法，其特征在于，所述步骤s4包括：
s41、交换重建红外图像和重建可见光图像的属性特征，并于另一个图像模态的一致性特征进行组合；
s42、将重组后的重建红外图像的特征向量送入红外图像生成器，将重组后的重建可见光图像的特征向量送入可见光图像生成器，得到虚假红外图像和虚假可见光图像；
s43、将虚假红外图像和虚假可见光图像送入鉴别器，分别与真实的红外图像和真实的可见光图像进行判决；
s44、鉴别器对图像来源做二分类判别，生成器和鉴别器相互对抗并迭代优化，最终使得鉴别器无法正确判别来源的伪样本；
s45、生成器和鉴别器相互对抗并迭代优化包括生成对抗网络根据鉴别器和生成器中生成图像与真实图像之间的差异；
s46、使用图像重构损失进行图像级别的约束，使虚假红外图像和原红外图像相似；虚假可见光图像与原可见光图像相似。
9.根据权利要求1所述的一种基于特征解耦的红外和可见光图像检索方法，其特征在于，所述相似度距离包括余弦距离或者欧式距离。
技术总结