本发明提供一种基于多尺度局部显著主方向特征的跨模态图像配准方法，属于图像处理。
背景技术：
1、当前图像传感器技术高速发展催生出大量的新应用与新需求，在特定应用下仅利用单一种类的图像源获取目标信息会导致信息不足、观测不准确、数据分析不可靠的问题，多源图像的数据融合与综合分析，可以弥补单一传感器图像信息的不足，在图像信息解译与分析方面具有极大的意义。多源图像技术能充分利用不同类型的传感器所提供的信息，更为全面地描述场景、目标的特性，从而做出更为准确的判断。多源图像通常指对于同一场景由不同传感器获取到的图像数据，其目的是将从不同源获得的信息进行整合，以获得更复杂、更详细、更精准的场景表示。近年来，多源图像的应用越来越广泛，如何准确、有效地配准大量的多源图像数据逐渐成为图像处理领域中重要的研究问题。
2、由于不同传感器的成像原理以及获取数据能力的差异，现有的图像配准算法在精度、稳定性、效率，尤其是适应性等方面难以满足多源图像的配准需求。如今许多较为成熟的算法很依赖于图像本身成像的单模性质，而多源图像间存在的成像原理、分辨率和灰度属性等多种因素影响的差异，这会大大降低配准的精度，对于广泛且复杂的跨模态图像利用图像算法技术实现通用、稳定、自动化的配准是核心问题。
3、跨模态图像配准的关键是提取跨模态不变特征。针对同一场景的多源数据图像存在多传感器、多时相以及多视角等因素，导致由于成像模式、条件、分辨率等诸多因素的不同而产生的图像属性差异。跨模态图像的差异具体表现为：尺度、旋转、几何和亮度畸变、纹理细节、噪声形式等方面的差异。
技术实现思路
1、本发明针对跨模态图像的特点和差异，设计检测图像中显著、稳定、充足且重复度高的特征点，并提取对亮度、尺度、旋转和复杂模态差异等具有高度不变性的鲁棒特征，通过特征点的准确匹配，获得图像之间的空间坐标对应关系，以克服目前配准算法泛化性不高和精度较低的问题。
2、本发明具体的技术方案：
3、基于多尺度局部显著主方向特征的跨模态图像配准方法,其特征在于，包括以下步骤：
4、s1、对待配准的两个原始图像进行预处理，分别得到每个原始图像对应的配准用图像；
5、首先获取待配准的两个原始图像，然后对原始图像进行预处理，以得到分别与每个原始图像对应的配准用图像；其中，按照顺序截取原始图像中的部分图像作为配准用图像进行配准工作，或者只截取原始图像中需要进行配准的重要部分作为配准用图像进行配准工作；
6、两个原始图像中，选取一个清晰且更接近于真实信息的图像作为参考图像，另一个是需要进行配准的待配准图像，以通过参考图像对待配准图像进行配准；
7、s1中，对参考图像和待配准图像进行预处理，具体包括以下子步骤：
8、s1.1：获取两个原始图像的感兴趣区域roi，其中两个感兴趣区域的场景相对应；
9、获取原始图像中参考图像的roi，获取原始图像中待配准图像的roi；其中，参考图像的roi和待配准图像的roi场景相对应，即参考图像的roi和待配准图像的roi为同一视点、同一视角、同一深度、同一对象的图像区域；
10、s1.2：对每个感兴趣区域分别进行去噪和降维处理，得到配准用图像；
11、分别对参考图像的roi和待配准图像的roi进行去噪和降维处理，得到对应的配准用图像；即得到与参考图像的roi对应的第一配准用图像，得到与待配准图像的roi的第二配准用图像。
12、s2、建立配准用图像的尺度空间金字塔；
13、建立配准用图像的尺度空间金字塔，其中尺度空间金字塔中包含若干组不同分辨率的尺度空间图像，每组尺度空间图像包含若干层不同模糊程度的层图像；具体地，分别建立第一配准用图像和第二配准用图像的尺度空间金字塔，第一配准用图像的尺度空间金字塔中包含关于第一配准用图像的若干组不同分辨率的尺度空间图像；第二配准用图像的尺度空间金字塔中包含关于第二配准用图像的若干组不同分辨率的尺度空间图像；
14、s2中，第一配准用图像的尺度空间金字塔与第二配准用图像的尺度空间金字塔的建立过程相同；
15、第一配准用图像的尺度空间金字塔的建立步骤为；
16、s2.1、按照预设的采样系数对配准用图像进行降采样，得到若干个不同分辨率的底层图像；
17、降采样，即是采样点数减少；如果降采样系数为k,则即是在原图中每行每列每隔k个点取一个点组成一幅图像；
18、在一种具体地实施例中，将降采样系数k设置为10，对第一配准用图像进行10次降采样，得到分辨率逐渐降低，即图像尺寸逐渐减小的10个底层图像；
19、s2.2、将每个底层图像均输入预先构建的高斯滤波器中进行多次滤波，每个底层图像均得到对应的多个上层图像；
20、使用预先构建的高斯滤波器对每一个底层图像进行多次滤波：
21、
22、l(x,y,σ)＝g(x,y,σ)*i(x,y)；
23、其中*表示卷积运算，n，m为高斯模板的维度；
24、进而，每个底层图像均能够得到对应的多个上层图像，其中底层图像与多个上层图像具有不同的模糊程度；其中，任意一个底层图像，以及，与任意一个底层图像对应的多个上层图像，组成一组尺度空间图像；
25、s2.3、将多组尺度空间图像组合为尺度空间金字塔；
26、将多组尺度空间图像组合按照对应的底层图像的分辨率从低到高的顺序自上而下排列，即可得到包含多组尺度空间图像，每组尺度空间图像包含底层图像和多个上层图像的尺度空间金字塔。
27、s3、提取尺度空间金字塔中分辨率最高的尺度空间图像中的基准shi-tomasi角点作为特征点；
28、按照上述步骤分别得到第一配准用图像和第二配准用图像的尺度空间金字塔后，分别提取每个尺度空间金字塔中分辨率最高的尺度空间图像中的基准shi-tomasi角点；
29、s3中，第一配准用图像和第二配准用图像的尺度空间金字塔中基准shi-tomasi角点提取过程相同；
30、第一配准用图像的尺度空间金字塔中基准shi-tomasi角点提取，包括以下步骤：
31、s3.1、分别确定分辨率最高的尺度空间图像中，底层图像和每个上层图像的shi-tomasi角点数量；
32、shi-tomasi角点检测是特征点检测的基础，应用邻近像素点灰度差值概念，从而判断是否为角点、边缘、平滑区域；在分辨率最高的尺度空间图像的底层图像和每个上层图像中，shi-tomasi角点数量的计算过程相同，该计算过程如下：
33、在底层图像或上层图像所在的平面中，设置直角坐标系；计算每一个像素点分别沿直角坐标系的x轴和y轴的灰度一阶梯度图ix，iy；
34、计算一阶梯度图中每一个像素点的矩阵m：
35、
36、其中加权窗w设为高斯卷积窗；
37、计算每一个像素点的角点响应：
38、cornerness(x,y)＝min(λ1,λ2)
39、λ1和λ2是矩阵m的两个特征值，min(λ1,λ2)表示λ1和λ2中较小的值。
40、当底层图像或上层图像中的某点(x,y)的角点响应cornerness(x,y)大于预设的响应阈值，且为局部极大值，则确定该点(x,y)是shi-tomasi角点；进而确定分辨率最高的尺度空间图像的底层图像和每个上层图像中shi-tomasi角点数量；
41、s3.2、判断分辨率最高的尺度空间图像中，是否存在目标层图像的shi-tomasi角点数量大于预设shi-tomasi角点数量；
42、s3.3、若存在，则确定shi-tomasi角点响应值最高的预设shi-tomasi角点数量的shi-tomasi角点进行保留，并剔除掉其余shi-tomasi角点；
43、若存在shi-tomasi角点数量大于预设shi-tomasi角点数量，则按照角点响应值倒叙排序所有shi-tomasi角点，并按顺序选择shi-tomasi角点数量与预设shi-tomasi角点数量等量的shi-tomasi角点保留，其余shi-tomasi角点被剔除；
44、s3.4、若不存在，则保留全部shi-tomasi角点；
45、若不存在shi-tomasi角点数量大于预设shi-tomasi角点数量，则全部shi-tomasi角点被保留，无shi-tomasi角点被剔除；
46、s3.5、将分辨率最高的尺度空间图像中的shi-tomasi角点作为基准shi-tomasi角点，即特征点。
47、s4、计算尺度空间金字塔中每层的层图像的pmom；
48、具体地，计算第一配准用图像在尺度空间金字塔中每层的层图像的pmom，计算第二配准用图像在尺度空间金字塔中每层的层图像的pmom；
49、s4中，第一配准用图像和第二配准用图像的pmom的计算方式相同，第一配准用图像的pmom的计算步骤如下：
50、对于第一配准用图像在尺度空间金字塔中每层的层图像，计算其沿x和y方向的梯度：
51、
52、其中，i(x,y)表示单层灰度图像；
53、根据尺度空间金字塔中一系列预设的尺度σ，使用不同标准差σ的高斯窗wσ分别对上述梯度进行加权平方，得到一系列沿x和y方向的局部加权平方梯度：
54、
55、将上述局部加权平方梯度相加，得到沿x和y方向的总局部加权平方梯度，计算总局部加权平方梯度的方向令该角度的范围在(-π,π)内；其中，∠(x,y)被定义为：
56、
57、将总局部加权平方梯度方向的角度除以2，得到平均平方梯度的方向：
58、
59、根据平均平方梯度的方向对该层图像进行滤波，得到该层图像的pmom。
60、s5、设计一种ggloh特征描述符，根据pmom确定特征点在所属的尺度空间金字塔中每层的层图像中的该特征描述符；
61、s5具体地过程为：在原有的gloh特征描述符结构的基础上进行优化和改进，设计ggloh特征描述符，其中，a0表示中心圆形区域；(i＝1,2,j＝1,…,na)表示外环区域i的扇形子区域j；na为每个外环区域的子区域个数，为偶数；θ0为特征点的主方向；r0、r1、r2分别为中心区域和外部区域的半径；no为统计pmom的方向量化角度值；满足如下关系：
62、
63、计算第一配准用图像中的基准shi-tomasi角点在所属的尺度空间金字塔中每层的层图像中对应位置的ggloh特征描述符，计算第二配准用图像中的基准shi-tomasi角点在所属的尺度空间金字塔中每层的层图像中的ggloh特征描述符；
64、第一配准用图像和第二配准用图像的ggloh特征描述符的计算方式相同；
65、第一配准用图像中ggloh特征描述符的计算步骤如下：
66、对于第一配准用图像在s103中得到的每个特征点p，找到其所在尺度空间的对应位置l(x,y,σ)，其中，σ表示该尺度空间的尺度；通过相邻像素的差分来近似计算特征点p周围像素梯度的幅度m(x,y)和方向θ(x,y)：
67、
68、θ(x,y)＝tan-1((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y)))
69、然后，以10°为单位，为特征点p创建一个周围像素的梯度方向统计直方图；该直方图具有36个区间，每个区间代表一个特定的方向，区间的长度代表该方向上梯度幅度的累积值；该直方图中最大的区间对应的方向被选为特征点p的主方向，同时，如果该直方图中的其他区间的值达到最大值的80％，那么这些方向会被选为特征点p的辅方向；
70、以特征点p的主方向为参考方向(0°)，建立一个直径为s的ggloh窗结构，统计该窗结构各区域内的pmom值，得到特征点p的ggloh特征描述符d：
71、
72、
73、
74、其中，是区域的梯度方向的直方图向量；
75、最后，为特征点p生成描述符向量的维度为(2·na+1)·no。
76、s6、基于ggloh特征描述符，对两个配准用图像中的层图像进行逐一匹配，得到相匹配的特征点对数量最高的目标层图像匹配对；
77、s6中对两个配准用图像中的层图像进行逐一匹配，匹配过程如下：
78、s6.1、按照预设匹配方式，对两个配准用图像中的层图像分别进行逐一的相互匹配；
79、预设匹配方式包括：按照预设顺序分别选择两个配准用图像中的一层图像，分别为第一目标层图像和第二目标层图像；在第一目标层图像的所有特征点对应的ggloh特征描述符中，确定第二目标层图像中目标特征点对应的ggloh特征描述符的欧氏距离最近的最近特征点和ggloh特征描述符欧式距离次近的次近特征点；其中，欧氏距离是在m维空间中两个点之间的真实距离：
80、dij＝ni-mj2
81、其中，mj为其中第一目标层图像中特征点的ggloh特征描述符，ni为第二目标层图像中特征点的ggloh特征描述符，dij为mj与ni的欧氏距离；若最近特征点ggloh特征描述符和次近特征点ggloh特征描述符满足如下公式：
82、
83、则建立最近特征点与目标特征点的匹配关系；其中，d1为目标特征点与最近特征点的欧氏距离，d2为目标特征点与次近特征点的欧氏距离，τ为预设比值阈值，τ取0.9；
84、对两个配准用图像中的层图像对应的特征点分别进行逐一的相互匹配是指：以一个配准用图像为基础，在另一个配准用图像中一一确定最近特征点，得到一组匹配结果；然后在以另一个配准用图像为基础，在一个配准用图像中一一确定最近特征点，得到另一组匹配结果；
85、s6.2、保留相互匹配结果一致的基础特征点对；
86、逐一确定上述两组相互匹配结果是否一致，若是，则保留上述基础特征点对，若不是将相关的基础特征点对全部剔除；
87、s6.3、对基础特征点对进行失配消除，得到相匹配的特征点对；
88、将所有基础特征点对中主方向分布不一致的基础特征点对剔除；
89、将所有基础特征点对中空间分布不一致的基础特征点对剔除；具体地使用ransac算法或其加速算法fsc算法根据所有基础特征点的坐标分布趋势对存在不一致趋势的基础特征点进行剔除；
90、将不符合要求的所有基础特征点对剔除后，得到相匹配的特征点对；
91、s6.4、将相匹配的特征点对数量最高的层图像匹配对作为目标层图像匹配对；
92、分别计算每组层图像匹配对中相匹配的特征点对的数量，将相匹配的特征点对数量最高的层图像匹配对作为目标层图像匹配对。
93、s7、根据目标层图像匹配对中相匹配的特征点对的坐标关系，对两个配准用图像进行空间配准；
94、在获得参考图像与待配准图像间特征点的匹配后，利用目标层图像匹配对中相匹配的特征点对坐标的对应关系，建立图像间的空间变换；最后通过对待配准图像进行模型变换，实现与参考图像的空间对准。
95、本发明针对具有跨模态差异的多源图像，提供了一种基于多尺度局部显著主方向特征的跨模态图像配准方法，该方法的关键点如下：
96、a)通过构造局部主方向图(pmom)来提取局部基础不变特征，能够削弱跨模态差异，并提供鲁棒的方向信息。
97、b)使用泛化gloh(ggloh)特征描述符来提取局部特征，具有强度和旋转不变性。
98、c)为克服多尺度图像的尺度差异问题，采用基于高斯尺度空间的多尺度特征提取与匹配策略，在解决尺度差异和优化特征匹配方面能够取得较好的效果。
99、d)该方法具有完整的处理流程，无需人工干预，能够直接应用于实际的多源图像联合分析应用中。
1.基于多尺度局部显著主方向特征的跨模态图像配准方法,其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多尺度局部显著主方向特征的跨模态图像配准方法,其特征在于，s1中，对参考图像和待配准图像进行预处理，具体包括以下子步骤：
3.根据权利要求1所述的基于多尺度局部显著主方向特征的跨模态图像配准方法,其特征在于，s2中，第一配准用图像的尺度空间金字塔与第二配准用图像的尺度空间金字塔的建立过程相同；
4.根据权利要求1所述的基于多尺度局部显著主方向特征的跨模态图像配准方法,其特征在于，s3中，第一配准用图像和第二配准用图像的尺度空间金字塔中基准shi-tomasi角点提取过程相同；
5.根据权利要求1所述的基于多尺度局部显著主方向特征的跨模态图像配准方法,其特征在于，s4中，第一配准用图像和第二配准用图像的pmom的计算方式相同，第一配准用图像的pmom的计算步骤如下：
6.根据权利要求1所述的基于多尺度局部显著主方向特征的跨模态图像配准方法,其特征在于，s5具体地过程为：在原有的gloh特征描述符结构的基础上进行优化和改进，设计ggloh特征描述符，其中，a0表示中心圆形区域；(i＝1,2,j＝1,…,na)表示外环区域i的扇形子区域j；na为每个外环区域的子区域个数，为偶数；θ0为特征点的主方向；r0、r1、r2分别为中心区域和外部区域的半径；no为统计pmom的方向量化角度值；满足如下关系：
7.根据权利要求1所述的基于多尺度局部显著主方向特征的跨模态图像配准方法,其特征在于，s6中对两个配准用图像中的层图像进行逐一匹配，匹配过程如下：
