本发明属于人工智能导航定位
技术领域：
，具体涉及一种基于多源图像自适应选权的融合定位跟踪控制方法。
背景技术：
：随着人工智能技术的发展，无人机、无人车研究和发展日新月异。其中对于无人控制系统，解决定位问题是实现整体功能的基本保障。而定位精度与无人控制系统的行驶安全和工作效率息息相关，单纯的依靠传感器完成定位功能已经满足不了对定位精度的要求。此外多系统融合自动跟踪能有效地避免人为因素引起的监视误差，为分析和判断机体行驶行为提供依据，从而有效地避免无人机、无人车的交通事故。而无人系统环境的特殊性问题，例如雾，雨，光照变化频繁，定位跟踪目标的相似、视域大等，加大跟踪定位的难度。根据检索的现有技术分析，包括多目标在雷达间数据传递、数据融合及连续跟踪定位方法、多目标跟踪识别方法等，目前的做法是对多种类传感器的定位数据进行融合分析，利用传感器功能和精度互补的特点，提高定位结果的精度，还能提高定位系统对各种环境的适应性，增强系统鲁棒性。同时在图像定位跟踪方面，利用可见光和红外图像的优势互补，在不降低目标辨识度的前提下提高环境适应能力。当前对于一般场景的多目标跟踪的研究较多，近年来，随着深度学习等先进技术发展，在多目标跟踪定位方面有很大的改进空间。而卫星导航系统也有典型的缺陷，定位过程中无人系统对卫星的数量和信号强度都有要求。在峡谷、隧道、立交桥等半封闭背景下信号衰减严重，使定位跟踪精度受极大影响。因此，在导航定位领域中传统的多源融合方法以卡尔曼滤波系列算法为主，而其线性化误差仍然具有改进的空间。技术实现要素：本发明的目的在于提供一种定位精度更高的基于多源图像自适应选权的融合定位跟踪控制方法。本发明的目的是这样实现的：基于多源图像自适应选权的融合定位跟踪控制方法，包括如下步骤：(1)根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；(2)检测gps或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据gps或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点；(3)将待定位的红外、可见光图像和因子图对进行预处理；(4)将预处理后的图像和中心位置输入特征提取网络，提取图像中无人系统的特征向量，对图像中的无人系统外形特征建模；(5)将无人系统的外形特征输入相似度估计模块中，求取前后图像的关联矩阵，即当前帧图像的无人系统与先前帧图像的无人系统的相似度矩阵；(6)当获得量测请求时，结合因子图和相似度矩阵与位置变量节点进行权重计算完成自适应选权，根据权重进行数据融合完成定位；(7)通过关联目标，增添新目标，更新目标跟踪轨迹，实现多源稳定跟踪；(8)根据状态观测器，对无人系统的位姿误差进行非线性转换映射，推导区域跟踪控制律进行无人系统的控制。所述的步骤(1)包括：(1.1)检测无人系统的6维位姿向量η，确定质量矩mη(η)；(1.2)提取无人系统坐标系与大地坐标系之间速度转换矩阵j；(1.3)提取无人系统推进器分布矩阵b，探测未知动力项以及目前无人系统的跟踪控制律u；(1.4)构建无人系统的动力学模型：(1.5)设置对无人驾驶系统的状态向量进行线性变换：i6×6为6阶单位阵，t1是6阶正定对角阵，06×6为6阶零矩阵，x＝[x1t，x2t]t(1.6)构建状态观测器：其中，l1、l2为对角阵，代表的估计值：δ、ki、p1、p2、a1、a2为大于零的常数；i＝1，2，3，4，5，6；α∈(0，1)，γ1＞1，γ2∈(0，1)；p1、p2是正定对角阵，col代表将所有元素整合成一个列向量；n1i(ζ1i)和n2i(ζ2i)是nussbaum函数；ζ1i和ζ2i分别代表ζ1i和ζ2i第i个元素；(1.7)结合动力学模型和状态观测器得到状态估计误差的动态方程所述的步骤(2)包括：(2.1)添加图像特征提取流，将图像对并行输入特征提取流以提取特征图；(2.2)在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；(2.3)将抽取的9对特征图对输入特征图融合层，将融合后的特征图输入特征向量提取网络，获取每帧图像的特征矩阵；(2.4)调取无人驾驶系统整体函数：其中，u1，u2，…，un代表无人驾驶系统中的各位置变量节点；fj(uj)表示各变量节点相关的子函数；(2.5)构建无人驾驶系统整体函数的因子图：g＝(f，u，ε)u为变量节点集合，f为因子节点fj(uj)的集合，ε为连接因子节点和变量节点的边的集合；(2.6)调取截止到tk时刻的所有位置变量节点xk和所有误差变量节点ckxi为ti时刻的位置变量，ci为ti时刻的误差变量；(2.7)计算系统的最大后验概率uk＝{xk，ck}p(uk|zk)为概率密度函数，zk表示到tk时刻的所有量测信息；为ti时刻的变量节点；为误差方程；为误差方程的平方马氏距离；∑为量测噪声协方差矩阵因子图表达为：hi(·)代表传感器相对于无人驾驶系统状态量的量测模型，zi表示实际量测值。所述步骤(3)包括：(3.1)对红外图像的单通道图像，增加通道数成为三通道图像，将红外图像复制两次，与原红外图像在通道维度上进行拼接，将红外图像和可见光图像并行输入图像预处理层；(3.2)进行光度失真处理，以随机概率按顺序对输入的图像进行图像像素值缩放、转换hsv格式、饱和度缩放、转换rgb格式；(3.3)进行图像放大处理，采用缩放因子为1.1-1.2的随机值对图像进行放大，用数据的平均像素值填充放大后图像中的像素值；(3.4)进行图像裁剪，根据随机比率裁剪图片，仅保留包含所有检测目标中心点；将所有的输入图像调整为固定值大小并以0.65的概率进行图像的水平反转操作。所述的步骤(4)包括：(4.1)以第q帧和第q-l帧两帧红外图像和可见光图像及红外图像和可见光图像目标的中心位置信息作为输入；从上下两层特征提取流并行输入并提取特征图对；所述的特征提取流是由vgg卷积层和extension卷积层构成的深度卷积流，在vgg层之后，将得到的特征图通过更深的extension卷积层进行空间降维，提取深层的图像特征；将处理后的三通道图像输入特征提取流，提取对应输入图像的特征图；(4.2)分别在特征提取流的9个固定位置层抽取9对卷积层输出的红外特征图和可见光特征图；(4.3)将抽取的红外特征图和可见光特征图通过附加卷积层在通道上进行降维；(4.4)特征图提取层对输入的前后两对红外特征图和可见光特征图，分别提取9层不同空间尺度的特征图对；(4.5)将(4.1)的特征图中的可见光特征图和红外特征图输入特征图融合层，其中l∈{1，2，…，l}为特征图通道标号，l表示特征图通道数；根据范数l1计算可见光特征图和红外特征图的初始作用程度图像cii，ii＝1，2；l·m表示该特征图的所有通道，(x，y)表示特征图和融合特征图中的对应位置；计算最终的作用程度图计算两种模态的可见光特征图的权重和红外特征图的权重ρii(x，y)；通过加权求和生成融合的特征图fl(x，y)：(4.6)将融合后的特征图输入特征向量提取层；利用输入的目标中心位置，从融合后的特征图中的中心像素值作为特征值，将从9层融合特征图中获取的特征进行拼接，形成520维的特征向量；(4.7)每帧图像中包含多个定位跟踪目标，将每帧图像中所有目标的特征向量放在一个二维矩阵中，形成一个nm*520的特征矩阵，其中nm表示规定的允许一帧图像中最大目标数；若帧中的目标数目少于nm，则特征矩阵中非真实的目标的特征向量为零向量，至此形成无人系统外形特征建模。所述的步骤(5)包括：(5.1)将从第q帧和q-l帧的两帧图像中获取的特征矩阵分别按行和按列复制nm次，得到两个大小为nm*nm*520特征矩阵，然后两个复制后的特征矩阵按照520维度方向进行拼接形成一个nm*nm*1024的特征体；(5.2)将特征体通过带有1*1卷积核的5层卷积压缩网络映射成nm*nm大小的相似度矩阵，该相似度矩阵代表第q帧和第q-l帧图像中船舶目标之间的相似度。所述的步骤(6)包括：(6.1)检测gps或北斗系统定位信号是否正常接入，若gps或北斗系统定位信号正常接入，则以gps或北斗系统定位信号提供的当前定位结果作为卫星导航因子输出的定位结果，若gps或北斗系统信号定位信号未接入，gps或北斗系统定位系统保留下gps或北斗系统信号失效前最终的定位结果，以该定位结果与位置变量节点进行数据融合；(6.2)与位置变量节点进行数据融合前，首先比较卫星导航因子输出的位置信息与位置变量节点提供的位置信息之间的差值，其公式如下：其中，xe1和ye1为卫星导航因子输出的位置信息的经纬度坐标，xe2和ye2为当前位置变量节点输出的位置信息的经纬度坐标，δl为位置差值；(6.3)在卫星导航因子中加入变量t，t对相同的位置信息进行计数，加入变量n，自适应选择权重的过程，其中位置差值的阈值：n＝t 2(6.4)自适应选权的权重为；卫星导航因子输出的位置信息的融合权重为γi，位置变量节点输出的位置信息的融合权重为1-γi。所述步骤(7)包括；(7.1)在提取第q帧图像的特征矩阵后，存储该帧图像的特征矩阵及其帧编号，通过存储的特征矩阵计算当前帧中的目标与先前帧中的目标之间的相似度，将当前帧中的目标与多个先前帧中的目标进行关联；(7.2)生成累加器矩阵；(7.3)根据第一帧图像中的目标个数初始化轨迹集合，轨迹中每个元素是个二元组；(7.4)对累加器矩阵分解寻求最优目标匹配；(7.5)对于未成功匹配且在当前帧中确实存在的目标，定义为新出现目标；(7.6)对于历史帧中出现过的目标且在连续l帧中没再次出现的目标，定义为消失的旧目标；(7.7)完成轨迹更新：匹配成功的目标放入对应的轨迹中；为新出现的目标创建新轨迹并添加到轨迹集中；将消失的旧目标的轨迹从轨迹集中删除。所述步骤(8)包括：(8.1)构造最终有界特性函数v1：(8.2)调整各参数，使动力学模型和状态观测器满足ε0为大于零的常数；p＝diag(p1，p2)；ψ＝diag(06×6，ε0δ2i6×6)，diag表示元素的对角矩阵；(8.3)对位姿跟踪误差进行非线性转换映射：位姿跟踪误差为s为位姿变量，d为位姿平衡阈值；sign代表符号函数；(8.4)设计虚拟控制量：转换虚拟控制量αc为：(8.5)设计区域跟踪控制律为：其中，e(x1) 为e(x1)的伪逆矩阵，为特征向量提取网络的输出。本发明的有益效果在于：(1)现有的跟踪定位控制方法通常要求获得无人系统的目标或者本身的速度，但由于信号和成本控制等多种原因，无人系统在实际作业过程中无法使用上述信息。本发明专利提出了一种不依赖速度的控制方法，为提高速度估计精度，本发明利用状态变量线性转换与动力学模型结合的形式构造状态观测器；在性能预设控制的基础上，利用跟踪误差的非线性转换映射，设计了区域跟踪控制律，使跟踪误差不收敛于零，使得控制信号更平缓，更有利于无人系统的实际情况的行驶。(2)本发明利用可见光和红外图像优势互补，解决基于单源图像的跟踪易受环境条件约束而无法实现稳定跟踪的问题，具较好鲁棒性，针对特殊环境具有多雾，光照变化频繁等特殊性，在特征提取模块中增加图像特征提取流，使其能够对前后两帧图像的特征进行提取，从而将红外和可见光图像序列并行输入网络，通过采用特征级融合方案，在红外和可见光图像特征层后添加了融合层，采用自适应融合策略实现特征图的融合。通过以端到端的方式使用深度学的方法使多目标跟踪数据进行关联，从而避免了人为约束条件计算目标间的相关性误差问题。(3)通过利用因子图的位置变量节点中的定位结果与卫星导航因子的定位结果之间的位置差值构建权函数完成自适应选权，使无人系统的计算量更小，能够减轻系统存储数据的负担并且减小计算量。附图说明图1是本发明方法流程图。图2是本发明速度、位姿和控制量估计的效果图。图3是本发明与传统因子图的效率对比图。具体实施方式下面结合附图对本发明作进一步描述。基于多源图像自适应选权的融合定位跟踪控制方法，包括如下步骤：(1)根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；具体包括：(1.1)检测无人系统的6维位姿向量η，确定质量矩mη(η)；(1.2)提取无人系统坐标系与大地坐标系之间速度转换矩阵j；(1.3)提取无人系统推进器分布矩阵b，探测未知动力项以及目前无人系统的跟踪控制律u；(1.4)构建无人系统的动力学模型：(1.5)设置对无人驾驶系统的状态向量进行线性变换：i6×6为6阶单位阵，t1是6阶正定对角阵，06×6为6阶零矩阵，x＝[x1t，x2t]t(1.6)构建状态观测器：其中，l1、l2为对角阵，代表的估计值：δ、ki、p1、p2、a1、a2为大于零的常数；i＝1，2，3，4，5，6；α∈(0，1)，γ1＞1，γ2∈(0，1)；p1、p2是正定对角阵，col代表将所有元素整合成一个列向量；n1i(ζ1i)和n2i(ζ2i)是nussbaum函数；ζ1i和ζ2i分别代表ζ1i和ζ2i第i个元素；(1.7)结合动力学模型和状态观测器得到状态估计误差的动态方程(2)检测gps或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据gps或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点；具体包括：(2.1)添加图像特征提取流，将图像对并行输入特征提取流以提取特征图；(2.2)在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；(2.3)将抽取的9对特征图对输入特征图融合层，将融合后的特征图输入特征向量提取网络，获取每帧图像的特征矩阵；(2.4)调取无人驾驶系统整体函数：其中，u1，u2，…，un代表无人驾驶系统中的各位置变量节点；fj(uj)表示各变量节点相关的子函数；(2.5)构建无人驾驶系统整体函数的因子图：g＝(f，u，ε)u为变量节点集合，f为因子节点fj(uj)的集合，ε为连接因子节点和变量节点的边的集合；(2.6)调取截止到tk时刻的所有位置变量节点xk和所有误差变量节点ckxi为ti时刻的位置变量，ci为ti时刻的误差变量；(2.7)计算系统的最大后验概率uk＝{xk，ck}p(uk|zk)为概率密度函数，zk表示到tk时刻的所有量测信息；为ti时刻的变量节点；为误差方程；为误差方程的平方马氏距离；∑为量测噪声协方差矩阵因子图表达为：hi(·)代表传感器相对于无人驾驶系统状态量的量测模型，zi表示实际量测值。(3)将待定位的红外、可见光图像和因子图对进行预处理；具体包括：(3.1)对红外图像的单通道图像，增加通道数成为三通道图像，将红外图像复制两次，与原红外图像在通道维度上进行拼接，将红外图像和可见光图像并行输入图像预处理层；(3.2)进行光度失真处理，以随机概率按顺序对输入的图像进行图像像素值缩放、转换hsv格式、饱和度缩放、转换rgb格式；(3.3)进行图像放大处理，采用缩放因子为1.1-1.2的随机值对图像进行放大，用数据的平均像素值填充放大后图像中的像素值；(3.4)进行图像裁剪，根据随机比率裁剪图片，仅保留包含所有检测目标中心点；将所有的输入图像调整为固定值大小并以0.65的概率进行图像的水平反转操作。(4)将预处理后的图像和中心位置输入特征提取网络，提取图像中无人系统的特征向量，对图像中的无人系统外形特征建模；具体包括：(4.1)以第q帧和第q-l帧两帧红外图像和可见光图像及红外图像和可见光图像目标的中心位置信息作为输入；从上下两层特征提取流并行输入并提取特征图对；所述的特征提取流是由vgg卷积层和extension卷积层构成的深度卷积流，在vgg层之后，将得到的特征图通过更深的extension卷积层进行空间降维，提取深层的图像特征；将处理后的三通道图像输入特征提取流，提取对应输入图像的特征图；(4.2)分别在特征提取流的9个固定位置层抽取9对卷积层输出的红外特征图和可见光特征图；(4.3)将抽取的红外特征图和可见光特征图通过附加卷积层在通道上进行降维；(4.4)特征图提取层对输入的前后两对红外特征图和可见光特征图，分别提取9层不同空间尺度的特征图对；(4.5)将(4.1)的特征图中的可见光特征图和红外特征图输入特征图融合层，其中l∈{1，2，…，l}为特征图通道标号，l表示特征图通道数；根据范数l1计算可见光特征图和红外特征图的初始作用程度图像cii，ii＝1，2；l·m表示该特征图的所有通道，(x，y)表示特征图和融合特征图中的对应位置；计算最终的作用程度图计算两种模态的可见光特征图的权重和红外特征图的权重ρii(x，y)；通过加权求和生成融合的特征图fl(x，y)：(4.6)将融合后的特征图输入特征向量提取层；利用输入的目标中心位置，从融合后的特征图中的中心像素值作为特征值，将从9层融合特征图中获取的特征进行拼接，形成520维的特征向量；(4.7)每帧图像中包含多个定位跟踪目标，将每帧图像中所有目标的特征向量放在一个二维矩阵中，形成一个nm*520的特征矩阵，其中nm表示规定的允许一帧图像中最大目标数；若帧中的目标数目少于nm，则特征矩阵中非真实的目标的特征向量为零向量，至此形成无人系统外形特征建模。(5)将无人系统的外形特征输入相似度估计模块中，求取前后图像的关联矩阵，即当前帧图像的无人系统与先前帧图像的无人系统的相似度矩阵；具体包括：(5.1)将从第q帧和q-l帧的两帧图像中获取的特征矩阵分别按行和按列复制nm次，得到两个大小为nm*nm*520特征矩阵，然后两个复制后的特征矩阵按照520维度方向进行拼接形成一个nm*nm*1024的特征体；(5.2)将特征体通过带有1*1卷积核的5层卷积压缩网络映射成nm*nm大小的相似度矩阵，该相似度矩阵代表第q帧和第q-l帧图像中船舶目标之间的相似度。(6)当获得量测请求时，结合因子图和相似度矩阵与位置变量节点进行权重计算完成自适应选权，根据权重进行数据融合完成定位；具体包括：(6.1)检测gps或北斗系统定位信号是否正常接入，若gps或北斗系统定位信号正常接入，则以gps或北斗系统定位信号提供的当前定位结果作为卫星导航因子输出的定位结果，若gps或北斗系统信号定位信号未接入，gps或北斗系统定位系统保留下gps或北斗系统信号失效前最终的定位结果，以该定位结果与位置变量节点进行数据融合；(6.2)与位置变量节点进行数据融合前，首先比较卫星导航因子输出的位置信息与位置变量节点提供的位置信息之间的差值，其公式如下：其中，xe1和ye1为卫星导航因子输出的位置信息的经纬度坐标，xe2和ye2为当前位置变量节点输出的位置信息的经纬度坐标，δl为位置差值；(6.3)在卫星导航因子中加入变量t，t对相同的位置信息进行计数，加入变量n，自适应选择权重的过程，其中位置差值的阈值：n＝t 2(6.4)自适应选权的权重为；卫星导航因子输出的位置信息的融合权重为γi，位置变量节点输出的位置信息的融合权重为1-γi。(7)通过关联目标，增添新目标，更新目标跟踪轨迹，实现多源稳定跟踪；具体包括；(7.1)在提取第q帧图像的特征矩阵后，存储该帧图像的特征矩阵及其帧编号，通过存储的特征矩阵计算当前帧中的目标与先前帧中的目标之间的相似度，将当前帧中的目标与多个先前帧中的目标进行关联；(7.2)生成累加器矩阵；(7.3)根据第一帧图像中的目标个数初始化轨迹集合，轨迹中每个元素是个二元组；(7.4)对累加器矩阵分解寻求最优目标匹配；(7.5)对于未成功匹配且在当前帧中确实存在的目标，定义为新出现目标；(7.6)对于历史帧中出现过的目标且在连续l帧中没再次出现的目标，定义为消失的旧目标；(7.7)完成轨迹更新：匹配成功的目标放入对应的轨迹中；为新出现的目标创建新轨迹并添加到轨迹集中；将消失的旧目标的轨迹从轨迹集中删除。(8)根据状态观测器，对无人系统的位姿误差进行非线性转换映射，推导区域跟踪控制律进行无人系统的控制。具体包括：(8.1)构造最终有界特性函数v1：(8.2)调整各参数，使动力学模型和状态观测器满足ε0为大于零的常数；p＝diag(p1，p2)；ψ＝diag(06×6，ε0δ2i6×6)，diag表示元素的对角矩阵；(8.3)对位姿跟踪误差进行非线性转换映射：位姿跟踪误差为s为位姿变量，d为位姿平衡阈值；sign代表符号函数；(8.4)设计虚拟控制量：转换虚拟控制量αc为：(8.5)设计区域跟踪控制律为：其中，e(x1) 为e(x1)的伪逆矩阵，为特征向量提取网络的输出。实施例1为验证本发明专利方法，设计对比仿真验证实验：相同区域跟踪控制下，采用常规高增益观测器与状态观测器进行对比仿真验证；相同的状态观测器下，采用传统反演控制方法进行对比仿真验证。在仿真实验验证过程中，无人系统的初始状态、外部干扰等均是相同的。、利用matlab/simulink仿真平台得到的对比结果如图2所示。其中第一列为位置信息、第二列为姿态信息、第三列为控制率信息。从速度估计结果来看，本发明专利中的状态观测器和高增益观测器均能根据位姿信息以及控制量来获得较好的速度估计结果，但本发明专利中的状态观测器对时变的信号估计效果优于高增益观测器的结果。从无人系统位姿跟踪误差结果来看，本发明专利的跟踪误差不收敛于零。跟踪误差能满足实现设定的期望边界的前提下控制量尽可能平滑且延长无人系统作业时间。控制量结果相比较，本专利的控制量信号明显比传统的控制量平滑，这也就实现了跟踪控制的目的。实施例2本发明利用kitti数据集进行实验验证。实验使用无人车真实路况下采集的kitti数据集进行实验，选取其中的两段路径，在总计80秒的时间里设置三个时间段的卫星信号丢失，分别是第10秒到第15秒的5秒间隔，第25秒到第35秒的10秒间隔和第45秒到第65秒的20秒间隔，中间各留了10秒的时间观察能够正常接收到卫星信号时误差的恢复情况。本方法与传统方法比较的误差统计结果，如表1所示：表1实验结果本文方法传统因子图平均值/m3.944.49最大值/m14.8417.04rmse/m4.595.02由表1可知，本发明在精度上优于传统的因子图。依靠位置差值进行权重调整的可行性，由图3展示的结果证明本方法能够在卫星信号失效时自主排除卫星信号，并且能够在卫星信号恢复时自主接入，迅速减小误差，实现了自适应调整权重的功能，有着一定的应用价值。实施例3结合具体数值给出本发明的实施例：数据集准备阶段为了使得数据集更接近于真实的环境，更好的对本发明测试和比较分析，从大量原始无人机视频数据集中构建了红外-可见光跟踪数据集。从原始数据集中精心挑选了22对适合多目标跟踪的视频段，经过裁剪，配准等一系列图像预处理后共生成了22对图像序列。该数据集涵盖了广泛工作环境，如雾天、光照变化频繁，目标远小和多尺度等环境，可以很好的训练跟踪网络及测试网络的泛化能力和性能。数据集分别是远小目标在天空附近的环境；多尺度环境，即视野中存在多个目标且由于目标距离远近不同造成目标尺度相差较大的环境。目标检测与定位目标检测阶段需要一个视频帧作为输入，并为该帧中的目标对象输出一组边界框。根据输出的边界框，计算出该帧图像中目标的中心位置信息。本发明采用目标检测器来获取目标的位置信息。训练和测试阶段为了证明本发明融合方法的有效性，在数据集进行了三组实验，实验采用14对图像序列作为训练集，8对图像序列作为测试集，无论是训练集还是测试集，其中都包含了多种环境下的图像序列，如雾天，光照变化频繁和多尺度等环境，有助于测试和验证算法的环境泛化能力。实验结果分析本发明从以下14种多目标评价指标对跟踪器性能进行评价：表2和表3是两种跟踪实验的结果。表中的向上的箭头表示该指标值越大越好，向下的箭头表示该指标之越小越好，表中每行表示一种实验的跟踪结果。可以明显看出，在同一时刻，就跟踪目标数量上看，vtnet在跟踪目标数量上多于单独红外和单独可见光跟踪。若仅根据跟踪效果图，无法比较出跟踪器的优劣。要评判出不同跟踪方法间的差距，就要利用跟踪指标进行定量的比较。三组实验跟踪结果的评价指标如表1所示，若以某一个序列的跟踪结果作为评价三组实验的跟踪性能，必然使得跟踪结果过于片面，所有该指标统计是所有测试序列跟踪指标的均值指标。综上分析，本发明相比于单源数据跟踪，在提升多船舶跟踪性能方面的效果是显而易见的。表2雾天环境实验结果分析为了进一步验证本发明对特殊环境下的目标跟踪性能的提升，红外辐射穿透雾的能力高于可见光，因此，可见光中目标的可见度远低于红外图像。融合跟踪利用了红外和可见光的优势互补性，可以兼顾目标的可见度和辨识度，进而提高目标的跟踪性能。由跟踪指标可知，本发明在mota，motp，idf1和idr等跟踪指标上处于领先地位。实验结果证明了本发明对雾天环境的有效性。表3与现有技术相比，现有的跟踪定位控制方法通常要求获得无人系统的目标或者本身的速度，但由于信号和成本控制等多种原因，无人系统在实际作业过程中无法使用上述信息。本发明专利提出了一种不依赖速度的控制方法，为提高速度估计精度，本发明利用状态变量线性转换与动力学模型结合的形式构造状态观测器；在性能预设控制的基础上，利用跟踪误差的非线性转换映射，设计了区域跟踪控制律，使跟踪误差不收敛于零，使得控制信号更平缓，更有利于无人系统的实际情况的行驶。本发明利用可见光和红外图像优势互补，解决基于单源图像的跟踪易受环境条件约束而无法实现稳定跟踪的问题，具较好鲁棒性，针对特殊环境具有多雾，光照变化频繁等特殊性，在特征提取模块中增加图像特征提取流，使其能够对前后两帧图像的特征进行提取，从而将红外和可见光图像序列并行输入网络，通过采用特征级融合方案，在红外和可见光图像特征层后添加了融合层，采用自适应融合策略实现特征图的融合。通过以端到端的方式使用深度学的方法使多目标跟踪数据进行关联，从而避免了人为约束条件计算目标间的相关性误差问题。通过利用因子图的位置变量节点中的定位结果与卫星导航因子的定位结果之间的位置差值构建权函数完成自适应选权，使无人系统的计算量更小，能够减轻系统存储数据的负担并且减小计算量。本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3
技术特征：1.基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，包括如下步骤：
(1)根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；
(2)检测gps或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据gps或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点；
(3)将待定位的红外、可见光图像和因子图对进行预处理；
(4)将预处理后的图像和中心位置输入特征提取网络，提取图像中无人系统的特征向量，对图像中的无人系统外形特征建模；
(5)将无人系统的外形特征输入相似度估计模块中，求取前后图像的关联矩阵，即当前帧图像的无人系统与先前帧图像的无人系统的相似度矩阵；
(6)当获得量测请求时，结合因子图和相似度矩阵与位置变量节点进行权重计算完成自适应选权，根据权重进行数据融合完成定位；
(7)通过关联目标，增添新目标，更新目标跟踪轨迹，实现多源稳定跟踪；
(8)根据状态观测器，对无人系统的位姿误差进行非线性转换映射，推导区域跟踪控制律进行无人系统的控制。
2.根据权利要求1所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(1)包括：
(1.1)检测无人系统的6维位姿向量η，确定质量矩mη(η)；
(1.2)提取无人系统坐标系与大地坐标系之间速度转换矩阵j；
(1.3)提取无人系统推进器分布矩阵b，探测未知动力项以及目前无人系统的跟踪控制律u；
(1.4)构建无人系统的动力学模型：
(1.5)设置对无人驾驶系统的状态向量进行线性变换：
i6×6为6阶单位阵，t1是6阶正定对角阵，06×6为6阶零矩阵，x＝[x1t,x2t]t
(1.6)构建状态观测器：
其中，l1、l2为对角阵，代表的估计值：
δ、ki、p1、p2、a1、a2为大于零的常数；i＝1,2,3,4,5,6；
α∈(0,1)，γ1>1，γ2∈(0,1)；p1、p2是正定对角阵，
col代表将所有元素整合成一个列向量；
n1i(ζ1i)和n2i(ζ2i)是nussbaum函数；ζ1i和ζ2i分别代表ζ1i和ζ2i第i个元素；
(1.7)结合动力学模型和状态观测器得到状态估计误差的动态方程
3.根据权利要求2所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(2)包括：
(2.1)添加图像特征提取流，将图像对并行输入特征提取流以提取特征图；
(2.2)在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；
(2.3)将抽取的9对特征图对输入特征图融合层，将融合后的特征图输入特征向量提取网络，获取每帧图像的特征矩阵；
(2.4)调取无人驾驶系统整体函数：
其中，u1,u2,…,un代表无人驾驶系统中的各位置变量节点；fj(uj)表示各变量节点相关的子函数；
(2.5)构建无人驾驶系统整体函数的因子图：
g＝(f,u,ε)
u为变量节点集合，f为因子节点fj(uj)的集合，ε为连接因子节点和变量节点的边的集合；
(2.6)调取截止到tk时刻的所有位置变量节点xk和所有误差变量节点ck
xi为ti时刻的位置变量，ci为ti时刻的误差变量；
(2.7)计算系统的最大后验概率
uk＝{xk,ck}
p(uk|zk)为概率密度函数，zk表示到tk时刻的所有量测信息；
为ti时刻的变量节点；
为误差方程；
为误差方程的平方马氏距离；σ为量测噪声协方差矩阵
因子图表达为：
hi(·)代表传感器相对于无人驾驶系统状态量的量测模型，zi表示实际量测值。
4.根据权利要求3所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述步骤(3)包括：
(3.1)对红外图像的单通道图像，增加通道数成为三通道图像，将红外图像复制两次，与原红外图像在通道维度上进行拼接，将红外图像和可见光图像并行输入图像预处理层；
(3.2)进行光度失真处理，以随机概率按顺序对输入的图像进行图像像素值缩放、转换hsv格式、饱和度缩放、转换rgb格式；
(3.3)进行图像放大处理，采用缩放因子为1.1-1.2的随机值对图像进行放大，用数据的平均像素值填充放大后图像中的像素值；
(3.4)进行图像裁剪，根据随机比率裁剪图片，仅保留包含所有检测目标中心点；将所有的输入图像调整为固定值大小并以0.65的概率进行图像的水平反转操作。
5.根据权利要求4所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(4)包括：
(4.1)以第q帧和第q-l帧两帧红外图像和可见光图像及红外图像和可见光图像目标的中心位置信息作为输入；从上下两层特征提取流并行输入并提取特征图对；所述的特征提取流是由vgg卷积层和extension卷积层构成的深度卷积流，在vgg层之后，将得到的特征图通过更深的extension卷积层进行空间降维，提取深层的图像特征；将处理后的三通道图像输入特征提取流，提取对应输入图像的特征图；
(4.2)分别在特征提取流的9个固定位置层抽取9对卷积层输出的红外特征图和可见光特征图；
(4.3)将抽取的红外特征图和可见光特征图通过附加卷积层在通道上进行降维；
(4.4)特征图提取层对输入的前后两对红外特征图和可见光特征图，分别提取9层不同空间尺度的特征图对；
(4.5)将(4.1)的特征图中的可见光特征图和红外特征图输入特征图融合层，其中l∈{1,2,…,l}为特征图通道标号，l表示特征图通道数；根据范数l1计算可见光特征图和红外特征图的初始作用程度图像cii,ii＝1，2；
l·m表示该特征图的所有通道,(x,y)表示特征图和融合特征图中的对应位置；
计算最终的作用程度图
计算两种模态的可见光特征图的权重和红外特征图的权重ρii(x,y)；通过加权求和生成融合的特征图fl(x,y)：
(4.6)将融合后的特征图输入特征向量提取层；利用输入的目标中心位置，从融合后的特征图中的中心像素值作为特征值，将从9层融合特征图中获取的特征进行拼接，形成520维的特征向量；
(4.7)每帧图像中包含多个定位跟踪目标，将每帧图像中所有目标的特征向量放在一个二维矩阵中，形成一个nm*520的特征矩阵，其中nm表示规定的允许一帧图像中最大目标数；若帧中的目标数目少于nm，则特征矩阵中非真实的目标的特征向量为零向量，至此形成无人系统外形特征建模。
6.根据权利要求5所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(5)包括：
(5.1)将从第q帧和q-l帧的两帧图像中获取的特征矩阵分别按行和按列复制nm次，得到两个大小为nm*nm*520特征矩阵，然后两个复制后的特征矩阵按照520维度方向进行拼接形成一个nm*nm*1024的特征体；
(5.2)将特征体通过带有1*1卷积核的5层卷积压缩网络映射成nm*nm大小的相似度矩阵，该相似度矩阵代表第q帧和第q-l帧图像中船舶目标之间的相似度。
7.根据权利要求6所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(6)包括：
(6.1)检测gps或北斗系统定位信号是否正常接入，若gps或北斗系统定位信号正常接入，则以gps或北斗系统定位信号提供的当前定位结果作为卫星导航因子输出的定位结果，若gps或北斗系统信号定位信号未接入，gps或北斗系统定位系统保留下gps或北斗系统信号失效前最终的定位结果，以该定位结果与位置变量节点进行数据融合；
(6.2)与位置变量节点进行数据融合前，首先比较卫星导航因子输出的位置信息与位置变量节点提供的位置信息之间的差值，其公式如下：
其中，xe1和ye1为卫星导航因子输出的位置信息的经纬度坐标，xe2和ye2为当前位置变量节点输出的位置信息的经纬度坐标，δl为位置差值；
(6.3)在卫星导航因子中加入变量t，t对相同的位置信息进行计数，加入变量n，自适应选择权重的过程，其中位置差值的阈值：
n＝t 2
(6.4)自适应选权的权重为；
卫星导航因子输出的位置信息的融合权重为γi，位置变量节点输出的位置信息的融合权重为1-γi。
8.根据权利要求7所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述步骤(7)包括；
(7.1)在提取第q帧图像的特征矩阵后，存储该帧图像的特征矩阵及其帧编号，通过存储的特征矩阵计算当前帧中的目标与先前帧中的目标之间的相似度，将当前帧中的目标与多个先前帧中的目标进行关联；
(7.2)生成累加器矩阵；
(7.3)根据第一帧图像中的目标个数初始化轨迹集合，轨迹中每个元素是个二元组；
(7.4)对累加器矩阵分解寻求最优目标匹配；
(7.5)对于未成功匹配且在当前帧中确实存在的目标，定义为新出现目标；
(7.6)对于历史帧中出现过的目标且在连续l帧中没再次出现的目标，定义为消失的旧目标；
(7.7)完成轨迹更新：匹配成功的目标放入对应的轨迹中；为新出现的目标创建新轨迹并添加到轨迹集中；将消失的旧目标的轨迹从轨迹集中删除。
9.根据权利要求8所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述步骤(8)包括
(8.1)构造最终有界特性函数v1：
(8.2)调整各参数，使动力学模型和状态观测器满足
ε0为大于零的常数；p＝diag(p1,p2)；ψ＝diag(06×6,ε0δ2i6×6)，diag表示元素的对角矩阵；
(8.3)对位姿跟踪误差进行非线性转换映射：
位姿跟踪误差为
s为位姿变量，d为位姿平衡阈值；sign代表符号函数；
(8.4)设计虚拟控制量：
转换虚拟控制量αc为：
(8.5)设计区域跟踪控制律为：
其中，e(x1) 为e(x1)的伪逆矩阵，为特征向量提取网络的输出，根据区域跟踪控制律进行无人系统的控制。
技术总结本发明属于人工智能导航定位技术领域，具体涉及一种基于多源图像自适应选权的融合定位跟踪控制方法。本发明包括根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；检测GPS或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据GPS或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点等步骤。本发明利用状态变量线性转换与动力学模型结合的形式构造状态观测器；利用跟踪误差的非线性转换映射，设计了区域跟踪控制律，使跟踪误差不收敛于零，使得控制信号更平缓，更有利于无人系统的实际情况的行驶。
技术研发人员：不公告发明人
受保护的技术使用者：哈尔滨工程大学
技术研发日：2020.12.05
技术公布日：2021.03.12
