本发明属于航空器场面检测技术领域，具体涉及一种联合ads-b信息的多航空器检测与跟踪方法。
背景技术：
随着国内近些年民用航空的发展，全国各地有越来越多的机场建立起来并且规模也在不断的扩大，与此同时机场场面也变得更加的复杂。国际民航组织开展了新的场面监控系统，即“先进场面运动引导控制系统”，该系统要求能够监视机场场面当中运动的目标，引导目标的运动路线以避免不同目标运动发生冲突，其中基于机场场面的监督作为一项基础任务扮演着非常重要的角色。与此同时机场内的多项新技术也得到了广泛的推广与应用，其中包含了ads-b自动相关监视广播式技术。航空器首先通过ads-b机载设备从全球卫星导航系统(gnss)、惯性导航系统(ins)和飞行管理系统(fms)等其他机载传感器获得飞行的实时数据，这一数据是全方位的，包含位置、高度、时间、速度、航班号信息、驾驶员输入信息和航迹信息等。
借助卫星数据链等通信技术全天候不间断地以广播形式自动播送给其他装有ads-b设备的航空器及地面基站，从而实现航空器和航空器与航空器和地面监视设备之间信息的实时可见。如何有效地检测、跟踪场面当中的运动目标是实现a-smgcs的基础，本发明结合ads-b技术和现有的检测与跟踪技术联合提出了一种新的机场场面视频监督方法。
对于空中交通管制而言，最为显著的优势在于它能够更全面地监控空中交通的运行情况，切实参与到空中交通管制工作的具体流程中，ads-b技术还会将地面、空中设备以及管制监控系统科学有效地结合在一起，从而实现空地信息的实时互享，一方面可以更好地监控高空的交通运行情况，另一方面还能够更好地服务低空飞行与地面目标。
多航空器跟踪的主要任务是对于连续输入的视频或者图像序列，利用图像信息对图片中航空器进行检测并且在连续帧中对具有同一id号的航空器进行跨帧之间的关联最终形成一个完整的轨迹。不同于其他的多目标跟踪使用场景，在多航空器跟踪中，目标具有很高的外观相似性，从而使得目前比较常用的检测与跟踪算法很难很好地区分不同的航空器，最终导致跟踪结果比较差，并且很容易发生目标id的交换。而航空器不同于其他的目标，它自身携带了ads-b自动相关监视广播式技术，ads-b技术中包含了许多在跟踪和检测任务中可以使用的信息，比如位置、时间和航班号等，同时ads-b信号具有较好的实时性，这些都可以用来改善当前的目标检测、跟踪的结果。
技术实现要素：
本发明的目的是为了解决现有目标检测与跟踪算法冗余度较高且跟踪效果较差的问题，提出了一种联合ads-b信息的多航空器检测与跟踪方法。
本发明的技术方案是：一种联合ads-b信息的多航空器检测与跟踪方法包括以下步骤：
s1：对航空器回传的ads-b信号进行解码，得到航空器在二维图像中的位置信息和身份标识；
s2：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至由fpn网络和attention-rpn网络组成的深度卷积神经网络中，进行训练；
s3：利用训练好的深度卷积神经网络，对连续两帧二维图像进行目标检测与跟踪，完成多航空器的目标检测与跟踪。
本发明的有益效果是：
(1)本发明提出了一个检测及跟踪一体化的跟踪框架，并且结合了多航空器已有的ads-b技术对该框架进行辅助训练，缓解在多目标跟踪中由于目标之间相似度过高和相互遮挡造成的目标丢失，id频繁交换以及轨迹不完整等问题，同时改善了漏检的情况，也使检测结果更加准确。
(2)相比于传统的检测与跟踪分模块完成的方法，本发明能够大大的提高网络的效率以及速度。
(3)相对于当前的行人跟踪的方法，本发明结合了航空器特有的ads-b技术，大大的提高了检测准确率和跟踪精度；能够更加有效地为机场提供视频监控功能，提高机场场面航空器管理的效率。
进一步地，步骤s1中，对航空器回传的ads-b信号进行解码，得到航空器在三维中的位置信息和呼号信息；利用反向映射法，根据相机的位置、航空器在三维中的位置信息和呼号信息，分别得到航空器在二维图像中的位置信息和身份标识。
上述进一步方案的有益效果是：在本发明中，每个航空器有自己特定的呼号，由信号中的呼号信息对每一个位置的飞机做一个特定的身份标识。根据ads-b信息在传统的检测跟踪算法上做了进一步的改进，从而使得改进后的方法更加适应于机场这个特殊场景下的多航空器跟踪任务。
进一步地，步骤s2包括以下子步骤：
s21：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至fpn网络，进行特征提取，得到特征图f3；
s22：利用attention-rpn网络生成候选框及候选框的边界框信息；
s23：根据候选框的边界框信息和真实边界框信息，计算分类损失函数
其中，pi表示anchor为目标的概率，
s24：将特征图f3进行循环位移和卷积运算，得到卷积运算结果
其中，ft(i,j)表示在t时刻的特征图，ft 1(i p,j q)表示在t 1时刻的特征图，p表示第一偏移量，q表示第二偏移量，p∈[-d,d]，q∈[-d,d]，d表示最大位移，i表示特征图中的第一位置x轴方向，j表示特征图中的第二位置y轴方向；
s25：将卷积运算结果
s26：根据位置偏移量delta和真实边界框的真实偏移量计算跟踪损失函数
deltagt＝|boxt 1-boxt|
其中，r(·)表示损失函数smoothl1运算，delta表示位置偏移量，deltagt表示真实边界框的真实差值，boxt表示前一帧图像真实边界框的标注值，boxt 1表示后一帧图像真实边界框的标注值；
s27：计算连续两帧图像的概率损失函数
s28：根据分类损失函数
s29：利用损失函数l，对深度神经网络进行联合优化训练，得到训练好的深度神经网络。
上述进一步方案的有益效果是：在本发明中，进行特征提取使用了多尺度的思想，从而可以很好地应对图像中物体的尺度相差较大的情况，fpn结构主要包含了自下而上和自上而下以及横向连接三个部分，所以提取到的特征f3是一个具有多尺度信息的特征。得到特征图之后，需要从中寻找感兴趣的目标，即航空器。同时，本发明对相邻两帧图像之间提取到的特征进行一个卷积，通过训练使得网络能够结合卷积结果计算出目标中感兴趣的物体在x,y,w,h上的偏移量，通过这个偏移量以及检测结果得出目标在相邻帧当中的位置，得到一部分检测框，大大提升了检测效果。将四部分损失函数结合起来利用adam算法对网络进行训练。分类分支主要是预测在不同的位置当中的anchor是否属于航空器，回归分支主要是预测anchor与真实物体位置上的偏移量，利用这个偏移量可以对anchor进行调整，使检测更加准确。在卷积运算中，p和q是偏移量，取值范围为[-d,d]，用于比较特征图中i和j位置附近的一个方形社区中的特性，由最大位移d定义。跟踪损失函数
进一步地，步骤s22中，候选框由两路组成，第一路候选框由attention-rpn网络的原始rpn网络生成候选框及边界框信息；第二路候选框根据ads-b信号，选择概率区域，生成候选框及边界框信息；其中，以ads-b信号所处位置为中心，航空器所处跑道位置为水平方向，设置椭圆形状的概率区域。
上述进一步方案的有益效果是：在本发明中，结合了传统的rpn网络以及ads-b信号，提出了attention-rpn网络，这个网络在原始rpn网络的基础上添加了注意力机制，从而在生成候选区域的同时，结合位置信息，将侧重点放在更有可能出现航空器的位置。这个网络在生成候选框的时候不同于传统的方法，它由两路组成，第一路是原始的rpn网络生成候选框的方式，第二路是由ads-b信号作为指导，选择一个概率区域，并且在此区域中使用提前设置的anchor。由于航空器在地面航行，跑道所处位置为水平方向扩展，所以设置概率区域形状为椭圆，概率密度由内到外一次降低。
进一步地，步骤s22中，在概率区域中，根据航空器的长宽比例设置anchor，并利用预设的anchor在特征图f3中进行搜寻，得到已跟踪目标ti。
上述进一步方案的有益效果是：在本发明中，在设置anchor的时候，不同于已有的算法，本发明结合了航空器的外形情况以及航空器在不同方位时的长宽比例设置了适用于航空器的anchor的长宽比例。航空器的长宽比例都保持在1:1，2:1，3:1之中，不会出现长宽比小于1的情况，所以本发明对rpn中预设的anchor形状进行了调整，使其更适于航空器的检测。
进一步地，步骤s27包括以下子步骤：
s271：根据航空器的呼号信息，对每一个ads-b信号分配一个候选框；
s272：将两帧连续图像中的同一个ads-b信号的候选框记为正样本，将不同的ads-b信号的候选框记为负样本；
s273：将三个候选框组成一组，输入至tripletnetwork网络，计算概率损失函数
其中，a表示在连续两帧图像中，同一个ads-b信号(即at和at 1)所对应的两个正样本框中的at；p表示样本框at 1；n表示在连续两帧图像中，不同ads-b信号(即at和bt 1)所对应的负样本框bt 1；dist(·)表示欧式距离运算，margin表示预设参数。
上述进一步方案的有益效果是：在本发明中，在相邻两帧图像中，本发明将同一个ads-b信号对应的两个检测框标记为同类，将不同的ads-b信号对应的检测框标记为异类，然后采用tripletnetwork的方法来生成一个新的loss，从而让网络更好的学习到特征，来区分不同的飞机。tripletnetwork网络能够对于给定的模板图像at，当新来待匹配图像b时，给出b属于a的概率。
进一步地，步骤s3包括以下子步骤：
s31：将新一帧图像输入至fpn网络，利用步骤s21的方法进行特征提取，并利用步骤s22的方法，将特征提取的结果输入至深度卷积神经网络，生成新一帧图像的候选框和分类得分；
s32：根据分类得分计算新一帧图像检测结果dj，其计算公式为：
dj＝nms(τ(s_anchori))
其中，s_anchori表示网络预测出anchor的得分，τ(·)表示阈值函数运算，nms(·)表示非极大值抑制函数运算；
s33：将已跟踪目标ti和新一帧图像检测结果dj输入至深度卷积神经网络，得到相似度得分sap和iou得分siou，其计算公式为：
sap＝1-tanh(dist(fti,fdj))
其中，fti表示深度卷积神经网络输出ti的特征，fdj表示深度卷积神经网络输出dj的特征，dist(·)表示欧氏距离运算；
s34：根据相似度得分sap和iou得分siou，计算最终得分sij，其计算公式为：
sij＝0.5*sap 0.5*siou；
s35：设置候选框的数量，并利用步骤s31-s34的方法，得到每个已跟踪目标和检测结果的得分，并根据每个已跟踪目标和检测结果的得分，得到相似度矩阵f，其表达式为：
其中，n表示跟踪目标总数，m表示检测结果总数；
s36：根据相似度矩阵f，利用匈牙利算法进行最终关联，完成多航空器的检测与跟踪。
上述进一步方案的有益效果是：在本发明中，τ(·)为阈值函数运算，作用是滤除得分小于0.5的框。为了使最终的轨迹更加精准，本发明在得到了连续两帧的轨迹与新的检测之间相似度得分后，结合交并比(iou)来计算最后的相似度矩阵f，考虑了位置因素以及特征相似度因素来辅助关联算法，最后通过匈牙利算法进行关联从而得到最终的轨迹。在训练网络时，不仅考虑检测模块生成检测框时与真实边界框的误差，同时考虑由ads-b信号所分配的身份标识不同带来的误差，这样就可以有效的利用ads-b信号来监督完成跟踪任务。
进一步地，步骤s36中，在相似度矩阵f中，利用匈牙利算法进行最终关联的方法为：若已跟踪目标ti匹配到新的候选框，则利用新的候选框更新新目标的外观特征和边界框信息；若已跟踪目标ti未匹配到新的候选框，则将此已跟踪目标标记为丢失，并将该目标初始化为一个新的跟踪目标；若已跟踪目标ti的边界框超出图像范围，则将此已跟踪目标记为终止跟踪。
附图说明
图1为多航空器检测与跟踪方法的流程图；
图2为解码之后的ads-b信号；
图3为本发明提出的网络整体结构；
图4为本发明网络部分细节，其中(a)为特征提取模块，(b)为结合ads-b的检测区域生成网络，(c)为结合了ads-b的跟踪模块，(d)为概率区域的选取；
图5为由若干序列整理出的航空器外观形状；
图6为关联模块以及目标状态示意图；
图7为检测与跟踪结果示意图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
在描述本发明的具体实施例之前，为使本发明的方案更加清楚完整，首先对本发明中出现的缩略语和关键术语定义进行说明：
anchor：一定比例的矩形候选区域；
fpn：featurepyramidnetwork；
iou：交并比，交并比在计算时选择的是区域，两个边界框相交区域面积比上相并区域面积；
tripletnetwork：三维损失网络。
匈牙利算法：常用的一种求解任务分配问题的组合优化算法。
如图1所示，本发明提供了一种联合ads-b信息的多航空器检测与跟踪方法，包括以下步骤：
s1：对航空器回传的ads-b信号进行解码，得到航空器在二维图像中的位置信息和身份标识；
s2：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至由fpn网络和attention-rpn网络组成的深度卷积神经网络中，进行训练；
s3：利用训练好的深度卷积神经网络，对连续两帧二维图像进行目标检测与跟踪，完成多航空器的目标检测与跟踪。
在本发明实施例中，如图2所示，步骤s1中，对航空器回传的ads-b信号进行解码，得到航空器在三维中的位置信息和呼号信息；利用反向映射法，根据相机的位置、航空器在三维中的位置信息和呼号信息，分别得到航空器在二维图像中的位置信息和身份标识。
在本发明中，每个航空器有自己特定的呼号，由信号中的呼号信息对每一个位置的飞机做一个特定的身份标识。根据ads-b信息在传统的检测跟踪算法上做了进一步的改进，从而使得改进后的方法更加适应于机场这个特殊场景下的多航空器跟踪任务。
在本发明实施例中，如图3所示，步骤s2包括以下子步骤：
s21：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至fpn网络，进行特征提取，得到特征图f3；
s22：利用attention-rpn网络生成候选框及候选框的边界框信息；
s23：根据候选框的边界框信息和真实边界框信息，计算分类损失函数
其中，pi表示anchor为目标的概率，
s24：将特征图f3进行循环位移和卷积运算，得到卷积运算结果
其中，ft(i,j)表示在t时刻的特征图，ft 1(i p,j q)表示在t 1时刻的特征图，p表示第一偏移量，q表示第二偏移量，p∈[-d,d]，q∈[-d,d]，d表示最大位移，i表示特征图中的第一位置x轴方向，j表示特征图中的第二位置y轴方向；
s25：将卷积运算结果
s26：根据位置偏移量delta和真实边界框的真实偏移量计算跟踪损失函数
deltagt＝|boxt 1-boxt|
其中，r(·)表示损失函数smoothl1运算，delta表示位置偏移量，deltagt表示真实边界框的真实差值，boxt表示前一帧图像真实边界框的标注值，boxt 1表示后一帧图像真实边界框的标注值；
s27：计算连续两帧图像的概率损失函数
s28：根据分类损失函数
s29：利用损失函数l，对深度神经网络进行联合优化训练，得到训练好的深度神经网络。
在本发明中，进行特征提取使用了多尺度的思想，从而可以很好地应对图像中物体的尺度相差较大的情况，fpn结构主要包含了自下而上和自上而下以及横向连接三个部分，如图4(a)所示，所以提取到的特征f3是一个具有多尺度信息的特征。得到特征图之后，需要从中寻找感兴趣的目标，即航空器。同时，本发明对相邻两帧图像之间提取到的特征进行一个卷积，通过训练使得网络能够结合卷积结果计算出目标中感兴趣的物体在x,y,w,h上的偏移量，通过这个偏移量以及检测结果得出目标在相邻帧当中的位置，得到一部分检测框，大大提升了检测效果。将四部分损失函数结合起来利用adam算法对网络进行训练。分类分支主要是预测在不同的位置当中的anchor是否属于航空器，回归分支主要是预测anchor与真实物体位置上的偏移量，利用这个偏移量可以对anchor进行调整，使检测更加准确。在卷积运算中，p和q是偏移量，取值范围为[-d,d]，用于比较特征图中i和j位置附近的一个方形社区中的特性，由最大位移d定义。跟踪损失函数
在本发明实施例中，如图1所示，步骤s22中，候选框由两路组成，第一路候选框由attention-rpn网络的原始rpn网络生成候选框及边界框信息；第二路候选框根据ads-b信号，选择概率区域，生成候选框及边界框信息；其中，如图4(d)所示，以ads-b信号所处位置为中心，航空器所处跑道位置为水平方向，设置椭圆形状的概率区域。
在本发明中，结合了传统的rpn网络以及ads-b信号，提出了attention-rpn网络，这个网络在原始rpn网络的基础上添加了注意力机制，从而在生成候选区域的同时，结合位置信息，将侧重点放在更有可能出现航空器的位置。这个网络在生成候选框的时候不同于传统的方法，它由两路组成，第一路是原始的rpn网络生成候选框的方式，第二路是由ads-b信号作为指导，选择一个概率区域，并且在此区域中使用提前设置的anchor。由于航空器在地面航行，跑道所处位置为水平方向扩展，所以设置概率区域形状为椭圆，概率密度由内到外一次降低。
在本发明实施例中，如图4(b)所示，步骤s22中，在概率区域中，根据航空器的长宽比例设置anchor，并利用预设的anchor在特征图f3中进行搜寻，得到已跟踪目标ti。
在本发明中，如图5所示，在设置anchor的时候，不同于已有的算法，本发明结合了航空器的外形情况以及航空器在不同方位时的长宽比例设置了适用于航空器的anchor的长宽比例。航空器的长宽比例都保持在1:1，2:1，3:1之中，不会出现长宽比小于1的情况，所以本发明对rpn中预设的anchor形状进行了调整，使其更适于航空器的检测。
在本发明实施例中，如图4(c)所示，步骤s27包括以下子步骤：
s271：根据航空器的呼号信息，对每一个ads-b信号分配一个候选框；
s272：将两帧连续图像中的同一个ads-b信号的候选框记为正样本，将不同的ads-b信号的候选框记为负样本；
s273：将三个候选框组成一组，输入至tripletnetwork网络，计算概率损失函数
其中，a表示在连续两帧图像中，同一个ads-b信号(即at和at 1)所对应的两个正样本框中的at；p表示样本框at 1；n表示在连续两帧图像中，不同ads-b信号(即at和bt 1)所对应的负样本框bt 1；dist(·)表示欧式距离运算，margin表示预设参数。
在本发明中，在相邻两帧图像中，本发明将同一个ads-b信号对应的两个检测框标记为同类，将不同的ads-b信号对应的检测框标记为异类，然后采用tripletnetwork的方法来生成一个新的loss，从而让网络更好的学习到特征，来区分不同的飞机。tripletnetwork网络能够对于给定的模板图像at，当新来待匹配图像b时，给出b属于a的概率。margin一般设置为0.5。
在本发明实施例中，如图1所示，步骤s3包括以下子步骤：
s31：将新一帧图像输入至fpn网络，利用步骤s21的方法进行特征提取，并利用步骤s22的方法，将特征提取的结果输入至深度卷积神经网络，生成新一帧图像的候选框和分类得分；
s32：根据分类得分计算新一帧图像检测结果dj，其计算公式为：
dj＝nms(τ(s_anchori))
其中，s_anchori表示网络预测出anchor的得分，τ(·)表示阈值函数运算，nms(·)表示非极大值抑制函数运算；
s33：将已跟踪目标ti和新一帧图像检测结果dj输入至深度卷积神经网络，得到相似度得分sap和iou得分siou，其计算公式为：
sap＝1-tanh(dist(fti,fdj))
其中，fti表示深度卷积神经网络输出ti的特征，fdj表示深度卷积神经网络输出dj的特征，dist(·)表示欧氏距离运算；
s34：根据相似度得分sap和iou得分siou，计算最终得分sij，其计算公式为：
sij＝0.5*sap 0.5*siou；
s35：设置候选框的数量，并利用步骤s31-s34的方法，得到每个已跟踪目标和检测结果的得分，并根据每个已跟踪目标和检测结果的得分，得到相似度矩阵f，其表达式为：
其中，n表示跟踪目标总数，m表示检测结果总数；
s36：根据相似度矩阵f，利用匈牙利算法进行最终关联，完成多航空器的检测与跟踪。
在本发明中，τ(·)为阈值函数运算，作用是滤除得分小于0.5的框。为了使最终的轨迹更加精准，本发明在得到了连续两帧的轨迹与新的检测之间相似度得分后，结合交并比(iou)来计算最后的相似度矩阵f，如图6所示，考虑了位置因素以及特征相似度因素来辅助关联算法，最后通过匈牙利算法进行关联从而得到最终的轨迹。在训练网络时，不仅考虑检测模块生成检测框时与真实边界框的误差，同时考虑由ads-b信号所分配的身份标识不同带来的误差，这样就可以有效的利用ads-b信号来监督完成跟踪任务。
在本发明实施例中，如图1所示，步骤s36中，在相似度矩阵f中，利用匈牙利算法进行最终关联的方法为：若已跟踪目标ti匹配到新的候选框，则利用新的候选框更新新目标的外观特征和边界框信息；若已跟踪目标ti未匹配到新的候选框，则将此已跟踪目标标记为丢失，并将该目标初始化为一个新的跟踪目标；若已跟踪目标ti的边界框超出图像范围，则将此已跟踪目标记为终止跟踪。
如图7所示，为利用本发明的方法检测与跟踪得到的结果示意图。
本发明的工作原理及过程为：本发明的基本思想是结合目标检测与目标跟踪到一个统一的框架，然后通过添加解码之后的ads-b信号进行辅助训练，从而完成多航空器跟踪的任务。基于此，本发明提出了一个联合框架来同时完成目标检测和目标跟踪这两个任务，同时对航空器返回的ads-b信号进行解码，将航空器的位置和序号等信息对应到实际的图片坐标中，在对联合框架进行训练时，添加解码后的ads-b信号作为新的信号源，辅助网络的训练，最终提高算法的精度与准确度。
本发明的有益效果为：
(1)本发明提出了一个检测及跟踪一体化的跟踪框架，并且结合了多航空器已有的ads-b技术对该框架进行辅助训练，缓解在多目标跟踪中由于目标之间相似度过高和相互遮挡造成的目标丢失，id频繁交换以及轨迹不完整等问题，同时改善了漏检的情况，也使检测结果更加准确。
(2)相比于传统的检测与跟踪分模块完成的方法，本发明能够大大的提高网络的效率以及速度。
(3)相对于当前的行人跟踪的方法，本发明结合了航空器特有的ads-b技术，大大的提高了检测准确率和跟踪精度；能够更加有效地为机场提供视频监控功能，提高机场场面航空器管理的效率。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
1.一种联合ads-b信息的多航空器检测与跟踪方法，其特征在于，包括以下步骤：
s1：对航空器回传的ads-b信号进行解码，得到航空器在二维图像中的位置信息和身份标识；
s2：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至由fpn网络和attention-rpn网络组成的深度卷积神经网络中，进行训练；
s3：利用训练好的深度卷积神经网络，对连续两帧二维图像进行目标检测与跟踪，完成多航空器的目标检测与跟踪。
2.根据权利要求1所述的联合ads-b信息的多航空器检测与跟踪方法，其特征在于，所述步骤s1中，对航空器回传的ads-b信号进行解码，得到航空器在三维中的位置信息和呼号信息；利用反向映射法，根据相机的位置、航空器在三维中的位置信息和呼号信息，分别得到航空器在二维图像中的位置信息和身份标识。
3.根据权利要求1所述的联合ads-b信息的多航空器检测与跟踪方法，其特征在于，所述步骤s2包括以下子步骤：
s21：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至fpn网络，进行特征提取，得到特征图f3；
s22：利用attention-rpn网络生成候选框及候选框的边界框信息；
s23：根据候选框的边界框信息和真实边界框信息，计算分类损失函数
其中，pi表示anchor为目标的概率，
s24：将特征图f3进行循环位移和卷积运算，得到卷积运算结果
其中，ft(i,j)表示在t时刻的特征图，ft 1(i p,j q)表示在t 1时刻的特征图，p表示第一偏移量，q表示第二偏移量，p∈[-d,d]，q∈[-d,d]，d表示最大位移，i表示特征图中的第一位置x轴方向，j表示特征图中的第二位置y轴方向；
s25：将卷积运算结果
s26：根据位置偏移量delta和真实边界框的真实偏移量计算跟踪损失函数
deltagt＝|boxt 1-boxt|
其中，r(·)表示损失函数smoothl1运算，delta表示位置偏移量，deltagt表示真实边界框的真实差值，boxt表示前一帧图像真实边界框的标注值，boxt 1表示后一帧图像真实边界框的标注值；
s27：计算连续两帧图像的概率损失函数
s28：根据分类损失函数
s29：利用损失函数l，对深度神经网络进行联合优化训练，得到训练好的深度神经网络。
4.根据权利要求3所述的联合ads-b信息的多航空器检测与跟踪方法，其特征在于，所述步骤s22中，候选框由两路组成，第一路候选框由attention-rpn网络的原始rpn网络生成候选框及边界框信息；第二路候选框根据ads-b信号，选择概率区域，生成候选框及边界框信息；其中，以ads-b信号所处位置为中心，航空器所处跑道位置为水平方向，设置椭圆形状的概率区域。
5.根据权利要求4所述的联合ads-b信息的多航空器检测与跟踪方法，其特征在于，所述步骤s22中，在概率区域中，根据航空器的长宽比例设置anchor，并利用预设的anchor在特征图f3中进行搜寻，得到已跟踪目标ti。
6.根据权利要求2所述的联合ads-b信息的多航空器检测与跟踪方法，其特征在于，所述步骤s27包括以下子步骤：
s271：根据航空器的呼号信息，对每一个ads-b信号分配一个候选框；
s272：将两帧连续图像中的同一个ads-b信号的候选框记为正样本，将不同的ads-b信号的候选框记为负样本；
s273：将三个候选框组成一组，输入至tripletnetwork网络，计算概率损失函数
其中，a表示在连续两帧图像中，同一个ads-b信号(即at和at 1)所对应的两个正样本框中的at；p表示样本框at 1；n表示在连续两帧图像中，不同ads-b信号(即at和bt 1)所对应的负样本框bt 1；dist(·)表示欧式距离运算，margin表示预设参数。
7.根据权利要求3所述的联合ads-b信息的多航空器检测与跟踪方法，其特征在于，所述步骤s3包括以下子步骤：
s31：将新一帧图像输入至fpn网络，利用步骤s21的方法进行特征提取，并利用步骤s22的方法，将特征提取的结果输入至深度卷积神经网络，生成新一帧图像的候选框和分类得分；
s32：根据分类得分计算新一帧图像检测结果dj，其计算公式为：
dj＝nms(τ(s_anchori))
其中，s_anchori表示网络预测出anchor的得分，τ(·)表示阈值函数运算，nms(·)表示非极大值抑制函数运算；
s33：将已跟踪目标ti和新一帧图像检测结果dj输入至深度卷积神经网络，得到相似度得分sap和iou得分siou，其计算公式为：
sap＝1-tanh(dist(fti,fdj))
其中，fti表示深度卷积神经网络输出ti的特征，fdj表示深度卷积神经网络输出dj的特征，dist(·)表示欧氏距离运算；
s34：根据相似度得分sap和iou得分siou，计算最终得分sij，其计算公式为：
sij＝0.5*sap 0.5*siou；
s35：设置候选框的数量，并利用步骤s31-s34的方法，得到每个已跟踪目标和检测结果的得分，并根据每个已跟踪目标和检测结果的得分，得到相似度矩阵f，其表达式为：
其中，n表示跟踪目标总数，m表示检测结果总数；
s36：根据相似度矩阵f，利用匈牙利算法进行最终关联，完成多航空器的检测与跟踪。
8.根据权利要求7所述的联合ads-b信息的多航空器检测与跟踪方法，其特征在于，所述步骤s36中，在相似度矩阵f中，利用匈牙利算法进行最终关联的方法为：若已跟踪目标ti匹配到新的候选框，则利用新的候选框更新新目标的外观特征和边界框信息；若已跟踪目标ti未匹配到新的候选框，则将此已跟踪目标标记为丢失，并将该目标初始化为一个新的跟踪目标；若已跟踪目标ti的边界框超出图像范围，则将此已跟踪目标记为终止跟踪。
技术总结