本发明属于sar图像舰船目标检测领域，涉及一种基于改进yolov3的任意方向舰船目标检测方法。
背景技术：
海面舰船目标检测对于维护我国海洋权益、促进海洋资源开发起到至关重要的作用。目前，用于舰船目标探测的主要数据来源包括雷达一维距离像、合成孔径雷达(syntheticapertureradar,sar)图像、卫星或无人机拍摄的遥感图像、近岸或海面舰船搭载的光电平台拍摄的视频图像等。
sar是一种主动式微波成像传感器，具有全天时、全天候工作能力，对土壤、植被和云雾等具有一定的穿透性，在军事和民用领域具有广泛的应用。目前，国内外研究学者在sar图像舰船目标检测与识别方面开展了大量的研究工作，建立了较为成熟的sar图像舰船目标监视系统。
随着深度学习理论和优化技术的发展，基于卷积神经网络(convolutionneuralnetwork,cnn)的目标检测识别模型取得了远超传统方法的性能。用于目标检测的深度模型可分为一阶段检测模型和两阶段检测模型。一阶段检测模型中的yolov3目标检测模型兼顾了检测精度与实时性的需求，通过重新设计特征提取网络(记做darknet-53)，采用特征金字塔网络(featurepyramidnetwork,fpn)的设计理念构建多尺度检测网络，提高了对不同尺度尤其是小目标的检测性能。
在一些应用场合，舰船目标的方位角信息具有重要的参考价值，因此学者开始研究能够输出目标方位角估计的深度检测模型。chenc等人采用一阶段检测框架，设计了一个多尺度自适应校正网络来检测任意方向的舰船目标，设计的模型采用目标中心点坐标、长宽和方位角共5个参数描述目标旋转框信息，其中目标方位角定义为水平轴沿逆时针方向旋转到与目标旋转框相交的角度，范围为(-90°,0°]，与传统的一阶段检测模型不同，采用旋转锚框以解决目标方位角估计问题，但锚框角度和长宽比需通过实验进行优化设置，其对检测结果影响较大。anq等人基于ssd框架，采用旋转锚框策略实现目标方位角预测，目标方位角范围定义为[0°,180°)或[0°,330°)，综合利用线上难例挖掘、focal损失等解决正负样本不均衡问题。
技术实现要素：
本发明的目的是为实现sar图像舰船目标检测能同时输出位置和方位角估计信息，且兼顾检测精度和实时性的需求，基于yolov3框架，提出了一种能够同时输出垂直框和旋转框的sar图像任意方向舰船目标检测方法。首先检测网络能同时输出垂直框和旋转框的预测结果，其次基于垂直框和旋转框预测结果设计了多任务损失函数，最后采用基于旋转框的非极大值抑制方法剔除重叠检测结果时，通过融合垂直框和旋转框预测结果进行目标方位角估计校正，以进一步提高检测性能。
基于tensorflow深度学习框架实现本发明提出的方法并进行参数训练，采用ssdd 和hrsidsar舰船目标检测数据集、可见光高分辨率舰船目标识别数据集(highresolutionshipcollection2016,hrsc2016)分别进行了提出改进模型的性能、迁移性和适用性测试，验证了本发明提出模型的有效性。
本发明采用的技术方案包括以下步骤：
步骤(1).获取sar图像数据集。
步骤(2).预处理。
步骤(3).构建改进yolov3模型。
步骤(4).目标方位角校正。
本发明与现有技术相比，其显著优点为：
(1)本发明采用改进yolov3模型，同时输出垂直框和旋转框的预测结果，能够同时获取目标位置信息和方位角信息；
(2)本发明基于垂直框和旋转框预测结果设计了多任务损失函数，利用多任务损失函数对改进yolov3模型进行优化。
(3)针对可能存在的目标方位角估计偏差，在采用旋转非极大值抑制方法剔除重叠目标的同时，基于垂直框和旋转框预测判定方位角估计的准确性，并进行校正。
(4)本发明提出的改进模型适用于纯海洋背景下sar图像中的舰船目标检测，能够准确估计目标的方位角，并满足舰船目标检测的实时性需求。
附图说明
图1是旋转框及目标方位角示意图；
图2是与旋转框对应的垂直框示意图；
图3是ssdd 数据集舰船目标长宽分布图；
图4是ssdd 测试集舰船目标检测结果；(a)离岸情况-大目标；(b)离岸情况-小目标；(c)近岸情况-1；(d)近岸情况-2；
图5是hrsid数据集舰船目标检测结果；(a)离岸情况；(b)近岸情况；
图6是hrsc2016舰船目标检测结果；(a)不同尺度情况-1；(b)不同尺度情况-2；(c)标注不完整情况；(d)密集目标情况。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明具体实施步骤如下：
步骤(1)、获取sar图像数据集。具体如下：
当采用(x1，y1，x2，y2，x3，y3，x4，y4)8参数形式描述任意角度的目标框的sar图像数据集，其中x1，y1，x2，y2，x3，y3，x4，y4分别表示目标框的四个角的坐标。
步骤(2)、对数据集预处理。具体如下：
采用最小包围盒估计算法将8参数形式描述任意角度的目标框转换为(trx，try，trw，trh，trθ)的5参数形式。其中trx、try、trw、trh、trθ分别表示旋转框中心的横坐标、纵坐标、旋转框的宽度和高度以及目标方位角，如图1所示，方位角为x轴沿逆时针方向旋转到与目标旋转框长边重合的角度。
步骤(3)、构建改进yolov3模型。具体如下：
本发明重新定义yolov3模型的输出为(tx，ty，tw，th，trx，try，trw，trh，trθ，pconf，pclass)，其中tx、ty、tw、th分别表示目标预测垂直框的中心横坐标、纵坐标以及目标预测垂直框的宽度和高度，trx、try、trw、trh、trθ分别表示目标预测旋转框的中心横坐标、纵坐标以及目标预测旋转框的宽度、高度和旋转角，pconf表示检测结果的置信度，pclass为c维向量，代表目标的属于c个类别的概率，此时各尺度特征图检测分支的输出维数增加为[s，s，b×(c 10)]，其中s为对应尺度特征图的输出分辨率，b为每个尺度特征图使用的锚框(anchor)的个数。
改进yolov3模型多任务损失函数共包含5部分，具体为：
loss＝losscoord lossrcoord lossconf lossclass lossangle(1)
其中losscoord为位置估计误差损失，具体公式为：
其中i、j分别表示特征图中第i个坐标点第j个锚框，
lossrcoord为旋转误差损失，其中rcoord＝(trx,try,trw,trh)，具体公式为：
其中
目标置信度估计误差lossconf的具体公式为
其中
类别预测误差lossclass的具体公式为：
其中
目标方位角估计损失采用均方误差损失，具体定义如下：
其中
训练阶段，训练集数据首先通过darknet网络进行特征提取，得到特征图；将上述特征图输入到类fpn结构化网络中，分别得到三个尺度的特征图；再将这三个特征图输入到逻辑回归判断层中，得到判断结果；将这一结果与真实结果通过公式(1)多任务损失函数计算出损失值，再通过反向传播算法调整网络参数，最终得到训练的模型文件。
表1训练超参数
把训练好的改进yolov3模型在测试集上测试模型的检测性能，具体如下：
将测试集样本输入到训练得到的模型中，得到预测结果，与真实值比对，通过计算map等性能指标来评价模型的性能。
测试阶段，本发明在剔除重检测结果时，采用旋转非极大值抑制的方法剔除重检测目标，即根据旋转框的交并比来进行非极大值抑制剔除重叠目标，在目标密集的情况下，减少了目标的漏检。
步骤(3)、目标方位角估计矫正
融合垂直框和旋转框的预测结果进行目标方位角估计矫正，进一步提高了模型的检测性能。由于目标方位角范围为[0°,-180°)，当目标处于水平方向时，角度估计会出现较大偏差。为解决该问题，计算估计得到的旋转框外接矩形，将其与基于检测网络输出的垂直框计算iou值，若iou值小于某个阈值(本发明设定为0.5)，说明旋转框中角度参数估计不准确，此时将目标方位角估计值设定为0°。
为了验证本发明提出的模型改进方法的有效性，采用ssdd sar图像舰船目标检测数据集验证提出模型的性能，并基于hrsid数据集进行模型迁移测试。为进一步验证提出模型的适用性，采用hrsc2016数据集进行了可见光图像舰船目标检测实验。
训练时对输入数据除进行常规增强，包括水平翻转、随机裁剪和mixup等，还进行了旋转增强，主要是因为对目标方位角进行回归学习，应尽量使训练集中目标方位角覆盖(-180°,0°]，增强后训练数据集数量变为原来的11倍。
ssdd 数据集描述如表2所示。由于对原始的sar图像人为进行了裁剪，故该数据集的图像分辨率相对较低。ssdd 数据集采用8参数形式(x1,y1,x2,y2,x3,y3,x4,y4)描述任意角度的目标框，采用最小包围盒估计算法将上述参数转换为(trx,try,trw,trh,trθ)的5参数形式。当采用旋转框描述时舰船目标长宽分布如图3所示，从图3中可以看出，目标长宽比集中分布在两个主要方向上。将ssdd 数据集按照7:1:2比例随机划分成训练集、验证集和测试集。完成模型参数训练后，对测试集进行测试时，设定检测阈值为0.25，设定nms阈值为0.25。舰船目标检测结果如图4所示，图片中倾斜的矩形框为目标旋转框估计结果，与坐标轴对齐的矩形框为目标垂直框估计结果。
表2ssdd 数据集描述
实验结果：从图4(a)和图4(b)中可以看出，在纯海洋背景下，即使目标尺寸很小，目标仍能够被全部检出，且目标方位角估计准确。图4(c)中的靠岸舰船目标没有被检出，这是因为舰船与周围具有较强后向散射系数的背景区域连在一起，此时很难分辨目标。图4(d)中虽然为近岸情况，但是舰船目标周围背景具有较强的对比度，故也能检测出大部分目标，仅有一个虚警。当设定iou阈值为0.5，置信度阈值为0.05，nms阈值为0.45时，采用本发明改进模型对测试集进行测试可得，map0.5＝0.819。f1分数指标综合考虑召回率(recall)和精确率(precision)结果，故计算该指标时需设置一个合适的检测阈值。设定iou阈值为0.5，置信度阈值为0.45，nms阈值为0.3时，召回率recall＝0.889，精确率precision＝0.868，则f1分数为2×precision×recall/(precision recall)＝0.879。由于数据集随机划分导致的纯海洋背景和靠岸情况下舰船目标比例不同，故会导致不同模型之间精度存在一定差异。另外，本发明提出改进模型在训练和测试阶段均能利用垂直框预测结果提高旋转框的预测精度，因此在没有对特征提取网络做改动的情况下，map0.5值略有提高。
为验证本发明提出改进模型中各模块的有效性，进行了消融实验，具体如表3所示。表3实验2未采用多任务损失函数，仅预测目标的旋转框预测结果，因没有垂直框预测结果，无需进行目标方位角校正，故此时算法耗时较少。比较表3中实验2和实验5结果可以看出，采用多任务损失显著提高了map0.5和f1值，提高了目标检测性能。比较表3实验4和实验5结果可以看出，采用本发明定义的目标方位角校正能在一定程度上提高检测性能。由于本发明中模型采用的是基于回归思想的一阶段模型，故进行旋转增强以生成不同目标方位角下的训练样本，有利于提高训练模型的泛化性能，同样能够提高目标检测精度。由表3可以看出，本发明的算法处理一帧图像耗时约为25毫秒，采用现有硬件条件能够满足舰船目标检测实时性的需求。
表3消融实验
当采用hrsid数据集进行模型迁移测试实验时，由于与ssdd 数据集的图像分辨率存在差异，故当采用三种不同模型输入分辨率时，在其它参数设置相同的情况下分别计算map0.5，具体如表4所示。从表4可以看出，随着模型输出尺寸的增加，当ssdd 数据集的图像分辨率和hrsid数据集中的图像分辨率接近匹配时，目标检测精度最优。当模型输入分辨率为832×832时，部分检测结果如图5所示。对于纯海洋背景，虽然仅采用ssdd 数据集训练模型参数，但仍能得到较为满意的检测结果，如图5(a)所示。对于靠岸情况，与ssdd 数据集类似，舰船目标检测结果不理想，图5(b)中一个目标也没有检测到。一方面是由于靠岸情况下舰船目标及其周围背景的像素分布复杂，两个数据集间目标分布差异大，会导致训练模型泛化性能下降；另一方面是靠岸情况下hrsid数据集中舰船目标更加密集，且目标相对于ssdd 数据集小，更加难以区分，导致目标检测率下降。
表4基于hrsid数据集的舰船目标检测精度
在hrsc2016数据集上采用同样的训练超参数基于增广后的训练集进行模型参数训练，然后采用同样的参数计算map0.5，结果为map0.5＝0.888。这也说明本发明提出的改进模型具有一定的通用性，本发明中模型采用的是一阶段的检测结构，具有推理耗时少的优势。对hrsc2016中部分图像的检测结果如图6所示。从图6(a)和图6(b)可以看出，在不存在密集目标的情况下，对于场景中的不同尺度目标均具有较高的检测精度，且舰船目标的方位角估计准确。从图6(c)可以看出，提出的模型具有一定的泛化性能，对于场景中的未标注舰船目标仍能检测到，且目标旋转框预测准确。本发明提出的改进模型对于密切目标情况检测效果较差，尤其是目标方位角不是垂直和水平的情况，如图6(d)所示。这主要是因为在目标外观相近的情况下，影响了目标垂直框预测精度，且此时垂直框预测区域包含了更多的临近目标像素，对目标方位角预测精度也产生了影响，即使融合垂直框和旋转框进行目标方位角校正也很难处理目标密集情况。
1.基于改进yolov3的任意方向舰船检测方法，其特征在于该方法包括以下步骤：
步骤(1)、获取sar图像数据集，该数据集采用(x1,y1,x2,y2,x3,y3,x4,y4)8参数形式描述任意角度的目标框，即目标框的四个角的坐标为x1,y1,x2,y2,x3,y3,x4,y4；
步骤(2)、预处理；
对sar图像数据集的目标框采用最小包围盒估计算法转换为(trx,try,trw,trh,trθ)5参数形式的目标旋转框；其中trx、try、trw、trh、trθ分别表示目标旋转框中心的横坐标、纵坐标、目标旋转框的宽度和高度以及目标方位角，目标方位角为x轴沿逆时针方向旋转到与目标旋转框长边重合的角度；
步骤(3)、构建改进yolov3模型
改进yolov3模型为在常规yolov3模型基础上设定输出为(tx,ty,tw,th,trx,try,trw,trh,trθ,pconf,pclass)，其中tx、ty、tw、th分别表示目标预测垂直框的中心横坐标、纵坐标以及目标预测垂直框的宽度和高度，trx、try、trw、trh、trθ分别表示目标预测旋转框的中心横坐标、纵坐标以及目标预测旋转框的宽度、高度和旋转角，旋转角即为目标方位角，pconf表示检测结果的置信度，pclass为c维向量，代表目标的属于c个类别的概率，此时各尺度特征图检测分支的输出维数增加为[s,s,b×(c 10)]，其中s为对应尺度特征图的输出分辨率，b为每个尺度特征图使用的锚框(anchor)的个数；
步骤(4)、目标方位角校正
将改进yolov3模型输出的目标预测旋转框外接矩形与改进yolov3模型输出的目标预测垂直框计算iou值，若iou值小于阈值则认为旋转框中旋转角估计不准确，将目标方位角估计值设定为0°。
2.如权利要求1所述的基于改进yolov3的任意方向舰船检测方法，其特征在于改进yolov3模型多任务损失函数共包含5部分，具体为：
loss＝losscoord lossrcoord lossconf lossclass lossangle(1)
其中losscoord为位置估计误差损失，具体公式为：
公式中的i、j代表特征图中第i个坐标点第j个锚框中的结果，
lossrcoord为旋转误差损失，其中rcoord＝(trx,try,trw,trh)，具体公式为：
其中
目标置信度估计误差lossconf的具体公式为
其中
类别预测误差lossclass的具体公式为：
其中
目标方位角估计损失采用均方误差损失，具体定义如下：
其中
3.如权利要求1所述的基于改进yolov3的任意方向舰船检测方法，其特征在于训练阶段，首先通过darknet网络进行特征提取，得到特征图；将上述特征图输入到类fpn结构化网络中，分别得到三个尺度的特征图；再将这三个特征图输入到逻辑回归判断层中，得到判断结果；将这一结果与真实结果通过公式(1)多任务损失函数计算出损失值，再通过反向传播算法调整网络参数。
4.如权利要求1所述的基于改进yolov3的任意方向舰船检测方法，其特征在于测试阶段，采用旋转非极大值抑制的方法剔除重检测目标。
5.如权利要求1所述的基于改进yolov3的任意方向舰船检测方法，其特征在于在进行预测时，对目标方位角的校正；将改进yolov3模型输出的目标预测旋转框外接矩形与改进yolov3模型输出的目标预测垂直框计算iou值，若iou值小于阈值则认为旋转框中旋转角估计不准确，将目标方位角估计值设定为0°。
技术总结