本发明属于船舶身份识别，具体为一种基于视觉和雷达的船舶身份识别方法。
背景技术：
1、船舶身份识别主要使用自动识别系统(ais)技术、视频监控系统和雷达系统；自动识别系统(ais)技术通过无线电通信传输船只的身份、位置、航向和其他相关信息，提供实时的船舶数据。船闸管理人员可以使用ais数据来监测船只的进出，并进行身份验证。视频监控系统可以用于实时监测船只的活动。后续可以人工统计船舶的身份信息或者采用计算机视觉技术分析视频图像，以便检测和识别船只，获取船舶身份信息。
2、雷达系统通过发射无线电波并检测其反射来测量船只的大小、速度和方向。但是这种技术可以用于监测船只的位置，大小，通常需要其他信息来进行身份验证。ais技术虽然可以较为准确地获取经过船只的身份信息，但需要船舶开启ais通信且需要接收设备，可能使得某些区域无法获取船只信息，或者遗漏没有开启ais的船舶。视频监控系统可以提供对船只的视觉识别，包括船只的船名和外观，但是无法获取长宽数据，且人工统计船只信息费时费力。雷达系统船只的位置、大小和船速等信息，不能提供详细的船只身份信息。
3、基于上述技术问题，提出一种基于视觉和雷达的船舶身份识别方法。
技术实现思路
1、本发明的目的在于：为了解决上述提出的问题，提供一种基于视觉和雷达的船舶身份识别方法。
2、本发明采用的技术方案如下：一种基于视觉和雷达的船舶身份识别方法，所述识别方法包括以下步骤：
3、s1：先进行设备安装，本发明方法需要一个监控设备、一个雷达和一台算法服务器，并确保这些设备在同一个局域网中。监控设备用于获取视频数据，作为视觉算法的输入端，雷达用于获取船舶的三维点云数据，检测船舶的尺寸；
4、s2：进行视觉算法部署，船舶的检测和船名号的检测识别都涉及深度学习模型，为了达到更加准确地检测和识别效果，需要准备一些现场的船舶图片来训练深度学习模型；
5、s3：进行雷达算法部署，在算法服务器上部署雷达算法；
6、s4：将所有设备布置好之后，整个识别系统可以开始运行，监控设备基于深度学习的目标检测算法使用卷积神经网络(cnn)对图片先进行预处理，之后进行特征提取；
7、s5：然后根据特征预测目标的边界框坐标和类别概率。船舶输图像首先被调整为网络的输入大小，并进行归一化操作。经过深度神经网络前向传播，提取并跟踪船舶特征；
8、s6：网络输出预测信息。每个预测包括船舶的边界框坐标和船舶的类别概率。为了消除冗余的边界框，采用非极大值抑制(nms)筛选出具有较高得分的边界框，并删除与这些边界框iou(交并比)超过阈值的边界框，得到最终的船舶检测框；
9、s7：进行基于文本检测和识别的船名号识别，在船舶追踪的过程中使用文本检测和识别算法来获取每一帧中出现的船名，并持续统计识别到的船名，根据船名统计情况得到最终的船名号；
10、s8：开始进行基于雷达三维点云船舶尺寸测量，得到了测量结果之后将视觉算法获取得到的船名号和雷达检测到的船舶尺寸数据进行组合，得到包含船名、船舶尺寸、船速和吃水等的船舶身份信息，在特定的平台进行展示，之后即可结束整个基于视觉和雷达的船舶身份识别流程。
11、在一优选的实施方式中，所述步骤s1中，算法服务器需要具备一定的并行计数能力，以支持视觉算法实时推理。
12、在一优选的实施方式中，所述步骤s1中，监控设备的获取船舶视频数据作为输入源，将视觉算法部署在算法服务器上，实现船舶的检测追踪和船名号识别。
13、在一优选的实施方式中，所述步骤s2中，收集现场点位船舶图片不少于5000张，对其中船只和船名进行标准，制作成数据集。然后对船舶检测模型和文本检测模型进行训练，提高模型的检测效果。准备一个包含尽可能多船名的船名库，以提高船名号识别的准确率。
14、在一优选的实施方式中，所述步骤s3中，将雷达获取的船舶三维点位数据作为输入，并对点云进行滤波及下采样等预处理。然后使用聚类算法对船舶进行检测追踪，得到船舶的尺寸、船速和吃水信息。
15、在一优选的实施方式中，所述步骤s4中，预处理包括船舶图像锐化滤波增强处理，船舶图像锐化滤波增强处理包括以下步骤：
16、(1)原始船舶图像进行模糊处理，以平滑掉船舶图像中的低频分量，常用的高斯模糊滤波器；
17、(2)将原始船舶图像减去模糊后的船舶图像，得到高频分量，即边缘信息，此步通过差分算子高通滤波器实现；
18、(3)将得到的高频分量和原始船舶图像进行加权合成，以得到增强后的船舶图像，加权合成使用的公式如下式所示：
19、tp＝to+k*th；
20、式中，tp表示原始船舶图像，th表示高频分量，k为调节参数，k取值1～2。
21、在一优选的实施方式中，所述步骤s4中，船舶图像预处理包括小波变换处理，进行小波变换的基本步骤如下：(1)将原始船舶图像信号分解为多个不同尺度的小波基函数；这里的“尺度”指的是小波函数的时间或空间分辨率，通常采用二分法进行递归分解；(2)对每个船舶图像尺度上的小波基函数进行变换，得到小波系数；小波系数反映了原始信号在该尺度上的频率特征和时域特征；(3)选择保留某些船舶图像尺度和小波系数，进行压缩和降噪等处理；然后将小波系数进行逆变换，得到重构后的船舶图像信号。
22、在一优选的实施方式中，所述步骤s5中，使用目标追踪算法在连续的图像或视频帧中跟踪物体的位置。图像序列的每一帧都通过目标检测算法检测出目标候选框。对于每个检测到的目标候选框，初始化一个目标轨迹，并为其分配一个唯一的追踪id。然后使用匈牙利算法(hungarian algorithm)进行目标关联。匈牙利算法将当前帧的目标与上一帧的目标轨迹进行关联。对于每个已关联的目标，使用卡尔曼滤波进行状态估计。卡尔曼滤波利用当前帧的目标位置信息，估计目标的运动状态，并预测下一帧的目标位置。最后，更新目标轨迹的信息，包括目标的位置、速度等。同时，移除掉超过一定阈值的轨迹，以应对目标离开画面或不再被检测到的情况。
23、在一优选的实施方式中，所述步骤s7中，船舶图片首先经过深度学习文本检测网络得到文本区域，然后裁剪只包含文本区域的切片图进行识别。文本识别算法使用卷积神经网络(cnn)对切片图进行提取特征，捕捉图像中文字的局部特征，得到特征序列，特征序列被输入到循环神经网络(rnn)中，建模序列信息，这有助于识别不同长度的文本。rnn的输出被送入转录层，负责将序列映射到最终的文本输出。
24、船舶追踪过程中，一般会有多帧包含船名号，对所有包含船名的帧进行文本检测识别，然后对识别到的船名进行计数。同时，每次识别到的船名号会和船名库进行匹配，如果该船名在船名库中，则赋予该船名一个较大的计数。统计所有出现的船名，取计数最大的船名作为当前的船名识别结果。
25、在一优选的实施方式中，所述步骤s8中，雷达系统可以提供相对高精度的目标位置和尺寸信息，通过雷达获取船舶的三维点云数据，可以实现对船舶的追踪，进而获取船舶的尺寸、航向和船速等信息。点云数据由大量的离散点组成，每个点都包含位置信息和可能的其他属性，如颜色、法向量等。通过聚类算法将三维点云数据分组或分类为具有相似特征的点云簇。使得同一簇内的点具有较高的相似性，而不同簇之间的点具有较大的差异性。点云聚类算法将同一船舶的点云数据划分为同一簇，实现船舶的检测，然后结合匈牙利算法(hungarian algorithm)和卡尔曼滤波实现船舶的追踪。追踪过程中统计船舶点云的长宽。实现对船舶尺寸的检测。
26、综上所述，由于采用了上述技术方案，本发明的有益效果是：
27、1、本发明中，基于深度学习的船舶检测模型、文本检测和识别模型经过现场真实图片训练后，可以达到较高的准确性，保证了船名识别的准确性。雷达点云数据不受现场视野条件的影响，可以准确地检测出船舶的尺寸、船速和吃水等。保证了整个船名身份识别系统的高可靠性。
28、2、本发明中，不同于ais船舶身份识别系统，需要船舶和接收方同时开启ais通信，本发明不依赖于船舶主动提供船舶身份信息，通过安装的雷达和视频监控设备主动获取船舶的身份信息，保证了系统的高可用性。
29、3、本发明中，结合视频监控和雷达三维点云来获取船舶身份的详细信息。本发明通过视觉数据获取船舶的船名号，再结合雷达点云数据得到的船舶尺寸、船速和吃水等，来识别船舶身份信息，解决了单一数据源导致船舶信息不足的问题。同时，本方法使用基于深度学习的计算机视觉算法，具有较高的船名识别的准确率。基于雷达三维点云的船舶尺寸测量，也能够精准检测船舶的长宽数据。
1.一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述识别方法包括以下步骤：
2.如权利要求1所述的一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述步骤s1中，算法服务器需要具备并行计数能力，以支持视觉算法实时推理。
3.如权利要求1所述的一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述步骤s1中，监控设备的获取船舶视频数据作为输入源，将视觉算法部署在算法服务器上，实现船舶的检测追踪和船名号识别。
4.如权利要求1所述的一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述步骤s2中，收集现场点位船舶图片不少于5000张，对其中船只和船名进行标注，制作成数据集；然后对船舶检测模型和文本检测模型进行训练，提高模型的检测效果；准备一个包含尽可能多船名的船名库，以提高船名号识别的准确率。
5.如权利要求1所述的一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述步骤s3中，将雷达获取的船舶三维点位数据作为输入，并对点云进行滤波及下采样预处理；然后使用聚类算法对船舶进行检测追踪，得到船舶的尺寸、船速和吃水信息。
6.如权利要求1所述的一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述步骤s4中，预处理包括船舶图像锐化滤波增强处理，船舶图像锐化滤波增强处理包括以下步骤：
7.如权利要求1所述的一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述步骤s4中，船舶图像预处理包括小波变换处理，进行小波变换的基本步骤如下：(1)将原始船舶图像信号分解为多个不同尺度的小波基函数；这里的“尺度”指的是小波函数的时间或空间分辨率，通常采用二分法进行递归分解；(2)对每个船舶图像尺度上的小波基函数进行变换，得到小波系数；小波系数反映了原始信号在该尺度上的频率特征和时域特征；(3)选择保留某些船舶图像尺度和小波系数，进行压缩和降噪处理；然后将小波系数进行逆变换，得到重构后的船舶图像信号。
8.如权利要求1所述的一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述步骤s5中，使用目标追踪算法在连续的图像或视频帧中跟踪物体的位置；图像序列的每一帧都通过目标检测算法检测出目标候选框；对于每个检测到的目标候选框，初始化一个目标轨迹，并为其分配一个唯一的追踪id；然后使用匈牙利算法进行目标关联；匈牙利算法将当前帧的目标与上一帧的目标轨迹进行关联；对于每个已关联的目标，使用卡尔曼滤波进行状态估计；卡尔曼滤波利用当前帧的目标位置信息，估计目标的运动状态，并预测下一帧的目标位置；最后，更新目标轨迹的信息，包括目标的位置、速度；同时，移除掉超过一定阈值的轨迹，以应对目标离开画面或不再被检测到的情况。
9.如权利要求1所述的一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述步骤s7中，船舶图片首先经过深度学习文本检测网络得到文本区域，然后裁剪只包含文本区域的切片图进行识别；文本识别算法使用卷积神经网络(cnn)对切片图进行提取特征，捕捉图像中文字的局部特征，得到特征序列，特征序列被输入到循环神经网络(rnn)中，建模序列信息，这有助于识别不同长度的文本；rnn的输出被送入转录层，负责将序列映射到最终的文本输出；
10.如权利要求1所述的一种基于视觉和雷达的船舶身份识别方法，其特征在于：所述步骤s8中，雷达系统可以提供相对高精度的目标位置和尺寸信息，通过雷达获取船舶的三维点云数据，可以实现对船舶的追踪，进而获取船舶的尺寸、航向和船速信息；点云数据由大量的离散点组成，每个点都包含位置信息和可能的其他属性，如颜色、法向量；通过聚类算法将三维点云数据分组或分类为具有相似特征的点云簇；使得同一簇内的点具有较高的相似性，而不同簇之间的点具有较大的差异性；点云聚类算法将同一船舶的点云数据划分为同一簇，实现船舶的检测，然后结合匈牙利算法和卡尔曼滤波实现船舶的追踪；追踪过程中统计船舶点云的长宽；实现对船舶尺寸的检测。
