本发明涉及图像识别领域，具体为一种基于无人机的目标识别方法、系统、存储介质及电子设备。
背景技术：
目前对火灾现场的目标(包括人员、火点等)侦查主要以人员地面侦查为主,大型火灾现场的高空侦查和灭火救援工作还相对滞后,因此消防场景下，通过无人机自动巡检，以识别出对应目标的需求越来越迫切。
已有技术大多采用无人机采集现场可见光图像，然后在地面站端部署深度学习模型，已对无人机发送的可见光图像进行识别检测，或者使用传统方法分别对目标图像进行特征提取，以完成人员、火点等目标的识别，再将识别结果回传给无人机，无人机据此做出相应的策略。但上述方法存在如下缺陷：1、采用深度学习方法在地面端部署深度学习模型进行图像检测识别后，且需要将检测识别结果返回至无人机，其整个过程耗时长，导致现场实施救援工作存在反应滞后，浪费宝贵的救援时间；2、对不同目标进行特征提取时，存在检出率低、误报率高等问题；3、未结合可见光特征及红外温度等特征，使得检测准确率达不到应用场景需求。
技术实现要素：
针对现有技术的不足，本发明提供了一种基于无人机的目标识别方法、系统、存储介质及电子设备，其在无人机中搭载用于深度学习模型运算的边缘计算模块，结合红外温度信息，能够以极低的功率迅速完成包括人员、火点等目标在内的精确识别。
为实现上述目的，本发明提供如下技术方案：
提供了一种基于无人机的目标识别方法，其包括如下步骤：获取目标识别模型；无人机获取包含目标的实时图像；加载所述目标识别模型，基于边缘算法对无人机获取的图像中的目标进行实时识别，并生成识别结果。
优选的，获取消防场景中的目标识别模型的过程包括：
获取目标图像数据集，且所述图像数据集中包括目标的可见光图像特征和/或红外温度特征；
图像数据集训练，以获得目标训练模型。
优选的，图像数据集训练，以获得目标训练模型的过程包括：
通过轻量级模型和重量级模型对目标的可见光特征和红外特征进行训练，以对应获得第一模型和第二模型；
对第一模型进行模型剪枝处理，以获得剪枝模型；
所述剪枝模型参照第二模型进行模型蒸馏，以获得优化模型；
所述优化模型进行模型量化，以获得目标训练模型。
优选的，通过轻量级模型和重量级模型对目标的可见光特征和红外特征进行训练，以对应获得第一模型和第二模型的过程包括：
定义目标可见光图像特征和红外温度特征的参数搜索空间；
基于搜索策略，从所述参数搜索空间中确定候选参数网络结构；
对候选参数网络结构进行评估，若评估结果符合预设条件，则将符合预设条件的候选参数网络结构确定为第一模型和第二模型。
优选的，所述搜索策略包括：随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法中的一种或几种。
优选的，所述参数包括：训练类别数、锚点、学习率、最大迭代次数、网络输入尺寸中的一种或几种。
优选的，所述边缘算法包括：yolov3/yolov4目标检测算法、yolov3-mobilenet目标检测算法、ppyolo目标检测算法、ssd目标检测算法以及mobilenet-ssd检测算法中的一种或几种。
还提供一种能实现上述目标识别方法的系统，其包括：无人机；成像设备，其搭载在无人机上，用于获取包含有目标的实时图像；边缘计算单元，其搭载在所述无人机上，用于加载所述目标识别模型，且根据所述目标识别模型以及边缘算法对实时图像中的目标进行实时识别，且产生实时识别结果；以及结果输出单元，其连接所述边缘计算单元，用于根据所述实时识别结果产生识别结果并输出。
还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述目标识别方法。
还提供一种电子设备，其包括上述可读存储介质、处理器及存储在该可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述目标识别方法。
与现有技术相比，本发明具备以下有益效果：
本发明通过在无人机中搭载边缘计算模块，利用深度学习算法和模型压缩技术实现人员、火点等目标在内的精确识别，功耗低、反馈迅速，可对消防场景下的人员及火点等目标进行实时动态监测，同时结合可见光特征及红外温度等特征，以极大提高目标识别精确。
附图说明
图1为本发明中基于无人机的目标识别方法的步骤流程图；
图2为本发明中获取目标识别模型的步骤流程图；
图3为本发明中基于无人机的目标识别系统的整体结构图；
图4a-4d为本发明的目标识别效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1-2所示，本实施例中基于无人机的目标识别方法包括：
s1、获取消防场景中的目标识别模型，本实施例中，所述目标包括人员、火点中的一种或几种；
具体的，获取消防场景中的目标识别模型的过程包括：
s11、获取消防场景中的目标图像数据集，所述图像数据集中的图像可来自于无人机等设备获取的实时视频流，且所述图像数据集中包括目标的可见光图像特征和/或红外温度特征；进一步通过数据增广等方式对所述目标图像数据集进行处理，其具体包括：图像翻转、随机裁剪、随机平移、随机颜色扰动、高斯加噪、高斯模糊、标签平滑(smoothlabel)、模型剪枝、对图像进行随机马赛克中的一种或几种；由此，可通过图像翻转、随机裁剪、随机平移、随机颜色扰动、高斯加噪、高斯模糊、对图像进行随机马赛克等多种数据增强方式增加数据多样性，以克服数据类别不均衡的问题，此外，针对数据集存在标注不准确的问题，可采用smoothlabel的方法对标签平滑，以提高模型的泛化能力；
s12、图像数据集训练，以获得目标训练模型；本实施例中，所述步骤s12包括：
s121、通过轻量级模型和重量级模型对消防场景中目标的可见光特征和红外特征进行训练，以对应获得第一模型和第二模型；其中，轻量级模型和重量级模型来自已公开数据集的训练模型；
s122、对第一模型进行模型剪枝处理，以获得剪枝模型；
s123、所述剪枝模型参照第二模型进行模型蒸馏，以获得优化模型；
s124、所述优化模型进行模型量化，以获得目标训练模型；
上述步骤中，第一模型通过轻量级模型训练获得，其训练耗时短，但训练效果不佳，而第二模型通过重量级模型训练获得，其训练效果好，但耗时长，由此，本实施例中将所述第二模型作为教师模型(teacher模型)，引导第一模型进行学习，以通过模型蒸馏使得第一模型具有第二模型的训练效果，且第一模型在进行模型蒸馏前经过剪枝处理，可在保证识别精度的同时减少训练耗时，解决模型过大、无法实时识别、运算耗时长的问题；
进一步的，步骤s121具体包括如下步骤：
定义目标可见光图像特征和红外温度特征的参数搜索空间；其中，所述参数包括：训练类别数、锚点、学习率、最大迭代次数、网络输入尺寸中的一种或几种，所述训练类别数为需要识别的目标类别数，所述锚点为训练预选框大小，所述学习率为深度学习中决定目标函数能否收敛到局部最小值以及如何何时收敛到最小值的超参，所述最大迭代次数为训练阶段的最大迭代次数，达到即停止训练，所述网络输入尺寸为训练过程中将原图进行处理后得到的网络输入尺寸，与模型训练效果有关；
基于搜索策略，从所述参数搜索空间中确定候选参数网络结构；具体的，所述搜索策略包括：随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法中的一种或几种，本实施例中优选为进化算法；
对候选参数网络结构进行评估，若评估结果不符合预设条件，则返回s14，若符合预设条件，则将符合预设条件的候选参数网络结构确定为第一模型和第二模型；
为获得性能和实时性最佳的训练模型，参数网络结构的好坏至关重要，而图像数据集参数搜索空间中众多的超参数和网络结构参数会产生爆炸性的组合，常规的随机选取几乎不可行，因此本实施例中优选基于进化算法来优化网络结构，与强化学习、随机搜索相比，进化算法准确率更高、搜索更快，且能得到更小的模型；
s2、无人机在消防场景巡检中获取包含目标的实时图像；
s3、加载所述目标识别模型，基于边缘算法对无人机获取的图像中的目标进行实时识别，并生成识别结果报告；所述边缘算法包括：yolov3/yolov4目标检测算法、yolov3-mobilenet目标检测算法、ppyolo目标检测算法、ssd目标检测算法以及mobilenet-ssd检测算法中的一种或几种。
实施例2：
本实施例提供了一种能实现实施例1中基于无人机的目标识别方法的目标识别系统，如图3所示，其包括：
无人机1；
成像设备2(包括单目/双目相机等)，其搭载在无人机1上，用于获取包含有目标的实时图像；
边缘计算单元3，其搭载在所述无人机1上，用于加载所述目标识别模型，且根据所述目标识别模型以及边缘算法对实时图像中的目标进行实时识别，且产生实时识别结果，所述实时图像可来自于消防场景；其中，所述边缘算法包括：yolov3/yolov4目标检测算法、yolov3-mobilenet目标检测算法、ppyolo目标检测算法、ssd目标检测算法以及mobilenet-ssd检测算法中的一种或几种；由此，可通过边缘算法大幅提高运算识别速度，减少运算耗时，降低功耗，以保证识别过程的实时性；
以及结果输出单元4(包括显示屏等)，其连接所述边缘计算单元3，用于根据所述实时识别结果产生识别结果并输出。
如图4a-4d所示，本发明中的目标识别方法和识别系统基于边缘算法，且加载精确的目标识别，可对消防场景中的目标，如火点、建筑物、人员等进行精准、快速识别，由此大幅提高火场信息反馈速度，为争取宝贵的救援时间提供有力保障。
实施例3：
本实施例提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述实施例1中所述的目标识别方法。
实施例4：
本实施例提供了一种电子设备，其包括实施例3所述的可读存储介质、处理器及存储在该可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例1中所述的目标识别方法。
综上所述，本发明可本发明通过在无人机中搭载边缘计算模块，利用深度学习算法和模型压缩技术实现人员、火点等目标在内的精确识别，功耗低、反馈迅速，可对消防场景下的人员及火点等目标进行实时动态监测，同时结合可见光特征及红外温度等特征，以极大提高目标识别精确。
需要说明的是，上述实施例1-4中的技术特征可进行任意组合，且组合而成的技术方案均属于本申请的保护范围。在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
1.一种基于无人机的目标识别方法，其特征在于，包括如下步骤：
获取目标识别模型；
无人机获取包含目标的实时图像；
加载所述目标识别模型，基于边缘算法对无人机获取的图像中的目标进行实时识别，并生成识别结果。
2.如权利要求1所述的目标识别方法，其特征在于，获取消防场景中的目标识别模型的过程包括：
获取目标图像数据集，且所述图像数据集中包括目标的可见光图像特征和/或红外温度特征；
图像数据集训练，以获得目标训练模型。
3.如权利要求2所述的目标识别方法，其特征在于，图像数据集训练，以获得目标训练模型的过程包括：
通过轻量级模型和重量级模型对目标的可见光特征和红外特征进行训练，以对应获得第一模型和第二模型；
对第一模型进行模型剪枝处理，以获得剪枝模型；
所述剪枝模型参照第二模型进行模型蒸馏，以获得优化模型；
所述优化模型进行模型量化，以获得目标训练模型。
4.如权利要求3所述的目标识别方法，其特征在于，通过轻量级模型和重量级模型对目标的可见光特征和红外特征进行训练，以对应获得第一模型和第二模型的过程包括：
定义目标可见光图像特征和红外温度特征的参数搜索空间；
基于搜索策略，从所述参数搜索空间中确定候选参数网络结构；
对候选参数网络结构进行评估，若评估结果符合预设条件，则将符合预设条件的候选参数网络结构确定为第一模型和第二模型。
5.如权利要求4所述的目标识别方法，其特征在于，所述搜索策略包括：随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法中的一种或几种。
6.如权利要求4所述的目标识别方法，其特征在于，所述参数包括：训练类别数、锚点、学习率、最大迭代次数、网络输入尺寸中的一种或几种。
7.如权利要求1所述的目标识别方法，其特征在于，所述边缘算法包括：yolov3/yolov4目标检测算法、yolov3-mobilenet目标检测算法、ppyolo目标检测算法、ssd目标检测算法以及mobilenet-ssd检测算法中的一种或几种。
8.一种能实现权利要求1-7任一项所述目标识别方法的系统，其特征在于，包括：
无人机；
成像设备，其搭载在无人机上，用于获取包含有目标的实时图像；
边缘计算单元，其搭载在所述无人机上，用于加载所述目标识别模型，且根据所述目标识别模型以及边缘算法对实时图像中的目标进行实时识别，且产生实时识别结果；
以及结果输出单元，其连接所述边缘计算单元，用于根据所述实时识别结果产生识别结果并输出。
9.一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述权利要求1-7任一项所述的目标识别方法。
10.一种电子设备，其包括权利要求9中所述的可读存储介质、处理器及存储在该可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1-7任一项所述的目标识别方法。
技术总结