一种基于深度神经网络的无人机对地探测方法及系统与流程

    专利2022-07-08  101


    本发明涉及计算机视觉技术领域,具体涉及一种基于深度神经网络的无人机对地探测方法及系统。



    背景技术:

    当前深度神经网络飞速发展,应用也越来越广泛,在视频或者图像上利用深度神经网络进行目标检测或者搜索的方法主要包含fasterr-cnn,r-cnn等为代表的两步法和以yolo,ssd等为代表的一步法;尽管fasterr-cnn是两步法中优秀的算法,但是在k40gpu强大计算能力支持下仅能达到5fps处理速度,达不到实时性要求;虽然一步法中的yolo和ssd目标检测的速度能够达到15fps以上能够达到实时性要求,但是必须titanx或者m40gpu的计算能力才能支持。目标跟踪算法中性能较好、速度较快的算法以相关滤波类算法为代表,这类算法跟踪稳定,速度较快,有限的计算能力下就能达到172fps。

    无人机是一种由无线电遥控操控或自主程序控制、无人驾驶的一种可重复使用的航空器,它具有结构简单、造价低廉、生存能力强、机动性能好并且可以完成多种类型任务的优点;但是无人机承载重量低使得它不能搭载计算性能强大的计算设备,从而使得部署基于深度神经网络的目标检测算法存在困难,而且小型无人机机载计算机如树莓派或者odroid的重量轻,计算能力有限;即使速度较快的一步法中的tinyyolo或者mobilenets-ssd部署于odroid机载计算机上,目标检测速度也不超过3fps,达不到实时性要求。已经退役的捕食者无人机主要是通过无人机的传感器获取数据回传地面,在地面人工判读;“全球鹰”改进型可携带信号传感器和用于探测地面移动目标的雷达,具备初步的机上目标探测监视能力(区分动静,探测移动目标),探测技术不够成熟;彩虹无人机通过无人机的传感器获取数据回传地面,在地面人工判读,后端进一步处理;人工智能算法在“扫描鹰”上试验,试验开始仅几天,计算机对人员、车辆、建筑等物体的识别准确率便达到了60%,1周后提升到80%,然而,这种应用仍然是在地面完成的;由此来看,目前的技术仍然无法实现对无人机机载摄像头实时采集的数据中的目标进行跟踪检测以及进行下一步指示的处理操作。



    技术实现要素:

    针对现有技术的不足,本发明的目的是提供一种基于深度神经网络的无人机对地探测方法及系统,利用基于深度神经网络的目标检测算法和跟踪算法相结合,在无人机飞行过程中实时从机载摄像头获取的数据中检测特定目标并进行跟踪的方法,实现战术无人机对地面目标监视搜索、对移动目标的定向跟踪以及对空中目标的检测与跟踪。

    本发明的目的是采用下述技术方案实现的:

    本发明提供了一种基于深度神经网络的无人机对地探测方法,其改进之处在于,包括:

    步骤1)从逐帧采集的图像中获取待测目标的首个位置;

    步骤2)将首个位置作为目标跟踪的初始目标位置,持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,当目标跟踪失败时,返回步骤1)。

    优选的,所述目标跟踪失败的判断条件包括下述任一种:

    当目标检测时长大于目标跟踪时长且目标检测时长为目标跟踪时长的正整数倍;或者

    当当前帧图像中未检测到待测目标;

    所述目标检测时长为将逐帧采集的图像输入预先训练的目标检测深度神经网络模型至获得图像中待测目标首个位置的时间间隔;

    所述目标跟踪时长为获得每两帧图像中待测目标位置的时间间隔。

    进一步的,所述正整数倍的取值范围为[1,100]。

    优选的,所述持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,包括:

    获取当前帧图像中待测目标的位置区域对应的候选区域;

    利用核相关滤波算法在下一帧图像中查找与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域,并将该区域作为下一帧图像中待测目标的位置区域对应的候选区域;

    将每一帧图像中待测目标的位置区域保存至目标位置集合。

    进一步的,所述将每一帧图像中待测目标的位置区域保存至目标位置集合之后,还包括:

    判断目标位置集合中所保存的待测目标的位置区域数量是否超出预设数量阈值k;

    若否,则输出当前所保存的待测目标的位置区域;

    若是,则通过放弃最早保存的位置区域的方式对目标位置集合中的待测目标的位置区域数量进行更新,并输出更新后的待测目标的位置区域。

    进一步的,所述利用核相关滤波算法在下一帧图像中查找与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域,包括:

    将当前帧图像中待测目标的位置区域对应的候选区扩大预设倍数作为下一帧图像与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域;

    其中,所述预设倍数的取值范围为[1.5,3]。

    优选的,所述步骤1)包括:将逐帧采集的视频图像输入至预先训练的目标检测深度神经网络模型,执行深度神经网络前向推理,获取图像中待测目标的首个位置。

    优选的,所述预先训练的目标检测深度神经网络模型的训练过程包括:

    对逐帧采集的历史视频数据中的各类目标进行逐帧标注;

    利用逐帧标注后的历史视频数据构建训练数据,并利用训练数据训练目标检测深度神经网络模型;

    获取预先训练的目标检测深度神经网络模型。

    本发明提供了一种基于深度神经网络的无人机对地探测系统,其改进之处在于,包括:

    检测模块,用于从逐帧采集的图像中获取待测目标的首个位置;

    跟踪模块,用于将首个位置作为目标跟踪的初始目标位置,持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,当若目标跟踪失败时,返回检测模块。

    优选的,所述目标跟踪失败的判断条件包括下述任一种:

    当目标检测时长大于目标跟踪时长且目标检测时长为目标跟踪时长的正整数倍;或者

    当当前帧图像中未检测到待测目标;

    所述目标检测时长为将逐帧采集的图像输入预先训练的目标检测深度神经网络模型至获得图像中待测目标首个位置的时间间隔;

    所述目标跟踪时长为获得每两帧图像中待测目标位置的时间间隔。

    进一步的,所述正整数倍的取值范围为[1,100]。

    优选的,所述跟踪模块,包括:

    获取单元,用于获取当前帧图像中待测目标的位置区域对应的候选区域;

    查找单元,用于利用核相关滤波算法在下一帧图像中查找与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域,并将该区域作为下一帧图像中待测目标的位置区域对应的候选区域;

    保存单元,用于将每一帧图像中待测目标的位置区域保存至目标位置集合。

    进一步的,所述跟踪模块,还包括:

    判断单元,用于判断目标位置集合中所保存的待测目标的位置区域数量是否超出预设数量阈值k;

    若否,则输出当前所保存的待测目标的位置区域;

    若是,则通过放弃最早保存的位置区域的方式对目标位置集合中的待测目标的位置区域数量进行更新,并输出更新后的待测目标的位置区域。

    进一步的,所述查找单元具体用于:

    将当前帧图像中待测目标的位置区域对应的候选区扩大预设倍数作为下一帧图像与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域;

    其中,所述预设倍数的取值范围为[1.5,3]。

    优选的,所述检测模块具体用于:将逐帧采集的视频图像输入至预先训练的目标检测深度神经网络模型,执行深度神经网络前向推理,获取图像中待测目标的首个位置。

    进一步的,所述预先训练的目标检测深度神经网络模型的训练过程包括:

    对逐帧采集的历史视频数据中的各类目标进行逐帧标注;

    利用逐帧标注后的历史视频数据构建训练数据,并利用训练数据训练目标检测深度神经网络模型;

    获取预先训练的目标检测深度神经网络模型。

    与最接近的现有技术相比,本发明具有的有益效果:

    本发明提供的技术方案中,主要实现步骤包括从逐帧采集的图像中获取待测目标的首个位置;将首个位置作为目标跟踪的初始目标位置,持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置;若目标跟踪失败,则重新从逐帧采集的图像中获取待测目标的首个位置并进行跟踪;本发明提供的技术方案能够实时对采集的视频进行监视,提升了目标检测效率和精确度;同时本发明提供的技术方案中采用深度神经网络的目标探测方法的计算量小且实用性较高。

    本发明提供的技术方案中还提供了基于训练好的目标检测深度神经网络模型,在逐帧采集的视频数据上进行前向推理,获取待测目标的位置区域,并获取当前视频帧中待测目标的位置区域对应的候选区域以及下一视频帧中与当前视频帧对应的候选区域相一致的区域,确定待检测目标的位置区域,通过目标跟踪失败的判断条件,确定下一步操作;本技术方案能够保持深度神经网络目标检测算法精度高的优势,同时能够克服深度神经网络目标检测算法速度慢的缺点,实时对采集的视频进行监视;在目标跟踪算法跟踪失败时,能够及时利用目标检测算法重新获得正确的目标位置,并实现多尺度目标跟踪算法对多尺度目标的跟踪;在视频中具有多个目标时,跟踪算法能够避免目标检测算法目标框在不同目标的跳跃;同时由于本发明提供的技术方案的计算量小,不需要庞大的计算能力如gpu显卡的支持,能够部署在小型无人机的机载电脑上,具有重要的应用价值。

    附图说明

    图1是本发明的实施例1提供的一种基于深度神经网络的无人机对地探测方法的流程图;

    图2是本发明的实施例2提供的一种基于深度神经网络的无人机对地探测方法的具体实现流程图;

    图3是本发明的实施例2提供的基于深度神经网络的目标检测模型的训练流程图;

    图4是本发明的实施例2提供的基于深度神经网络的目标实时检测流程图

    图5是本发明的实施例2提供的基于深度神经网络的目标跟踪流程图;

    图6是本发明的实施例3提供的一种基于深度神经网络的无人机对地探测系统的结构图。

    具体实施方式

    下面结合附图对本发明的具体实施方式作进一步的详细说明。

    为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

    实施例1

    本发明提供了一种基于深度神经网络的无人机对地探测方法,如图1所示,包括

    步骤1)从逐帧采集的图像中获取待测目标的首个位置;

    步骤2)将首个位置作为目标跟踪的初始目标位置,持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,当目标跟踪失败时,返回步骤1)。

    在本发明的实施例中,步骤2)中的目标跟踪失败的判断条件包括下述任一种:

    当目标检测时长大于目标跟踪时长且目标检测时长为目标跟踪时长的正整数倍;或者

    当当前帧图像中未检测到待测目标;

    目标检测时长为将逐帧采集的图像输入预先训练的目标检测深度神经网络模型至获得图像中待测目标首个位置的时间间隔;

    目标跟踪时长为获得每两帧图像中待测目标位置的时间间隔。

    其中,正整数倍的取值范围为[1,100]。

    在本发明的实施例中,步骤2)中的持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,包括:

    获取当前帧图像中待测目标的位置区域对应的候选区域;

    利用核相关滤波(kernelcorrelationfilter,简称kcf)算法在下一帧图像中查找与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域,并将该区域作为下一帧图像中待测目标的位置区域对应的候选区域;

    将每一帧图像中待测目标的位置区域保存至目标位置集合。

    在步骤2)中将每一帧图像中待测目标的位置区域保存至目标位置集合之后,还包括:

    判断目标位置集合中所保存的待测目标的位置区域数量是否超出预设数量阈值k;

    若否,则输出当前所保存的待测目标的位置区域;

    若是,则通过放弃最早保存的位置区域的方式对目标位置集合中的待测目标的位置区域数量进行更新,并输出更新后的待测目标的位置区域。

    在本发明的实施例中,利用kcf算法在下一帧图像中查找与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域,包括:

    将当前帧图像中待测目标的位置区域对应的候选区扩大预设倍数作为下一帧图像与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域;

    其中,预设倍数的取值范围为[1.5,3]。

    在本发明的实施例中,步骤1)中的获取待测目标的首个位置包括:将逐帧采集的视频图像输入至预先训练的目标检测深度神经网络模型,执行深度神经网络前向推理,获取图像中待测目标的首个位置。

    其中,预先训练的目标检测深度神经网络模型的训练过程包括:

    对逐帧采集的历史视频数据中的各类目标进行逐帧标注;

    利用逐帧标注后的历史视频数据构建训练数据,并利用训练数据训练目标检测深度神经网络模型;

    获取预先训练的目标检测深度神经网络模型。

    实施例2

    本实施例提供了一种基于深度神经网络的无人机对地探测方法的具体实现流程,如图2所示,包括:

    步骤(1)训练目标检测深度神经网络模型,获取模型文件和权重文件;

    步骤(2)逐帧采集视频数据;

    步骤(3)记录当前时间t10;

    步骤(4)基于训练好的目标检测深度神经网络的模型文件和权重文件,在逐帧采集的视频数据上进行前向推理,获取待测目标的位置区域;

    步骤(5)记录当前时间t11,并按下式确定检测目标的检测时间t1:t1=t11-t10;

    步骤(6)令待测目标的位置区域所在的视频帧的编号为1,对所述逐帧采集的视频数据中的初始视频帧之后逐帧采集的视频数据依次进行编号;

    步骤(7)记录当前时间t20;

    步骤(8)初始化i=1;

    步骤(9)初始化j=1;

    步骤(10)获取编号为i的视频帧中待测目标的位置区域对应的候选区域以及编号为i 1的视频帧中与编号为i的视频帧对应的候选区域相一致的区域,并将该区域作为编号为i 1的视频帧中待测目标的位置区域对应的候选区域;

    步骤(11)获取编号为i 1的视频帧中待测目标的位置区域对应的候选区域中的待检测目标的位置区域,令j=j 1,并将待检测目标的位置区域作为第j个目标位置保存至目标位置集合;

    步骤(12)判断j是否大于目标位置集合中预先设定的目标位置数量k,若否,则输出待测目标的第j个位置,并执行步骤(13);若是,则放弃目标位置集合中最早保存的目标位置,输出待测目标的第j个位置,并执行步骤(13);

    步骤(13)记录当前时间t21,并按下式确定检测目标对象的跟踪时间t2:t2=t21-t20;

    步骤(14)若t2≥αt1,则执行步骤(4),若t2<αt1,则令i=i 1并执行步骤(9)。

    优选的,步骤(1)包括:

    对逐帧采集的历史视频数据中的各类目标进行逐帧标注;

    利用逐帧标注后的历史视频数据构建训练数据,并利用训练数据训练目标检测深度神经网络模型;

    获取训练完成的目标检测深度神经网络的模型文件和权重文件。

    优选的,步骤(3)包括:

    利用前向推理框架依次读取待测目标对应的标签、训练好的目标检测深度神经网络的模型文件、权重文件和逐帧采集的视频数据,获取前向推理框架输出的待测目标的位置。

    在本发明的实施例中,对目标检测深度神经网络离线训练包括:

    步骤a-1.针对需要检测跟踪的特定目标,对同类型视频数据进行标注,在gpu服务器或者性能较强的计算机上利用标注数据对深度神经网络进行离线训练;

    步骤a-2.将无人机采集的同类型视频数据分解为图像,为避免过拟合提高泛化能力,图像数量尽量多,通常不少于1万张;对每张图像中的目标(汽车、人、坦克、无人机等)进行标注;具体来说:用一个矩形框将目标框住,将这个矩形框的左上角和右下角顶点的像素坐标或者左上角的顶点坐标及矩形框的长度和宽度及对应的目标标签按照特定格式记录下来;

    步骤a-3.搭建深度深度神经网络训练平台(tensorflow、darknet、caffe等),设定训练pathsize,学习率等参数,读取深度神经网络的模型如mobilenets-ssd,在标注好的数据上进行特定目标检测算法深度神经网络模型参数更新;

    步骤a-4.训练特定数量的次数(10000轮以上)后,保存深度神经网络的训练模型,获取深度神经网络的训练模型的模型文件和权重文件。

    其次对目标进行检测:

    步骤b-1.载入视频数据,读取视频帧;

    步骤b-2.记录计时器1的当前时间t10;

    步骤b-3.载入基于深度学习算法的预训练模型,利用深度学习前向推理机制在读取的视频帧上进行特定目标的检测:读取目标类别标签、预训练参数模型文件和权重文件、要检测的视频帧,在新的视频帧上进行前向推理,获取目标位置信息以及置信度;

    步骤b-4.记录计时器1的当前时间t11,t1=t11-t10,同时将检测的目标位置传递给目标跟踪器。

    最后对目标进行跟踪:

    步骤c-1.目标跟踪器以目标检测器检测到的目标位置为跟踪起点进行初始化。

    步骤c-2.记录计时器2的当前时间t20;

    步骤c-3.跟踪算法进行目标跟踪,在新的视频帧上更新目标位置:确定当前帧的候选区域位置,提取候选区域的特征;在后续视频帧中寻找与候选区域特征最匹配的区域作为目标跟踪的对象;在对象用矩形框包围起来作为跟踪结果并保存目标位置到目标位置集合;

    步骤c-4.同一目标的目标位置集合中保存的历史位置数量超过k则放弃最先保存的目标位置,在视频图像上输出显示跟踪目标的最新位置;

    步骤c-5.记录计时器2的当前时间t21,计算目标跟踪时间t2=t21-t20,如果t2≥αt1,则转步骤b-3,如果t2<t1,则转步骤c-3。

    优选的,获取编号为i的视频帧中待测目标的位置区域对应的候选区域包括:

    将编号为i的视频帧中待测目标的位置区域扩大预设倍数。

    进一步的,预设倍数的取值范围为[1.5,3]。

    优选的,步骤(13)中α的取值范围为[1,100]。

    基于本发明提供的技术方案,本发明的实施例中还提供了基于深度神经网络的目标检测模型的训练流程图,如图3所示:

    s1.离线训练目标检测模型:

    s11.针对监视特定区域进行视频或者图像的采集,要求采集的图像或者视频场景尽量与实际无人机监视区域的场景相似;

    s12.对采集的视频或者图像中的多类目标(车辆,人员,树木等)进行逐帧的标注,标注框优选矩形框,通过左上角和右下角顶点定位或者采用左上角和矩形的长宽边定位,并将标注的坐标和类别标签按照固定格式存储为xml或txt文件类型,建立索引文件将图像路径及文件名与xml或txt文件路径文件名称一一对应;

    s13.选定一种深度神经网络的训练平台,该训练平台可以是caffe,tensorflow,pytorch,darknet,但是不局限于以上平台;

    s14.选定一种目标检测深度神经网络包括但不限于mobilenets-ssd目标检测神经网络,设定训练pathsize,学习率等参数,依据索引文件读取训练图像和相应的xml或txt文件,在s13所选的训练平台上利用所标注的数据进行训练;

    s15.将s14的训练过程在采集的数据上进行n轮训练,通常n不小于10000,将得到的模型文件保存,以备后面的实时目标检测过程使用。

    基于本发明提供的技术方案,本发明的实施例中还提供了基于深度神经网络的目标实时检测流程图,如图4所示:

    s2.在线实时目标检测:

    s21.在无人机上逐帧实时读取摄像头视频或者图像数据;

    s22.记录计时器1的当前时间t10;

    s23.运行便于在移动平台上部署的轻量化的前向推理框架,包括但是不限于opencvdnn模块,tensorrt前向推理模块,腾讯ncnn前向推理模块,tengine前向推理模块;

    s24.读取s15中训练保存的模型权重文件,在逐帧读取的视频或者图像上对选定的目标进行检测,获得并输出相应的目标位置矩形框、置信度和类别标签等信息;

    s25.记录计时器1的当前时间t11。

    基于本发明提供的技术方案,本发明的实施例中还提供了基于深度神经网络的目标跟踪流程图,如图5所示:

    s3.目标跟踪的具体步骤:

    s31.将s25中目标跟踪器保存的目标位置矩形框作为目标跟踪算法的初始值,在当前视频帧对跟踪算法进行初始化,跟踪算法优选kcf目标跟踪算法,同时将目标初始位置进行保存;

    s32.记录计时器2的当前时间t20;

    s33.kcf算法根据初始目标位置在当前帧中确定一个比目标框大的模板区域,通常取目标框大小的1.5-3倍,利用循环矩阵获得模板区域的不同位移模板;按照x和y轴轴移动,分别利用如下循环矩阵:

    s34.提取不同位移模板的特征,将这些特征与汉宁窗口相乘得到目标模板,计算目标模板的高斯核;按此式确定汉宁窗口:其中,n为窗口宽度;

    s35.经过傅里叶变换,计算目标模板在图像中的目标位置,根据目标位置计算新的目标模板;计算新的目标模板的高斯响应图,在频域内对脊回归模型进行训练,更新目标模板和分类器参数值。

    s36.输出目标位置,并保存;

    s37.根据目标位置在新获取帧中确定一个比目标框大的模板区域,通常取目标框大小的1.5-3倍,利用循环矩阵获得模板区域的不同位移模板;

    s38.提取不同位移模板的特征,将这些特征与汉宁窗口相乘得到目标模板;

    s39.根据目标模板的大小计算高斯核,利用参数值计算响应图,得到目标位置;计算新的目标模板的高斯核,在频域内对脊回归模型进行训练,更新目标模板和分类器参数值;

    s40.输出目标位置,并保存;

    s41.判断保存的目标位置的数量,如果超过预先设定的目标位置数量k,则放弃最先保存的目标位置,输出剩余的目标位置,如果没有超过预先设定的目标位置数量,则直接输出保存的目标位置;

    s42.记录计时器2的当前时间t21,计算目标跟踪时间t2=t21-t20,如果t2≥αt1,则转步骤s23,如果t2<t1,则转步骤s37。

    实施例3

    本实施例提供了一种基于深度神经网络的无人机对地探测系统,如图6所示,包括:

    检测模块,用于从逐帧采集的图像中获取待测目标的首个位置;

    跟踪模块,用于将首个位置作为目标跟踪的初始目标位置,持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,当目标跟踪失败时,返回检测模块。

    优选的,目标跟踪失败的判断条件包括下述任一种:

    当目标检测时长大于目标跟踪时长且目标检测时长为目标跟踪时长的正整数倍;或者

    当当前帧图像中未检测到待测目标;

    目标检测时长为将逐帧采集的图像输入预先训练的目标检测深度神经网络模型至获得图像中待测目标首个位置的时间间隔;

    目标跟踪时长为获得每两帧图像中待测目标位置的时间间隔。

    进一步的,正整数倍的取值范围为[1,100]。

    优选的,跟踪模块,包括:

    获取单元,用于获取当前帧图像中待测目标的位置区域对应的候选区域;

    查找单元,用于利用核相关滤波算法在下一帧图像中查找与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域,并将该区域作为下一帧图像中待测目标的位置区域对应的候选区域;

    保存单元,用于将每一帧图像中待测目标的位置区域保存至目标位置集合。

    进一步的,跟踪模块还包括:

    判断单元,判断目标位置集合中所保存的待测目标的位置区域数量是否超出预设数量阈值k;

    若否,则输出当前所保存的待测目标的位置区域;

    若是,则通过放弃最早保存的位置区域的方式对目标位置集合中的待测目标的位置区域数量进行更新,并输出更新后的待测目标的位置区域。

    进一步的,查找单元具体用于:

    将当前帧图像中待测目标的位置区域对应的候选区扩大预设倍数作为下一帧图像与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域;

    其中,预设倍数的取值范围为[1.5,3]。

    优选的,检测模块具体用于:将逐帧采集的视频图像输入至预先训练的目标检测深度神经网络模型,执行深度神经网络前向推理,获取图像中待测目标的首个位置。

    进一步的,预先训练的目标检测深度神经网络模型的训练过程包括:

    对逐帧采集的历史视频数据中的各类目标进行逐帧标注;

    利用逐帧标注后的历史视频数据构建训练数据,并利用训练数据训练目标检测深度神经网络模型;

    获取预先训练的目标检测深度神经网络模型。

    可以将本发明上述实施例提供的无人机对地探测系统或者将加载有无人机对地探测方法的电子设备部署到无人机上,以实现对目标的监测、跟踪。。

    本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

    本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

    这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

    这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

    最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。


    技术特征:

    1.一种基于深度神经网络的无人机对地探测方法,其特征在于,所述方法包括:

    步骤1)从逐帧采集的图像中获取待测目标的首个位置;

    步骤2)将首个位置作为目标跟踪的初始目标位置,持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,当目标跟踪失败时,返回步骤1)。

    2.如权利要求1所述的方法,其特征在于,所述目标跟踪失败的判断条件包括下述任一种:

    当目标检测时长大于目标跟踪时长且目标检测时长为目标跟踪时长的正整数倍;或者

    当当前帧图像中未检测到待测目标;

    所述目标检测时长为将逐帧采集的图像输入预先训练的目标检测深度神经网络模型至获得图像中待测目标首个位置的时间间隔;

    所述目标跟踪时长为获得每两帧图像中待测目标位置的时间间隔。

    3.如权利要求2所述的方法,其特征在于,所述正整数倍的取值范围为[1,100]。

    4.如权利要求1所述的方法,其特征在于,所述持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,包括:

    获取当前帧图像中待测目标的位置区域对应的候选区域;

    利用核相关滤波算法在下一帧图像中查找与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域,并将该区域作为下一帧图像中待测目标的位置区域对应的候选区域;

    将每一帧图像中待测目标的位置区域保存至目标位置集合。

    5.如权利要求4所述的方法,其特征在于,所述将每一帧图像中待测目标的位置区域保存至目标位置集合之后,还包括:

    判断目标位置集合中所保存的待测目标的位置区域数量是否超出预设数量阈值k;

    若否,则输出当前所保存的待测目标的位置区域;

    若是,则通过放弃最早保存的位置区域的方式对目标位置集合中的待测目标的位置区域数量进行更新,并输出更新后的待测目标的位置区域。

    6.如权利要求4所述的方法,其特征在于,所述利用核相关滤波算法在下一帧图像中查找与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域,包括:

    将当前帧图像中待测目标的位置区域对应的候选区扩大预设倍数作为下一帧图像与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域;

    其中,所述预设倍数的取值范围为[1.5,3]。

    7.如权利要求1所述的方法,其特征在于,所述步骤1)包括:将逐帧采集的视频图像输入至预先训练的目标检测深度神经网络模型,执行深度神经网络前向推理,获取图像中待测目标的首个位置。

    8.如权利要求1所述的方法,其特征在于,所述预先训练的目标检测深度神经网络模型的训练过程包括:

    对逐帧采集的历史视频数据中的各类目标进行逐帧标注;

    利用逐帧标注后的历史视频数据构建训练数据,并利用训练数据训练目标检测深度神经网络模型;

    获取预先训练的目标检测深度神经网络模型。

    9.一种基于深度神经网络的无人机对地探测系统,其特征在于,所述系统包括:

    检测模块,用于从逐帧采集的图像中获取待测目标的首个位置;

    跟踪模块,用于将首个位置作为目标跟踪的初始目标位置,持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,当目标跟踪失败时,返回检测模块。

    10.如权利要求9所述的系统,其特征在于,所述目标跟踪失败的判断条件包括下述任一种:

    当目标检测时长大于目标跟踪时长且目标检测时长为目标跟踪时长的正整数倍;或者

    当当前帧图像中未检测到待测目标;

    所述目标检测时长为将逐帧采集的图像输入预先训练的目标检测深度神经网络模型至获得图像中待测目标首个位置的时间间隔;

    所述目标跟踪时长为获得每两帧图像中待测目标位置的时间间隔。

    11.如权利要求10所述的系统,其特征在于,所述正整数倍的取值范围为[1,100]。

    12.如权利要求9所述的系统,其特征在于,所述跟踪模块,包括:

    获取单元,用于获取当前帧图像中待测目标的位置区域对应的候选区域;

    查找单元,用于利用核相关滤波算法在下一帧图像中查找与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域,并将该区域作为下一帧图像中待测目标的位置区域对应的候选区域;

    保存单元,用于将每一帧图像中待测目标的位置区域保存至目标位置集合。

    13.如权利要求12所述的系统,其特征在于,所述跟踪模块还包括:

    判断单元,用于判断目标位置集合中所保存的待测目标的位置区域数量是否超出预设数量阈值k;

    若否,则输出当前所保存的待测目标的位置区域;

    若是,则通过放弃最早保存的位置区域的方式对目标位置集合中的待测目标的位置区域数量进行更新,并输出更新后的待测目标的位置区域。

    14.如权利要求12所述的系统,其特征在于,所述查找单元具体用于:

    将当前帧图像中待测目标的位置区域对应的候选区扩大预设倍数作为下一帧图像与当前帧图像中待测目标的位置区域对应的候选区域相一致的区域;

    其中,所述预设倍数的取值范围为[1.5,3]。

    15.如权利要求9所述的系统,其特征在于,所述检测模块具体用于:将逐帧采集的视频图像输入至预先训练的目标检测深度神经网络模型,执行深度神经网络前向推理,获取图像中待测目标的首个位置。

    16.如权利要求9所述的系统,其特征在于,所述预先训练的目标检测深度神经网络模型的训练过程包括:

    对逐帧采集的历史视频数据中的各类目标进行逐帧标注;

    利用逐帧标注后的历史视频数据构建训练数据,并利用训练数据训练目标检测深度神经网络模型;

    获取预先训练的目标检测深度神经网络模型。

    技术总结
    本发明涉及一种基于深度神经网络的无人机对地探测方法及系统,包括:从逐帧采集的图像中获取待测目标的首个位置;将首个位置作为目标跟踪的初始目标位置,持续根据当前帧图像中待测目标位置对应的候选区域确定下一帧图像中的目标位置,当目标跟踪失败时,重新从逐帧采集的图像中获取待测目标的首个位置并进行跟踪;本发明提供的技术方案能够实时对采集的视频进行监视,提升了目标检测效率和精确度;同时本发明提供的技术方案中采用深度神经网络的目标探测方法的计算量小且实用性较高。

    技术研发人员:管乃洋;苏龙飞;王之元;凡遵林;张天昊;王浩;沈天龙;黄强娟
    受保护的技术使用者:中国人民解放军军事科学院国防科技创新研究院
    技术研发日:2020.11.17
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-19829.html

    最新回复(0)