本发明涉及计算机视觉领域,特别是涉及一种无人机拍摄的夜间自动对焦方法、装置及设备。
背景技术:
1、现有技术中的自动聚焦方法,根据摄像头与目标之间的距离,获取最初焦距后,基于最初焦距调整焦距,结合使用清晰度计算函数或对比度计算出调整焦距对应图像梯度,来寻找清晰度最大值所对应的焦距,从而完成自动聚焦。其中,图像的清晰度通过计算图像中物体边缘的梯度变化值来获得,即物体轮廓边缘的梯度值越大,图像越清晰,梯度值越小,图像越模糊。
2、在无人机夜间工作的场景中,由于环境光照不足,无人机拍摄的图像包含大量噪声,而噪声与物理轮廓边缘同属于高频信号,从而导致附近的梯度值都很高。因此,基于梯度的聚焦方法应用在无人机夜间工作的场景时,容易导致清晰度最大值的查找经常会找到局部极大值,抑或其清晰值的变化与人眼观察的结果不符,无法顺利找到最佳聚焦位置的问题。
技术实现思路
1、基于此,本发明的目的在于,提供一种无人机拍摄的夜间自动对焦方法。
2、一种无人机拍摄的夜间自动对焦方法,包括以下步骤:
3、s1:测量摄像头与目标之间的距离,得到目标距离信息;
4、s2:在一预设的距离-焦距曲线中查找目标距离信息对应的初始焦距位置;
5、s3:根据所述初始焦距附近的若干不同焦距拍摄目标,从而得到若干目标图像;
6、s4:对所述若干目标图像进行图像降噪、增强处理,得到若干去噪图像;
7、s5:通过清晰度计算函数计算每一张去噪图像的清晰度;
8、s6:根据清晰度计算函数得到的最大清晰度,查找其对应的焦距,得到最佳焦距。
9、本发明所述的无人机拍摄的夜间自动对焦方法,通过激光测距得到初始焦距,该初始焦距作为对焦的初始锚点,根据经验得知,相同距离下的最佳焦距是不固定的,但最佳焦距一定在该初始焦距附近,因此通过得到初始焦距后,计算初始焦距附近焦距对应的图像清晰度,即可找到最佳焦距。与此同时,为了降低拍摄设备处于夜间的环境影响图像清晰度计算,本发明通过实时对图像在夜间产生的噪声进行去噪,解决了夜间产生的图像噪声导致清晰度计算不准确的问题。最终,达到了即使在夜间环境或低光环境快速精准对焦。
10、进一步地,步骤s3所述若干不同焦距选择为初始焦距±10%内,且变化2%以内的焦距;
11、其中,该参数限定是发明人在进行多次测试后,以肉眼分辨不出该焦距对应的清晰值变化的焦距,通过使用该焦距对应的图像作为目标图像计算出清晰度,可以找到理论上最佳的聚焦位置。
12、进一步地,步骤s6所述的清晰度计算函数为基于sobel的清晰度计算函数,所述基于sobel的清晰度计算函数表示为:
13、
14、其中m,n为图像的分辨率,为sobel梯度值,表示为:
15、
16、其中,和由下式算出:
17、
18、
19、
20、
21、其中,f(x,y)为图像像素的灰度值,通过矩阵表示为:
22、
23、
24、
25、
26、其中,a为去噪图像。
27、所述基于sobel的清晰度计算函数,充分考虑了横向、纵向和45°方向上的梯度变换,从而得到最精准的清晰度值。
28、进一步地,步骤s4所述的去噪、增强通过一学生网络执行;
29、其中,所述学生网络可训练参数通过学生网络训练数据集中,对应的摄像头带噪声图像和教师网络输出的去噪图像作为训练标签,进行训练:
30、将所述摄像头带噪声图像通过学生网络去噪处理,获取学生网络输出的去噪图像;
31、根据所述学生网络输出的去噪图像与所述教师网络输出的去噪图像;
32、通过总损失,对学生网络的参数进行调整更新;
33、其中,所述学生网络训练数据集通过以下步骤进行搭建:
34、获取摄像头带噪声图像;
35、将所述摄像头带噪声图像通过训练后教师网络去噪处理,获得教师网络输出的去噪图像;
36、将教师网络输出的去噪图像与对应的摄像头带噪声图像,组成学生网络训练数据;
37、其中,通过摄像头带噪图像对学生网络进行训练可以让学生网络学习到对应摄像头设备的噪声分布,从而提高学生网络的去噪效果。同时,通过教师网络输出的去噪图像作为监督信息,可以让学生网络学习教师网络的功能、特性等。
38、其中,所述教师网络可训练参数通过教师网络训练数据集中的模糊加噪图像和清晰图像训练:
39、将模糊加噪图像通过教师网络去噪处理,获取教师网络输出的去噪图像;
40、根据教师网络输出的去噪图像与清晰图像,进行总损失计算;
41、通过总损失,对教师网络的参数进行调整更新;
42、其中,所述教师网络训练数据集通过以下步骤获得:
43、获取清晰图像;
44、对清晰图像随机添加模糊核、高斯噪声和\或泊松噪声,形成模糊加噪图像;
45、将清晰图像与其对应的模糊加噪图像,组成教师网络训练数据。
46、其中,教师网络相较于学生网络更为复杂,其泛用性更强,据此,复杂的数据集可以使教师网络学到更多的功能,在此,教师网络中使用了模糊核、高斯噪声和\或泊松噪声,对清晰图像进行加噪,据此,训练后的教师网络将会具备去模糊和去噪声的功能,同时学生网络将会学习到这些功能。
47、进一步地,所述总损失可表示为:
48、ltotal=l1+lpercep+0.1*lg
49、其中,l1为绝对值误差、lpercep为感知损失、lg为鉴别损失;
50、所述绝对值误差可表示为:
51、l1=mean||g(xi)-yi||
52、其中,g(xi)为待训练网络输出,yi为期望图像,所述待训练网络输出为训练主体输出的去噪图像;所述期望图像为监督图像;
53、所述感知损失可表示为:
54、
55、其中,为待训练网络提取的特征图,为期望图像提取的特征图;
56、所述鉴别损失可表示为:
57、
58、其中,xi为待训练网络输出,为通过u-net判断是否为真的概率分布;
59、所述鉴别损失通过u-net对训练网络的输出的去噪图像的单个像素进行判断是否真实。
60、其中,通过绝对值误差更关注于psnr(peak signal to noise ratio,峰值信噪比),以评价图像质量的指标,使待训练网络通过生成图像质量的去调整参数。其次,感知损失通过计算待训练网络输出和期望图像在特征提取过程中的提取特征的差异,使待训练网络以整体和特征的视角去调整参数。最终,鉴别损失通过待训练网络输出与期望图像的单个像素的差异,使待训练网络在像素级别的视角去调整参数。
61、此外,将三种损失函数的权重分为1.0、1.0、0.1,其中平均绝对值误差和感知损失使网络通过全局考虑待训练网络输出与期望图像之间的差异,从而使网络学习到很好的去噪能力。而鉴别损失通过像素级别的视角去观察,使待训练网络可以更精细去判断差异,进而使待训练网络学习训练后获得图像增强能力。与此同时,由于鉴别损失针对单个像素进行差异计算,因此容易过拟合,在此通过使用0.1的权重,确保网络在训练的过程中不会出现过拟合的现象。
62、一种夜间自动对焦装置用于执行上述任一所述的无人机拍摄的夜间自动对焦方法。
63、一种无人机夜间对焦设备包括测距装置、摄像头上述所述的夜间自动对焦装置;
64、所述测距装置用于测量摄像头与目标之间的距离,得到目标距离信息,并将所述信息输入至夜间自动对焦装置;
65、所述摄像头根据所述夜间自动对焦装置的信号调整焦距拍摄若干目标图像,并将所述若干目标图像输入至夜间自动对焦装置;
66、所述夜间自动对焦装置处理输入数据后,输出信号使摄像头调整至最佳焦距。
67、为了更好地理解和实施,下面结合附图详细说明本发明。
1.一种无人机拍摄的夜间自动对焦方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种无人机拍摄的夜间自动对焦方法,其特征在于,步骤s3所述若干不同焦距选择为初始焦距±10%内,且变化2%以内的焦距。
3.根据权利要求2所述的一种无人机拍摄的夜间自动对焦方法,其特征在于,步骤s6所述的清晰度计算函数为基于sobel的清晰度计算函数,所述基于sobel的清晰度计算函数表示为:
4.根据权利要求3所述的无人机拍摄的夜间自动对焦方法,其特征在于,步骤s4所述的去噪、增强通过一学生网络执行;
5.根据权利要求4所述的无人机拍摄的夜间自动对焦方法,其特征在于,所述总损失可表示为:
6.一种夜间自动对焦装置,其特征在于,包括初始焦距查找模块、图像去噪模块、清晰度计算模块、最佳焦距查找模块;
7.根据权利要求6所述的夜间自动对焦装置,其特征在于,所述学生网络可训练参数通过学生网络训练数据集中对应的摄像头带噪声图像和教师网络输出的去噪图像作为训练标签,对学生网络进行训练:
8.根据权利要求7所述的夜间自动对焦装置,其特征在于,所述总损失可表示为:
9.一种无人机夜间对焦设备包括测距装置和摄像头,其特征在于,还包括权利要求6至8中任一所述的夜间自动对焦装置;
10.一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一所述的无人机拍摄的夜间自动对焦方法。
