一种基于波长补偿的水下图像复原方法与流程

    专利2022-07-08  113


    本发明涉及水下图像处理技术领域,具体而言,尤其涉及一种基于波长补偿的水下图像复原方法。



    背景技术:

    由于水下环境的物理属性,水下图像处理仍然具有挑战性。在许多情况下,采集的水下图像受到吸收和散射作用而退化。在水下场景,相机获取的光主要包含三个部分,一是来自物体反射光的直接分量;二是目标的反射光到达相机镜头前遇到水中悬浮粒子发生小角度随机散射而引起的前向散射分量;三是光线在照射到水中物体时遇到水中的杂质就会发生散射直接被摄像机接收的后向散射分量。水下图像可以表示为上述三个分量的线性叠加。前向散射导致图像模糊,而后向散射掩盖了图像的细节。此外,悬浮颗粒带来不必要的噪声。退化的水下图像在信息显示和提取有价值的信息存在一定局限性,如海洋环境监测、海洋生态保护、考古学以及海洋资源勘探等。



    技术实现要素:

    根据上述提出的技术问题,提供一种基于波长补偿的水下图像复原方法。本发明主要使用九分位层次搜索法求水下图像的大气光值,根据不同jerlov水类型中的不同衰减系数求解水下图像的距离图、深度图,对水下图像进行复原,然后使用对比度受限的自适应直方图增强对比度,最后根据深度世界假设自动选择最佳结果。

    本发明采用的技术手段如下:

    一种基于波长补偿的水下图像复原方法(anunderwaterimagerestorationmethodbasedonwavelengthcompensation),其特征在于,包括以下步骤:

    步骤s01:获取初始图像,对所述初始图像创建水下图像复原模型;

    步骤s02:对所述初始图像进行九分位层次搜索,确定水下图像的大气光;

    步骤s03:根据所述步骤s02中的大气光,在不同的jerlov水类型中对初始图像中,通过haze-lines方法获取初始图像的透射图和距离图;

    步骤s04:根据所述步骤s02中的大气光,在不同的jerlov水类型进行大气光补偿,获取水面的光源强度;根据所述距离图和所述水面的光源强度,在不同的jerlov水类型中,根据波长衰减系数获取深度图;

    步骤s05:根据所述初始图像、所述大气光、所述距离图和所述深度图,在不同的jerlov水类型根据波长衰减系数求解水下图像;

    步骤s06:对所述水下图像进行对比度受限的自适应直方图增强,获取增强图像;

    步骤s07:根据所述步骤s06中得到的不同类型的增强图像根据基于灰度世界假设和信息熵的选取法则选择最终增强图像。

    进一步,所述步骤s01中的水下图像复原模型为:

    其中,ic表示初始图像,即所需复原的水下图像,jc表示复原后的水下图像,c表示r,g,b三个颜色通道,x,y表示不同的像素位置,β表示衰减系数,d(x,y)表示在x,y位置的距离,此处的距离表示由相机到场景的距离,d(x,y)表示在x,y位置的像素点距离水面的深度,b表示水下图像的大气光。

    进一步地,所述步骤s02中的九分位层次搜索方法的过程包括:

    s21:将所述初始图像均匀的划分为九个区域,计算每个区域的得分,将每个区域的得分定义为该区域内像素值的标准差减去平均像素值;通过搜索得分最高的区域来选择候选区域;

    s22:选取所述得分最高的区域进行暗通道,在所述暗通道中选取前1%亮的像素点作为候选大气光点;

    s23:为避免图片中亮斑对大气光产生的影响,在所述候选大气光点中选取蓝通道与红通道差值和绿通道与红通道差值的总和最大的点作为大气光点。

    进一步地,所述步骤s03中的获取透射图和距离图过程包括:

    s31、根据海洋光学,针对不同的jerlov水类型,通过相对应的衰减系数比值分别获取透射图和距离图;

    s32、获取透射图;图像中所有的像素值应均大于0,根据图像的复原模型,则t的下限tlb为:

    其中tlb表示透射图的下限值,i表示初始图像,b表示大气光,βbg=βb/βg表示在某个jerlov水类型中b通道的衰减系数与g通道衰减系数的比值;βbr=βb/βr表示在jerlov水类型中b通道的衰减系数与r通道衰减系数的比值;

    通过haze-lines方法估算初始透射图但在所述初始透射图中经常会出现距离连续的透射图突兀的不连续,因此,使用所述初始透射图进行软抠图,计算最终透射图为:

    其中,表示大气光像素马氏距离的平均值,表示最大马氏距离,σm表示标准差,α(x)表示无法高概率归类为物体或水的像素的抠图系数;通过引导滤波对透射图进行调整,获取透射图;

    s33、获取距离图;根据所述透射图和各通道的衰减系数获取距离图,公式如下:

    d(x,y)=-logtb(x,y)/β(b);

    其中tb表示最终透射图,β(b)表示jerlov水类型中b通道的衰减系数;由于相机与场景的距离为一个正值,则使用下述公式求取最终距离图:

    进一步地,所述步骤s04中的获取深度图的包括以下步骤:

    s41、获取水面光源强度;为了更好的计算水面上的光源强度,通过jerlov水类型中的波长衰减系数和大气光求解补偿后的大气光,即水面的光源强度,求解公式为:

    其中,c表示r、g、b三个通道,b表示大气光,β(c)表示通道在jerlov水类型中的衰减系数,dis表示大气光距离水面的距离,eu表示初始光源强度;

    在空气中,r、g、b三个通道的衰减系数相同,所以水面上的光源强度的r、g、b三个通道的值也相同;则确定光源强度的公式为:

    er=max(eur,eug,eub);

    eg=max(eur,eug,eub);

    eb=max(eur,eug,eub);

    e表示水面上的光源强度;

    在水面上,通常大气光的值往往处于[240,255]之间,但应为rgb三通道在空气之中也存在一定的衰减,所以大气光在通常小于255;若上述求取的光源强度小于240,则直接按照240进行计算,公式为:

    s42、获取深度图;通过最小化以下公式求解深度信息d:

    为避免水下图像中景物对场景深度的影响,根据所述距离图,将水下图像按照以下公式划分为前景和后景两个部分:

    其中,σ表示判断水下图像像素点(x,y)的阈值,foreground表示前景,background表示后景,d(x,y)表示物体与相机之间的距离,area-type(x,y)表示在(x,y)处的景深信息;

    通过最小化获取图像底部的深度信息r:

    其中,i表示初始图像的像素值;通过线性插值来微调图像点的深度,即顶部和底部背景点的深度;假设像素和上下背景像素位于扫描线上ax,y,b和c上,则通过线性插值逐点推导出像素的水下深度,公式为:

    其中,d(x,y)表示像素的水下深度。

    进一步地,所述步骤s05中的在不同的jerlov水类型根据波长衰减系数求解清晰水下图像的公式如下:

    jc表示恢复的清晰图像,ic表示初始图像,β(c)表示c通道的衰减系数,d表示图像中相机到场景的距离,d表示图像中距离水面的深度信息。

    进一步地,所述步骤s06中的对比度受限的自适应直方图增强的公式为:

    jec=clahe(jc),c∈{r,g,b};

    其中jc表示恢复后的水下图像,jec表示增强后的清晰图像。

    进一步地,基于灰度世界假设和信息熵的选取法则包括以下步骤:

    步骤s71:根据灰度世界假设公式选取前4给作为候选候选jerlov水类型,灰度世界假设公式为:

    其中,type表示jerlov水类型,表示增强后清晰图像中属于前景信息的像素的r通道的平均值,按照上述公式的结果从小到大进行排序,选取灰度世界假设公式值从小到大的前4个作为候选jerlov水类型;

    步骤s72:在候选jerlov水类型选取对比度较高的输出结果最为最终的输出结果,通过图像评价标准信息熵选取jerlov水类型中信息最丰富的类型作为最终输出结果,信息熵的公式为:

    其中,pi表示灰度值i像素占总像素比例,l表示图像的灰度级别,通常取256,en表示信息熵;

    type=argmaxentype

    其中上标type表示此水类型的信息熵;

    out=jetype

    根据上述基于灰度世界假设和信息熵的选取法则自动选择的水类型确定最后输出结果。

    较现有技术相比,本发明具有以下优点:

    1、为了解决水下中各个通道的衰减系数不同造成的图像偏色问题,和因图像退化造成的对比度低等问题。本发明首先使用haze-lines方法求解b通道中的透射率,然后在不同的jerlov水类型根据波长衰减系数得到相机与场景的距离图,解决从场景点到达相机的衰减问题。同时根据背景光中存在的不同颜色通道的剩余能量估计图像场景中的水深,解决从水面到达场景点的光源衰减问题。然后对复原后的水下图像使用对比度受限的自适应直方图方法增强图像的对比度。为得到最好的输出结果,使用基于灰度世界假设和信息熵的选取法则确定最终输出结果图。

    2、本发明同时考虑从水面到场景点的光源衰减和从场景点达到相机的退化,利用十个不同jerlov水类型中的衰减系数进行估计,使用基于灰度世界假设和信息熵的选取法则确定最终输出结果图。

    基于上述理由本发明可在图像处理等领域广泛推广。

    附图说明

    为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

    图1为本发明的流程示意图。

    图2为本发明与其他算法针对潜水员图像的复原效果对比图。其中(a)表示复原前初始图像,(b)表示使用ulap(arapidscenedepthestimationmodelbasedonunderwaterlightattenuationpriorforunderwaterimagerestoration)方法处理的结果图,(c)表示使用rghs(shallow-waterimageenhancementusingrelativeglobalhistogramstretchingbasedonadaptiveparameteracquisition)方法处理的结果图,(d)表示使用udcp(transmissionestimationinunderwatersingleimages)方法处理的结果图,(e)表示使用本发明处理的结果图。

    图3为本发明与其他算法针对水下珊瑚图像的复原效果对比图。其中(a)表示复原前初始图像,(b)表示使用ulap(arapidscenedepthestimationmodelbasedonunderwaterlightattenuationpriorforunderwaterimagerestoration)方法处理的结果图,(c)表示使用rghs(shallow-waterimageenhancementusingrelativeglobalhistogramstretchingbasedonadaptiveparameteracquisition)方法处理的结果图,(d)表示使用udcp(transmissionestimationinunderwatersingleimages)方法处理的结果图,(e)表示使用本发明处理的结果图。

    图4为本发明与其他算法针对沉船图像的复原效果对比图。其中(a)表示复原前初始图像,(b)表示使用ulap(arapidscenedepthestimationmodelbasedonunderwaterlightattenuationpriorforunderwaterimagerestoration)方法处理的结果图,(c)表示使用rghs(shallow-waterimageenhancementusingrelativeglobalhistogramstretchingbasedonadaptiveparameteracquisition)方法处理的结果图,(d)表示使用udcp(transmissionestimationinunderwatersingleimages)方法处理的结果图,(e)表示使用本发明处理的结果图。

    具体实施方式

    为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

    需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

    为了验证本发明对水下图像复原的有效性,选取不同场景的水下图像作为测试集,同时与ulap(arapidscenedepthestimationmodelbasedonunderwaterlightattenuationpriorforunderwaterimagerestoration)算法、rghs(shallow-waterimageenhancementusingrelativeglobalhistogramstretchingbasedonadaptiveparameteracquisition)算法、udcp(transmissionestimationinunderwatersingleimages)算法的实验结果从定性和定量两方面进行对比分析。具体步骤和原理如下:

    如图1所示,本发明提供了一种基于波长补偿的水下图像复原方法,,包括以下步骤:

    步骤s01:获取初始图像,水下图像复原模型为:

    其中,ic表示初始图像,即所需复原的水下图像,jc表示复原后的水下图像,c表示r,g,b三个颜色通道,x,y表示不同的像素位置,β表示衰减系数,d(x,y)表示在x,y位置的距离,此处的距离表示由相机到场景的距离,d(x,y)表示在x,y位置的像素点距离水面的深度,b表示水下图像的大气光。

    步骤s02:对所述初始图像进行九分位层次搜索,确定水下图像的大气光;九分位层次搜索方法求解水下图像的大气光的过程包括:

    步骤s21:将所述初始图像均匀的划分为九个区域,计算每个区域的得分,将每个区域的得分定义为该区域内像素值的标准差减去平均像素值;通过搜索得分最高的区域来选择候选区域;

    步骤s22:选取所述得分最高的区域进行暗通道,在所述暗通道中选取前1%亮的像素点作为候选大气光点;

    步骤s23:为避免图片中亮斑对大气光产生的影响,在所述候选大气光点中选取蓝通道与红通道差值和绿通道与红通道差值的总和最大的点作为大气光点。

    步骤s03:在不同的jerlov水类型中对初始图像中,通过haze-lines方法获取初始图像的透射图和距离图。对于不同jerlov水类型中获取透射图和距离图过程包括:

    步骤s31:根据海洋光学,针对不同的jerlov水类型,通过相对应的衰减系数比值分别获取透射图和距离图;

    步骤s32:获取透射图;图像中所有的像素值应均大于0,根据图像的复原模型,则t的下限tlb为:

    其中tlb表示透射图的下限值,i表示初始图像,b表示大气光,βbg=βb/βg表示在某个jerlov水类型中b通道的衰减系数与g通道衰减系数的比值;βbr=βb/βr表示在jerlov水类型中b通道的衰减系数与r通道衰减系数的比值;

    通过haze-lines方法估算初始透射图但在所述初始透射图中经常会出现距离连续的透射图突兀的不连续,因此,使用所述初始透射图进行软抠图,计算最终透射图为:

    其中,表示大气光像素马氏距离的平均值,表示最大马氏距离,σm表示标准差,α(x)表示无法高概率归类为物体或水的像素的抠图系数;通过引导滤波对透射图进行调整,获取透射图;

    步骤s33:获取距离图;根据所述透射图和各通道的衰减系数获取距离图,公式如下:

    d(x,y)=-logtb(x,y)/β(b);

    其中tb表示最终透射图,β(b)表示jerlov水类型中b通道的衰减系数;由于相机与场景的距离为一个正值,则使用下述公式获取最终距离图:

    步骤s04:在不同的jerlov水类型进行大气光补偿,获取水面的光源强度;根据所述距离图和所述水面的光源强度,在不同的jerlov水类型中,根据波长衰减系数获取深度图;对于不同jerlov水类型中获取深度图过程包括:

    步骤s41:获取水面光源强度;为了更好的计算水面上的光源强度,通过jerlov水类型中的波长衰减系数和大气光求解补偿后的大气光,即水面的光源强度,求解公式为:

    其中,c表示r、g、b三个通道,b表示大气光,β(c)表示通道在jerlov水类型中的衰减系数,dis表示大气光距离水面的距离,eu表示初始光源强度;

    在空气中,r、g、b三个通道的衰减系数相同,所以水面上的光源强度的r、g、b三个通道的值也相同;则确定光源强度的公式为:

    er=max(eur,eug,eub);

    eg=max(eur,eug,eub);

    eb=max(eur,eug,eub);

    e表示水面上的光源强度;

    在水面上,通常大气光的值往往处于[240,255]之间,但应为rgb三通道在空气之中也存在一定的衰减,所以大气光在通常小于255;若上述获取的光源强度小于240,则直接按照240进行计算,公式为:

    步骤s42:获取深度图;通过最小化以下公式求解深度信息d:

    为避免水下图像中景物对场景深度的影响,根据所述距离图,将水下图像按照以下公式划分为前景和后景两个部分:

    其中,σ表示判断水下图像像素点(x,y)的阈值,foreground表示前景,background表示后景,d(x,y)表示物体与相机之间的距离,area-type(x,y)表示在(x,y)处的景深信息;

    通过最小化获取图像底部的深度信息r:

    其中,i表示初始图像的像素值;通过线性插值来微调图像点的深度,即顶部和底部背景点的深度;假设像素和上下背景像素位于扫描线上ax,y,b和c上,则通过线性插值逐点推导出像素的水下深度,公式为:

    其中,d(x,y)表示像素的水下深度。

    步骤s05:根据所述初始图像、所述大气光、所述距离图和所述深度图,在不同的jerlov水类型根据波长衰减系数求解水下图像;在不同的jerlov水类型根据波长衰减系数求解清晰水下图像的公式如下:

    jc表示恢复的清晰图像,ic表示初始图像,β(c)表示c通道的衰减系数,d表示图像中相机到场景的距离,d表示图像中距离水面的深度信息。

    步骤s06:对所述水下图像进行对比度受限的自适应直方图增强,获取增强图像;对比度受限的自适应直方图增强的公式为:

    jec=clahe(jc),c∈{r,g,b};

    其中,jc表示恢复后的水下图像,jec表示增强后的清晰图像。

    步骤s07:根据所述步骤s06中得到的不同类型的增强图像根据基于灰度世界假设和信息熵的选取法则选择最终增强图像。所述基于灰度世界假设和信息熵的选取法则包括以下步骤:

    步骤s71:根据灰度世界假设公式选取前4给作为候选候选jerlov水类型,灰度世界假设公式为:

    其中,type表示jerlov水类型,表示增强后清晰图像中属于前景信息的像素的r通道的平均值,按照上述公式的结果从小到大进行排序,选取灰度世界假设公式值从小到大的前4个作为候选jerlov水类型;

    步骤s72:在候选jerlov水类型选取对比度较高的输出结果最为最终的输出结果,通过图像评价标准信息熵选取jerlov水类型中信息最丰富的类型作为最终输出结果,信息熵的公式为:

    其中,pi表示灰度值i像素占总像素比例,l表示图像的灰度级别,通常取256,en表示信息熵;

    type=argmaxentype

    其中上标type表示此水类型的信息熵;

    out=jetype

    根据上述基于灰度世界假设和信息熵的选取法则自动选择的水类型确定最后输出结果。

    实施例

    如图2所示,本发明提供了与其他算法针对潜水员图像的复原效果对比图,从实验效果图可以看出,四种算法均一定程度上恢复了水下图像,提高了水下图像的对比度。但是udcp算法的复原效果较差,相比于原图,udcp算法的结果图的色彩偏置问题更严重,同时降低远景部分的对比度。rghs算法和ulap算法虽然有效提高了远景部分的对比度,但rghs算法仍存在色彩残留问题,整体色调仍偏蓝色。ulap算法出现红通道错误补偿现象,整体图像偏红色。本发明算法处理的水下图像相比于其他算法更好的解决了色彩偏色问题,提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果,有效地的解决了水下图像偏色问题,提高全局对比度,实现了对比度增强和色彩恒常性。

    如图3所示,本发明提供了与其他算法针对水下珊瑚图像的复原效果对比图,从实验效果图可以看出,四种算法均一定程度上恢复了水下图像,提高了水下图像的对比度。但是udcp算法的复原效果较差,相比于原图,udcp算法的结果图的色彩偏置问题更严重,同时降低远景部分的对比度。rghs算法和ulap算法虽然有效提高了远景部分的对比度,但rghs算法远景部分仍存在色彩残留问题。ulap算法出现错误恢复色彩的问题,整体图像偏黄色。本发明算法处理的水下图像相比于其他算法更好的解决了色彩偏色问题,提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果,有效地的解决了水下图像偏色问题,提高全局对比度,实现了对比度增强和色彩恒常性。

    如图4所示,本发明提供了与其他算法针对沉船图像的复原效果对比图,从实验效果图可以看出,四种算法均一定程度上恢复了水下图像,提高了水下图像的对比度。但是udcp算法的复原效果较差,相比于原图,udcp算法的结果图的色彩偏置问题更严重,同时降低远景部分的对比度。rghs算法和ulap算法虽然有效提高了远景部分的对比度,但仍然存在色彩偏置,整体图像偏绿色。本发明算法处理的水下图像相比于其他算法更好的解决了色彩偏色问题,提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果,有效地的解决了水下图像偏色问题,提高全局对比度,实现了对比度增强和色彩恒常性。

    本实施例从平均梯度和pcqi两种客观指标对不同算法的实验结果进行对比;从表1和表2数据可知,ulap算法、rghs算法、udcp算法和本发明的平均梯度均大于原始图像;ulap算法和本发明的pcqi均高于原图,但udcp算法和rghs算法存在pcqi小于原图的情况,这表明虽然udcp算法和rghs算法虽然有效提高了水下图像的细节信息,但是udcp算法和rghs算法的部分结果的对比度小于原图像。本发明使用波长补偿的方式分别补偿了从水面到场景和场景到相机距离中不同颜色的波长衰减,可以有效的复原图像色彩,增强水下图像的细节信息,同时使用对比度受限的自适应直方图方法提高水下图像的对比度。因此本发明对于原图像的平均梯度、和pcqi都有较大的提升,且优于其它水下图像复原算法。

    表1本发明算法和其他算法处理结果的平均梯度对比

    表2本发明算法和其他算法处理结果的pcqi对比

    最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。


    技术特征:

    1.一种基于波长补偿的水下图像复原方法,其特征在于,包括以下步骤:

    步骤s01:获取初始图像,对所述初始图像创建水下图像复原模型;

    步骤s02:对所述初始图像进行九分位层次搜索,确定水下图像的大气光;

    步骤s03:根据所述步骤s02中的大气光,在不同的jerlov水类型中对初始图像中,通过haze-lines方法获取初始图像的透射图和距离图;

    步骤s04:根据所述步骤s02中的大气光,在不同的jerlov水类型进行大气光补偿,获取水面的光源强度;根据所述距离图和所述水面的光源强度,在不同的jerlov水类型中,根据波长衰减系数获取深度图;

    步骤s05:根据所述初始图像、所述大气光、所述距离图和所述深度图,在不同的jerlov水类型根据波长衰减系数求解水下图像;

    步骤s06:对所述水下图像进行对比度受限的自适应直方图增强,获取增强图像;

    步骤s07:根据所述步骤s06中得到的不同类型的增强图像根据基于灰度世界假设和信息熵的选取法则选择最终增强图像。

    2.根据权利要求1所述的一种基于波长补偿的水下图像复原方法,其特征在于,所述步骤s01中的水下图像复原模型为:

    ic(x,y)=jc(x,y)·e-β(c)(d(x,y) d(x,y)) (1-e-β(c)d(x,y))·bc;

    其中,ic表示初始图像,即所需复原的水下图像,jc表示复原后的水下图像,c表示r,g,b三个颜色通道,x,y表示不同的像素位置,β表示衰减系数,d(x,y)表示在x,y位置的距离,此处的距离表示由相机到场景的距离,d(x,y)表示在x,y位置的像素点距离水面的深度,b表示水下图像的大气光。

    3.根据权利要求1所述的一种基于波长补偿的水下图像复原方法,其特征在于,所述九分位层次搜索方法包括以下步骤:

    步骤s21:将所述初始图像均匀的划分为九个区域,计算每个区域的得分,将每个区域的得分定义为该区域内像素值的标准差减去平均像素值;通过搜索得分最高的区域来选择候选区域;

    步骤s22:选取所述得分最高的区域进行暗通道,在所述暗通道中选取前1%亮的像素点作为候选大气光点;

    步骤s23:为避免图片中亮斑对大气光产生的影响,在所述候选大气光点中选取蓝通道与红通道差值和绿通道与红通道差值的总和最大的点作为大气光点。

    4.根据权利要求1所述的一种基于波长补偿的水下图像复原方法,其特征在于,所述获取透射图和距离图包括以下步骤:

    步骤s31:根据海洋光学,针对不同的jerlov水类型,通过相对应的衰减系数比值分别获取透射图和距离图;

    步骤s32:获取透射图;图像中所有的像素值应均大于0,根据图像的复原模型,则t的下限tlb为:

    其中tlb表示透射图的下限值,i表示初始图像,b表示大气光,βbg=βb/βg表示在某个jerlov水类型中b通道的衰减系数与g通道衰减系数的比值;βbr=βb/βr表示在jerlov水类型中b通道的衰减系数与r通道衰减系数的比值;

    通过haze-lines方法估算初始透射图但在所述初始透射图中经常会出现距离连续的透射图突兀的不连续,因此,使用所述初始透射图进行软抠图,计算最终透射图为:

    其中,表示大气光像素马氏距离的平均值,表示最大马氏距离,σm表示标准差,α(x)表示无法高概率归类为物体或水的像素的抠图系数;通过引导滤波对透射图进行调整,获取透射图;

    步骤s33、获取距离图;根据所述透射图和各通道的衰减系数获取距离图,公式如下:

    d(x,y)=-logtb(x,y)/β(b);

    其中tb表示最终透射图,β(b)表示jerlov水类型中b通道的衰减系数;由于相机与场景的距离为一个正值,则使用下述公式获取最终距离图:

    5.根据权利要求1所述的一种基于波长补偿的水下图像复原方法,其特征在于,所述步骤s04中的获取深度图的包括以下步骤:

    步骤s41:获取水面光源强度;为了更好的计算水面上的光源强度,通过jerlov水类型中的波长衰减系数和大气光求解补偿后的大气光,即水面的光源强度,求解公式为:

    其中,c表示r、g、b三个通道,b表示大气光,β(c)表示通道在jerlov水类型中的衰减系数,dis表示大气光距离水面的距离,eu表示初始光源强度;

    在空气中,r、g、b三个通道的衰减系数相同,所以水面上的光源强度的r、g、b三个通道的值也相同;则确定光源强度的公式为:

    er=max(eur,eug,eub);

    eg=max(eur,eug,eub);

    eb=max(eur,eug,eub);

    e表示水面上的光源强度;

    在水面上,通常大气光的值往往处于[240,255]之间,但应为rgb三通道在空气之中也存在一定的衰减,所以大气光在通常小于255;若上述获取的光源强度小于240,则直接按照240进行计算,公式为:

    步骤s42:获取深度图;通过最小化以下公式求解深度信息d:

    为避免水下图像中景物对场景深度的影响,根据所述距离图,将水下图像按照以下公式划分为前景和后景两个部分:

    其中,σ表示判断水下图像像素点(x,y)的阈值,foreground表示前景,background表示后景,d(x,y)表示物体与相机之间的距离,area-type(x,y)表示在(x,y)处的景深信息;

    通过最小化获取图像底部的深度信息r:

    其中,i表示初始图像的像素值;通过线性插值来微调图像点的深度,即顶部和底部背景点的深度;假设像素和上下背景像素位于扫描线上ax,y,b和c上,则通过线性插值逐点推导出像素的水下深度,公式为:

    其中,d(x,y)表示像素的水下深度。

    6.根据权利要求1所述的一种基于波长补偿的水下图像复原方法,其特征在于,所述步骤s05中的在不同的jerlov水类型根据波长衰减系数求解清晰水下图像的公式如下:

    jc表示恢复的清晰图像,ic表示初始图像,β(c)表示c通道的衰减系数,d表示图像中相机到场景的距离,d表示图像中距离水面的深度信息。

    7.根据权利要求1所述的一种基于波长补偿的水下图像复原方法,其特征在于,所述对比度受限的自适应直方图增强的公式为:

    jec=clahe(jc),c∈{r,g,b};

    其中,jc表示恢复后的水下图像,jec表示增强后的清晰图像。

    8.根据权利要求1所述的一种基于波长补偿的水下图像复原方法,其特征在于,所述基于灰度世界假设和信息熵的选取法则包括以下步骤:

    步骤s71:根据灰度世界假设公式选取前4给作为候选候选jerlov水类型,灰度世界假设公式为:

    其中,type表示jerlov水类型,表示增强后清晰图像中属于前景信息的像素的r通道的平均值,按照上述公式的结果从小到大进行排序,选取灰度世界假设公式值从小到大的前4个作为候选jerlov水类型;

    步骤s72:在候选jerlov水类型选取对比度较高的输出结果最为最终的输出结果,通过图像评价标准信息熵选取jerlov水类型中信息最丰富的类型作为最终输出结果,信息熵的公式为:

    其中,pi表示灰度值i像素占总像素比例,l表示图像的灰度级别,通常取256,en表示信息熵;

    type=argmaxentype

    其中上标type表示此水类型的信息熵;

    out=jetype

    根据基于灰度世界假设和信息熵的选取法则自动选择的水类型确定最后输出结果。

    技术总结
    本发明提供了一种基于波长补偿的水下图像复原方法。本发明方法包括:对原图像进行基于九分位细分层次搜索估计大气光点。然后在不同的Jerlov水类型中使用Haze‑lines方法计算透射图,使用不同衰减系数补偿大气光,计算距离图和深度图,得到复原图。为进一步提高水下图像的对比度,使用对比度受限的自适应直方图对复原结果进行增强。然后根据基于灰度世界假设和信息熵的选取法则的确定最终输出图像。本发明利用九分位的方法获取大气光,有效地避免景物和光斑对估计大气光造成的影响,准确的估计大气光。使用不同的水的类型估计距离图和深度图,有效地解决水下图像退化问题,最后使用对比度受限的自适应直方图进行增强可以有效地增强图像的对比度和亮度。

    技术研发人员:张维石;周景春;张得欢
    受保护的技术使用者:大连海事大学
    技术研发日:2020.12.08
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-16679.html

    最新回复(0)