本发明涉及图像处理技术领域,具体涉及一种针对驾驶室环境的单尺度运动模糊图像帧复原方法。
背景技术:
近年来,随着计算机视觉理论研究越来越成熟,机器识别人体行为成为可能。汽车驾驶室行为识别就是很好的分心驾驶和异常事件的预警方式,因为驾驶室环境相对其他人体识别情景更固定。但汽车行驶环境常常存在因道路崎岖、加减速问题而引起监控图像帧运动模糊问题,模糊图像帧会影响主观视觉和机器视觉的判别。其中运动模糊问题是成像仪器与被摄物体在拍摄瞬间产生相对位移时造成。因为驾驶环境运动模糊成像原因的特殊性,模糊图片会在视觉上产生沿某一角度的散射感,尤其在模糊方向一致,模糊尺度越大散射感越强。实时复原驾驶室模糊图片除了要准确估计模糊核psf外,还需要考虑图像去模糊处理的时间问题。
多尺度方法因其在模糊图像恢复的细节恢复优势而被广泛研究,但多尺度模糊核估计往往需要复杂估算初始模糊核,再利用初始模糊核进行迭代优化。即使多尺度从粗到细的模糊核估计方法被广泛应用并取得不错效果,在图像复原中能获得更加丰富的图片细节,但是多尺度迭代过程的计算量往往会随迭代次数逐步增加,造成整个图片恢复过程耗时过多的问题,所以并不适用于快速去模糊场景。
技术实现要素:
为了解决上述问题,本发明驾驶室与驾驶环境的特点,基于现有的多尺度图像去模糊理论提供一种针对驾驶室环境的单尺度运动模糊图像帧复原方法。
一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,包括以下步骤:
s1、获取运动模糊图像帧b1、b2,对运动模糊图像帧进行有效边缘的增强和提取,得到运动模糊图像帧b1的有效边缘;
s2、根据模糊原理构建连续双帧模糊图像帧b1、b2的模糊模型,将二者联合求解连续双帧图像模糊核k1、k2;
s3、根据连续双帧图像模糊核k1、k2之间的线性关系计算噪声误差,通过最小化噪声误差和高斯先验约束计算得到粗糙初始模糊核k0;
s4、利用步骤s1得到的有效边缘和步骤s3估计的粗糙初始模糊核k0建立恢复模型,将模糊图像帧b1、粗糙初始模糊核k0、l2正则范数约束项输入恢复模型中,得到模糊图像帧b1的过渡图;
s5、基于模糊图像帧b1的过渡图计算模糊图像帧b1的初始模糊核
s6、将运动模糊图像帧b1、步骤s5得到的最优模糊核
进一步的,步骤s1具体包括:
s11、利用高斯模糊对运动模糊图像帧b1进行滤波处理,除去图中的噪声和层次干扰;
s12、计算模糊图像b1的梯度:利用空间对比度方法分别对b1计算水平方向和垂直方向的sobel算子,得到模糊图像的显著边缘,图像梯度计算公式:
其中,i表示输入模糊图像帧b1,▽i表示b1的梯度值,▽ix表示b1水平方向的sobel算子,▽iy表示b1垂直方向的sobel算子;
s13、计算模糊图像b1的边缘置信度,通过置信度阈值控制模糊图像的边缘取舍,将所有边缘置信度大于置信度阈值的像素点保留,而小于得到置信度阈值的像素点将被舍弃,最终得到整体边缘置信度较高的边缘图;
模糊图像边缘置信度的计算表达式包括:
其中,r(p)表示p点的置信度取值,p表示模糊图像的边缘图中的某一像素,h(p)是以p为中心、h×h为大小的图像块,q表示在h×h为大小的图像块中的某一点,▽i(q)表示模糊图像q点的梯度取值,εr表示平滑限制参数,εr是一个很小的正数,防止在平滑区域产生过大的边缘置信度;
s14、计算模糊图像的最终有效边缘,模糊图像的最终有效边缘确定公式:
其中,i′代表输入模糊图像帧b1经过高斯滤波平滑处理后得到的图像,▽ix′和▽iy′分别表示i′在水平和垂直方向上计算sobel算子得到的边缘;h(·)表示heaviside函数,为负值输出0,否则为1;||运算表示取图像一阶梯度的绝对值;阈值τr和阈值τs用于舍弃置信度过小梯度值;λ表示水平方向下梯度算子的惩罚参数,γ表示垂直方向下梯度算子的惩罚参数;r表示输入图像i′中边缘的置信度。
进一步的,双帧模糊图像帧b1、b2的模糊模型包括:
其中,b1和b2为已知的连续双帧模糊图像,b1表示连续双帧模糊图像中的第一帧模糊图像,b2表示连续双帧模糊图像中的第二帧模糊图像,i表示二者共同的清晰图像,k1、k2分别表示连续双帧图像中两张模糊图片需要求解的模糊核,ε1、ε2分别表示i到b1和b2两个模糊过程中的不同噪声。
进一步的,粗糙初始模糊核k0的计算方式如下:
k1、k2之间的线性关系为:
k1*k0=k2
根据k1、k2之间的线性关系计算噪声误差,噪声误差计算公式为:
εest=b1*k0-b2
=-ε1*k0 ε2
通过最小化噪声误差和高斯先验约束模型得到粗糙初始模糊核k0,计算表达式如下:
其中
进一步的,恢复模型的表达式如下:
其中,i表示需求解的过渡图,▽i表示过渡图i的梯度,k0表示粗糙初始模糊核,b1表示连续双帧模糊图像中的第一帧模糊图像,γi是空间先验正则项的参数,相比于高斯空间先验
进一步的,步骤s5具体包括以下步骤:
s51、得到模糊图像帧b1的过渡图b1′后,利用步骤s1的方法求出模糊图像帧b1的过渡图b1′的有效边缘▽is′,根据过渡图b1′的有效边缘▽is′计算模糊图像帧b1的初始模糊核
其中,
s52、根据模糊核优化模型迭代优化模糊核
进一步的,模糊核优化模型表达式如下:
其中,
进一步的,模糊核优化模型的迭代停止条件为:
其中,
相对于现有技术,本发明的有益效果:
本发明针对驾驶室环境运动模糊的特点,提出了增强提取模糊图像有效边缘的方法和双帧联合模糊核估计方法,可以将现有的多尺度估计简化为单尺度估计。本发明的有效边缘提取方法能更好地恢复出模糊图像的整体结构,有助于保证图像恢复精度。而本发明的双帧联合单尺度模糊核估计方法能大幅度减少逐步迭代求解的计算量,提高图像恢复过程的整体效率。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细的说明。
图1为本发明实施例提供的一种单尺度图像复原方法的整体流程图;
图2是本发明实施例提供的模糊图像帧b1的初始模糊核
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,包括但不限于如下步骤:
s1、获取运动模糊图像帧b1、b2,对运动模糊图像帧进行有效边缘的增强和提取,得到运动模糊图像帧b1的有效边缘▽is。所述运动模糊图像帧b1、b2为连续双帧模糊图像帧。
步骤s1的具体实施过程包括:
s11、利用高斯模糊对运动模糊图像帧b1进行滤波处理,除去图中的噪声和层次干扰;
s12、计算模糊图像b1的梯度:利用空间对比度方法分别对模糊图像b1计算水平方向和垂直方向的sobel算子,得到模糊图像的显著边缘,图像模糊梯度计算公式:
其中,i表示输入模糊图像帧b1,▽i表示b1的梯度值,▽ix表示b1水平方向的sobel算子,▽iy表示b1垂直方向的sobel算子;
s13、计算模糊图像b1的边缘置信度。通过置信度阈值控制模糊图像的边缘取舍,将所有边缘置信度大于置信度阈值的像素点保留,而小于得到置信度阈值的像素点将被舍弃,最终得到整体边缘置信度较高的边缘图。
模糊图像边缘置信度的计算表达式包括:
其中,r(p)表示表示p点的置信度取值,p表示表示模糊图像的边缘图中的某一像素,h(p)是以p为中心、h×h为大小的图像块,q表示表示在h×h为大小的图像块中的某一点,▽i(q)表示表示在q点的模糊图像的梯度取值,εr表示平滑限制参数,εr是一个很小的正数,防止在平滑区域产生过大的边缘置信度;
s14、计算模糊图像的最终有效边缘,模糊图像的最终有效边缘确定公式:
其中,i′代表输入模糊图像帧经过高斯滤波平滑处理后得到的图像,▽ix′和▽iy′分别表示i′在水平和垂直方向上计算sobel算子得到的边缘。h(·)表示heaviside函数,为负值输出0,否则为1。||运算表示取图像一阶梯度的绝对值。阈值τr和阈值τs用于舍弃置信度过小的梯度值。λ表示水平方向下梯度算子的惩罚参数,γ表示垂直方向下梯度算子的惩罚参数;r表示输入图像中边缘的置信度。
s2、根据模糊原理构建连续双帧模糊图像帧b1、b2的模糊模型,将二者联合以求解连续双帧图像模糊核k1、k2:
其中,b1和b2为已知的连续双帧模糊图像,b1表示连续双帧模糊图像中的第一帧模糊图像,b2表示连续双帧模糊图像中的第二帧模糊图像,i表示b1和b2二者共同的清晰图像,k1、k2分别表示连续双帧图像中两张模糊图片需要求解的模糊核,ε1、ε2分别表示i到b1和b2两个模糊过程中的不同噪声。
s3、根据连续双帧图像模糊核k1、k2之间的线性关系计算噪声误差,通过最小化噪声误差和高斯先验约束计算得到粗糙初始模糊核k0(k0表达驾驶室运动模糊特性),计算方式如下:
k1、k2之间的线性关系为:
k1*k0=k2
根据k1、k2之间的线性关系计算噪声误差,噪声误差计算公式为:
εest=b1*k0-b2
=-ε1*k0 ε2
通过最小化噪声误差和高斯先验约束模型得到粗糙初始模糊核k0,计算表达式如下:
其中
s4、利用步骤s1得到的有效边缘▽is和步骤s3估计的粗糙初始模糊核k0建立恢复模型,将模糊图像帧b1、粗糙初始模糊核k0、l2正则范数约束项输入恢复模型中,得到模糊图像帧b1的过渡图b1′。
恢复模型的表达式如下:
其中,i表示需求解的过渡图,▽i表示过渡图i的梯度,k0表示粗糙初始模糊核,b1表示连续双帧模糊图像中的第一帧模糊图像,γi是空间先验正则项的参数,相比于高斯空间先验
s5、根据模糊核优化模型迭代计算模糊图像帧b1的模糊核k1,得到模糊图像帧b1的最优模糊核
图2所示为模糊图像帧b1的初始模糊核
s51、得到模糊图像帧b1的过渡图b1′后,利用步骤s1的方法求出模糊图像帧b1的过渡图b1′的有效边缘▽is′,
其中,i′代表过渡图像帧b1′经过高斯滤波平滑处理后得到的图像,▽ix′和▽iy′分别表示i′在水平和垂直方向上计算sobel算子得到的边缘。h(·)表示heaviside函数,为负值输出0,否则为1。||运算表示取图像一阶梯度的绝对值。阈值τr和阈值τs用于舍弃置信度过小的梯度值。λ和γ表示不同方向下梯度算子的惩罚参数。r表示过渡图像帧b1′中边缘的置信度。
根据过渡图的有效边缘▽is′计算模糊图像帧b1的初始模糊核
其中,
s52、将模糊图像帧b1的初始模糊核
根据步骤s51的初始模糊核估计方法得到初始模糊核
s53、判断第一次迭代的模糊核
模糊核优化模型表达式如下:
其中,
模糊核优化的迭代停止条件为:
其中
s6、将运动模糊图像帧b1、步骤s5得到的最优模糊核
本实施例中的恢复模型是基于超拉普拉斯非盲去模糊的思想得到。
本发明的针对多尺度去模糊方法计算量大的问题,基于连续双帧计算初始模糊核去除运动模糊。根据图像模糊原理可知初始模糊核的估计对整个估计流程非常关键,一个合适的初始模糊核可以防止迭代过程进入局部极小值。所以本发明提出一个新的公共模糊核k0概念,将双帧信息联合起来,简化了迭代求解过程。通过双帧模糊核梯度范数约束可以快速获得合适的初始核估计,简化了多尺度迭代细化模糊核的流程,最终达到减少整个流程计算量和计算时间的目的。本发明在不同尺寸和不同模糊核的模糊图片上进行大量对比实验,证明改进边缘提取方法的有效性和单尺度模糊核估计方法的运行时间优于现有多尺度方法。
需要说明的是,本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(read-0nlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。
以上所述仅是本申请的具体实施方式,应当指出,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
1.一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,其特征在于,包括以下步骤:
s1、获取运动模糊图像帧b1、b2,对运动模糊图像帧进行有效边缘的增强和提取,得到运动模糊图像帧b1的有效边缘;
s2、根据模糊原理构建连续双帧模糊图像帧b1、b2的模糊模型,将二者联合求解连续双帧图像模糊核k1、k2;
s3、根据连续双帧图像模糊核k1、k2之间的线性关系计算噪声误差,通过最小化噪声误差和高斯先验约束计算得到粗糙初始模糊核k0;
s4、利用步骤s1得到的有效边缘和步骤s3估计的粗糙初始模糊核k0建立恢复模型,将模糊图像帧b1、粗糙初始模糊核k0、l2正则范数约束项输入恢复模型中,得到模糊图像帧b1的过渡图;
s5、基于模糊图像帧b1的过渡图计算模糊图像帧b1的初始模糊核
s6、将运动模糊图像帧b1、步骤s5得到的最优模糊核
2.根据权利要求1所述的一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,其特征在于,步骤s1具体包括:
s11、利用高斯模糊对运动模糊图像帧b1进行滤波处理,除去图中的噪声和层次干扰;
s12、计算模糊图像b1的梯度:利用空间对比度方法分别对b1计算水平方向和垂直方向的sobel算子,得到模糊图像的显著边缘,图像梯度计算公式:
其中,i表示输入模糊图像帧b1,
s13、计算模糊图像b1的边缘置信度,通过置信度阈值控制模糊图像的边缘取舍,将所有边缘置信度大于置信度阈值的像素点保留,而小于得到置信度阈值的像素点将被舍弃,最终得到整体边缘置信度较高的边缘图;
模糊图像边缘置信度的计算表达式包括:
其中,r(p)表示p点的置信度取值,p表示模糊图像的边缘图中的某一像素,h(p)是以p为中心、h×h为大小的图像块,q表示在h×h为大小的图像块中的某一点,
s14、计算模糊图像的最终有效边缘,模糊图像的最终有效边缘确定公式:
其中,i′代表输入模糊图像帧b1经过高斯滤波平滑处理后得到的图像,
3.根据权利要求1所述的一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,其特征在于,双帧模糊图像帧b1、b2的模糊模型包括:
其中,b1和b2为已知的连续双帧模糊图像,b1表示连续双帧模糊图像中的第一帧模糊图像,b2表示连续双帧模糊图像中的第二帧模糊图像,i表示二者共同的清晰图像,k1、k2分别表示连续双帧图像中两张模糊图片需要求解的模糊核,ε1、ε2分别表示i到b1和b2两个模糊过程中的不同噪声。
4.根据权利要求1所述的一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,其特征在于,步骤s3中,粗糙初始模糊核k0的计算方式如下:
k1、k2之间的线性关系为:
k1*k0=k2
根据k1、k2之间的线性关系计算噪声误差,噪声误差计算公式为:
εest=b1*k0-b2
=-ε1*k0 ε2
通过最小化噪声误差和高斯先验约束模型得到粗糙初始模糊核k0,计算表达式如下:
其中
5.根据权利要求1所述的一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,其特征在于,恢复模型的表达式如下:
其中,i表示需求解的过渡图,
6.根据权利要求1所述的一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,其特征在于,步骤s5具体包括以下步骤:
s51、得到模糊图像帧b1的过渡图b1′后,利用步骤s1的方法求出模糊图像帧b1的过渡图b1′的有效边缘
其中,
s52、根据模糊核优化模型迭代优化模糊核
7.根据权利要求6所述的一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,其特征在于,模糊核优化模型表达式如下:
其中,
8.根据权利要求7所述的一种针对驾驶室环境的单尺度运动模糊图像帧复原方法,其特征在于,模糊核优化模型的迭代停止条件为:
其中,