本发明涉及视觉处理相关领域，具体涉及一种洛伦兹拟合模糊核的图像超分辨重建方法。
背景技术：
：随着科技的不断进步和视觉处理技术的广泛应用，人们对图像高质量的需求也大大提升。图像分辨率是衡量图像精度和清晰度的关键，图像分辨率与图像清晰度有着直接关系。因此，如何提高图像分辨率成为图像处理领域的一个研究热点。一幅高分辨率图像可以提供具有更多细节信息，获取图像的分辨率越高，则图像中包含的信息越丰富，这也是相关图像的各种研究的基础。提升成像设备的硬件条件是获得高分辨率图像最为直接有效的方法，但是目前如果单纯的从硬件设备入手来提高图像分辨率，ccd,cmos等成像器件不但价格昂贵，而且这些成像器件改善效果已经无法有更大的突破。因此，必须实现新的软件手段来克服光学制造技术上的限制。由于获取图像的设备的退化函数大部分是低通滤波器，这也就限制了所获取的图像截止频率以上的相关信息，早期的超分辨率技术被定义为估计衍射极限以上的图像的光谱信息的方法，其具体的理论支撑出自于解析延拓理论、信息叠加理论等，该方法以主要是线性解卷积和盲反卷积的手段。如今，“超分辨”拓展了其传统的含义，它被广泛定义为将一个或多个低分辨率图像恢复为高分辨率图像的技术。其根本目的是在不提高图像采集设备硬件水平的情况下，利用相关算法融合单个图像或一系列具有亚像素偏移的连续图像中的先验知识，进而重建高分辨率图像。由于采用了数据软处理的方式，实现成本远低于提高硬件水平。对于低分辨率图像，其退化模型描述了从实际场景收集的单个或多个低分辨率图像的整体退化过程，因此超分辨率重建算法中退化模型的正确构建非常重要。一个通用的简化图像退化模型为：y＝hx n(1)其中，n为成像时引入的噪声，h为成像系统的点扩散函数(pointspreadfunction,psf)算子。由于大部分采集系统不理想，因此图像在获取的过程中会产生一些退化。例如，获取到的点光源则不可能是与原来场景相同的点，会产生由点扩散函数引起的模糊扩散。点扩散函数用于表现采集系统对原来高分辨率场景和图像的退化过程，其由图像采集系统决定。而且h往往是一个病态矩阵。常见的点扩散函数有：高斯形式、sinc形式等。假设原始的高分辨率图像经过某种图像退化(降质)过程得到一幅或多幅低分辨率图像，则单帧图像的退化模型可以表示为：yk＝dkbkfkx n(2)其中，yk是第k幅低分辨率图像，x是原始的高分辨率图像，dk是下采样因子，bk是系统的模糊因子，包括式(1)中的点扩散函数算子h，fk是运动因子，可以通过运动估计方法来求得，n是噪声。通常多个低分辨率图像的退化过程是一样的，所以可以将式(2)简写成：yk＝dbfkx n(3)低分辨率图像数量不足和各种退化因素会导致图像重建问题的病态特征。一般来说，无约束的最优化方法解决这类问题是有效的。但是该方法的解不是唯一的，不稳定的。为了解决最优化问题的弊端，可以对最优化方法添加约束条件来限制解的可取范围，这种解决病态问题的带有约束性质的最优化方法，称为正则化方法。对于线性方程ax＝b，当解不存在或者不唯一时，可以说是病态问题(illposedproblem)。超分辨率重建问题根本上来说是一个病态问题，如果对问题施加一些约束限制条件会使得问题的解更具有稳定性，唯一性。当解不存在时，通过添加一些限制条件来得到一个近似解；当解不唯一时，通过增加一些约束条件(比如稀疏性、能量有界性等先验知识)限制解的可取范围。这种通过施加条件或约束来解决病态问题的方法称为正则化方法。求解线性方程的常用方法是最小二乘法，即求解min||ax-b||22对于病态的线性方程，tikhonov提出可以在其后加上一个tikhonov正则约束项来求解：其中γ叫做tikhonov矩阵普遍将其看作是单位阵的乘积的形式(γ＝αi)或者微分算子、拉普拉斯算子等。因此病态问题也就变为找到能够让式(4)取得最小值的x，这种正则化方法限制了求解条件，直接得到相应的最小解：传统的正则化方法可以提高单帧图像的分辨率，但是单帧图像中所包含的原始场景的信息不足，重建效果不佳。因此如何有效地从多组低分辩图像重建出高分辨图像是关键问题。同时，使得点扩散函数形式更加近似实际退化过程也是超分辨过程的重要部分，使得有效的整体图像的超分辨结果得到保障。技术实现要素：为了克服已有技术的不足，本发明提供了一种洛伦兹拟合模糊核的图像超分辨重建方法，针对图像超分辨过程中现有的点扩散函数形式无法有效近似实际退化过程，即与实际退化函数模型有着较大的近似误差，直接影响了超分辨重建的最终效果。该方法充分考虑实际退化所形成的模糊效应，采用洛伦兹函数的线性组合对实际退化所造成的模糊效应进行建模，并以最小均方误差为准则对图像进行超分辨重建。本发明解决其技术问题所采用的技术方案是：一种洛伦兹拟合模糊核的图像超分辨重建方法，包括以下步骤：步骤一：去噪预处理，对由于光学系统自身的不适应性导致退化的低分辩图像序列gk∈rm×n进行去噪预处理，其中k为图像序列的个数；步骤二：从序列低分辨率图像中选取一帧g0作为参考帧，利用菱形搜索法或光流法对序列中其他低分辩图像gl进行配准得到亚像素配准参数fk，l＝1…k-1；步骤三：退化psf的估计模型：根据构造公式建立基于可变脉宽vpw(variablepulsewidth)函数的近似psf模糊核模型，vpw函数的公式为：f(t)＝fs(t) fa(t),t∈[0,t)(6)其中这里fs(t)和fa(t)分别表示vpw函数f(t)的对称部分和非对称部分，vpw函数由a、d、t′、r四个参数确定退化过程，而高斯模型和sinc模型仅由一个参数σ来决定图像模糊的平滑程度；vpw函数模型具有更高的灵活性和更广的适用范围以及更能考虑到与实际模糊过程的近似误差；参数选取：根据光学系统本身带有的成像中心点像素值高，周围成像点像素值扩散降低的特点选择合适的脉宽r、脉冲时延t′；根据图像退化模型要在形态上近似实际点成像的特点选择合适的幅值a和b；步骤四：建立vpw估计模型：利用上述步骤三的vpw函数构造公式(6)，以及根据光学系统的物理特性选取a、d、t′、r这四个参数的取值，以此建立基于vpw函数的近似psf模糊核模型，公式如下：f(x,y)＝f(x)·f(y)(9)其中，x和为整数，分别代表图像矩阵中行和列的索引值，其取值范围由接下来的步骤五中的模糊矩阵大小决定；步骤五：利用上述步骤建立的基于vpw函数的近似psf模糊核模型，进而构造相应的3×3的psf卷积核h，构造方法如下：在生成一个3×3的矩阵后将每个网格的坐标值作为vpw函数模型f(x,y)的坐标值，计算每点的权重并进行元素值的归一化处理后生成最终的3×3的psf卷积核h，依据卷积定理生成模糊矩阵；步骤六：对选取的图像进行双三次插值构成高分辨率的一个初始估计x0，对于超分辨图像重建问题，选用梯度下降法迭代的方式来求解，根据实际情况设定迭代次数、迭代步长λ、正则化参数α、正则化算子γ、下采样因子s，其中，λ为迭代步长，实际实验中可根据迭代次数、重建效果等因素来确定；较大α值的会减弱图像中的高频部分，导致的图像过于平滑；较小α值会比较完整地保留图像的细节信息，但噪声也会被保留下来，γ通常被设置成具有高通滤波特性的算子；步骤七：根据序列低分辨图像lr、配准参数fk、vpw模糊矩阵b、下采样因子s生成高分辨率图像的迭代误差生成公式如下：步骤八：根据正则化参数α、正则化算子γ、上次迭代的高分辨图像的估计xn生成正则化约束项u，用于约束最终的估计值，使其满足先验概率特性，生成公式如下：u＝αγtγxn(11)其中正则化正则化参数α设定为一个常数或者设定成随着迭代次数的改变而改变的一种自适应系数；步骤九：将上述步骤七和步骤八的计算结果代入公式(12)和(13)开始迭代重建，输出最终高分辨率图像xn 1：xn 1＝xn-λ{w u}(13)。进一步，利用形态上近似以及光学成像的特点vpw模型参数设置的范围为t∈[1,10]，a∈[-10,10]，b∈[-10,10]，t′∈[0,10]。再进一步，正则化参数α取值范围为[0,5]，迭代步长λ取值范围为[0,10]。本发明的有益效果主要表现在：在图像超分辨重建处理中，以vpw模型来近似图像退化的点扩散函数，用于图像的超分辨重建算法当中。由于高斯型psf是无法十分逼近真实的模糊过程，同时从光学系统衍射的形态上近似考虑，选择vpw模型更具广泛的适应性，相较于高斯模型而言，采用四个参量来具体描述客观的模糊过程会更加逼近于模糊的实际情况，通过理论分析及实验结果得到，该模型用于去模糊算法中，提高了图像重建的效果。附图说明图1是vpw的psf模型示意图。图2是模糊核的构造方法的过程图。图3是原始图像和低分辨图像。图4是4sinc模型复原。图5是高斯模型复原。图6是本发明图像复原。具体实施方式下面结合附图对本发明作进一步描述。参照图1～图6，一种洛伦兹拟合模糊核的图像超分辨重建方法，包括以下步骤：步骤一：去噪预处理，对由于光学系统自身的不适应性导致退化的低分辩图像序列gk∈rm×n进行去噪预处理，其中k为图像序列的个数，对于实际光学系统的退化图像，选择最佳陷波滤波器去噪的效果较好；步骤二：从序列低分辨率图像中选取一帧g0作为参考帧，利用菱形搜索法或光流法对序列中其他低分辩图像gl进行配准得到亚像素配准参数fk，l＝1…k-1；步骤三：退化psf的估计模型：根据构造公式建立基于可变脉宽vpw(variablepulsewidth)函数的近似psf模糊核模型，vpw函数的公式为：f(t)＝fs(t) fa(t),t∈[0,t)(6)其中这里fs(t)和fa(t)分别表示vpw函数f(t)的对称部分和非对称部分，显然，vpw函数可由a、d、t′、r四个参数确定退化过程，利用形态上近似以及光学成像的特点vpw模型参数设置的范围为t∈[1,10]，a∈[-10,10]，b∈[-10,10]，t′∈[0,10]；而高斯模型和sinc模型仅由一个参数σ来决定图像模糊的平滑程度，相比较而言，vpw函数模型具有更高的灵活性和更广的适用范围以及更能考虑到与实际模糊过程的近似误差；参数选取：根据光学系统本身带有的成像中心点像素值高，周围成像点像素值扩散降低的特点选择合适的脉宽r、脉冲时延t′；根据图像退化模型要在形态上近似实际点成像的特点选择合适的幅值a和b；步骤四：建立vpw估计模型：利用上述步骤三的vpw函数构造公式(6)，以及根据光学系统的物理特性选取a、d、t′、r这四个参数的取值，以此建立基于vpw函数的近似psf模糊核模型，公式如下：f(x,y)＝f(x)·f(y)(9)其中，x和y为整数，分别代表图像矩阵中行和列的索引值，其取值范围由接下来的步骤五中的模糊矩阵大小决定；图1为利用参数a＝2，d＝0.3，t^'＝0，r＝0.4而建立的vpw模型的二维表示。.步骤五：利用上述步骤建立的基于vpw函数的近似psf模糊核模型，进而构造相应的3×3的psf卷积核h，构造方法如下：在生成一个3×3的矩阵后将每个网格的坐标值作为vpw函数模型f(x,y)的坐标值，计算每点的权重并进行元素值的归一化处理后生成最终的3×3的psf卷积核h，依据卷积定理生成模糊矩阵；步骤六：对选取的图像进行双三次插值构成高分辨率的一个初始估计x0，对于超分辨图像重建问题，选用梯度下降法迭代的方式来求解，根据实际情况设定迭代次数、迭代步长λ、正则化参数α、正则化算子γ、下采样因子s，其中，λ为迭代步长，实际实验中可根据迭代次数、重建效果等因素来确定；较大α值的会减弱图像中的高频部分，导致的图像过于平滑；较小α值会比较完整地保留图像的细节信息，但噪声也会被保留下来，γ通常被设置成具有高通滤波特性的算子；正则化参数α取值范围为[0,5]，迭代步长λ取值范围为[0,10]；步骤七：根据序列低分辨图像lr、配准参数fk、vpw模糊矩阵b、下采样因子s生成高分辨率图像的迭代误差生成公式如下：步骤八：根据正则化参数α、正则化算子γ、上次迭代的高分辨图像的估计xn生成正则化约束项u，用于约束最终的估计值，使其满足先验概率特性，生成公式如下：u＝αγtγxn(11)其中正则化正则化参数α可以设定为一个常数，也可以设定成随着迭代次数的改变而改变的一种自适应系数。步骤九：将上述步骤七和步骤八的计算结果代入公式(12)和(13)开始迭代重建，输出最终高分辨率图像xn 1；xn 1＝xn-λ{w u}(13)。本实施例针对图像超分辨过程中现有的点扩散函数形式无法有效近似实际退化过程，即与实际退化函数模型有着较大的近似误差，直接影响了超分辨重建的最终效果。提出一种洛伦兹拟合模糊核的图像超分辨重建算法。该方法充分考虑实际退化所形成的模糊效应，采用洛伦兹函数的线性组合对实际退化所造成的模糊效应进行建模，并以最小均方误差为准则对图像进行超分辨重建。为了验证本发明方法的性能，进行了计算机仿真实验。实验采用的是模糊数据集ha下的俩幅具有实际光学离焦模糊的拍摄图像，大小为256×256。在实验中选用高斯模型、sinc模型以及vpw模型用于正则化图像超分辨算法来重建图像，并根据重建效果进行比较。在实验中引入峰值信噪比(psnr)和图像的结构相似性(ssim)作为图像重建的评价指标。图3-6分别为原始图像、低分辨图像以及采用不同psf模型的重建仿真的结果图，从图中可以看出，基于vpw模型的复原图像质量和视觉效果要优于sinc模型和高斯模型的结果图。为了定量的进行客观比较，表1为各个模型复原结果的psnr和ssim的数值对比结果。复原方法psnrssimsinc模型复原24.45360.9497高斯模型复原34.15960.9832本发明方法35.69470.9912表1。本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。当前第1页1 2 3
技术特征：1.一种洛伦兹拟合模糊核的图像超分辨重建方法，其特征在于，所述方法包括以下步骤：
步骤一：去噪预处理，对由于光学系统自身的不适应性导致退化的低分辩图像序列gk∈rm×n进行去噪预处理，其中k为图像序列的个数；
步骤二：从序列低分辨率图像中选取一帧g0作为参考帧，利用菱形搜索法或光流法对序列中其他低分辩图像gl进行配准得到亚像素配准参数fk，l＝1…k-1；
步骤三：退化psf的估计模型：根据构造公式建立基于可变脉宽vpw函数的近似psf模糊核模型，vpw函数的公式为：
f(t)＝fs(t) fa(t)，t∈[0，t)(6)
其中
这里fs(t)和fa(t)分别表示vpw函数f(t)的对称部分和非对称部分，vpw函数由a、d、t′、r四个参数确定退化过程；
参数选取：根据光学系统本身带有的成像中心点像素值高，周围成像点像素值扩散降低的特点选择脉宽r、脉冲时延t′；根据图像退化模型要在形态上近似实际点成像的特点选择幅值a和b；
步骤四：建立vpw估计模型：利用上述步骤三的vpw函数构造公式(6)，以及根据光学系统的物理特性选取a、d、t′、r这四个参数的取值，以此建立基于vpw函数的近似psf模糊核模型，公式如下：
f(x，y)＝f(x)·f(y)(9)
其中，x和y为整数，分别代表图像矩阵中行和列的索引值，其取值范围由接下来的步骤五中的模糊矩阵大小决定；
步骤五：利用步骤五建立的基于vpw函数的近似psf模糊核模型，进而构造相应的3×3的psf卷积核h，构造方法如下：在生成一个3×3的矩阵后将每个网格的坐标值作为vpw函数模型f(x，y)的坐标值，计算每点的权重并进行元素值的归一化处理后生成最终的3×3的psf卷积核h，依据卷积定理生成模糊矩阵；
步骤六：对选取的图像进行双三次插值构成高分辨率的一个初始估计x0，对于超分辨图像重建问题，选用梯度下降法迭代的方式来求解，设定迭代次数、迭代步长λ、正则化参数α、正则化算子γ、下采样因子s；
步骤七：根据序列低分辨图像lr、配准参数fk、vpw模糊矩阵b、下采样因子s生成高分辨率图像的迭代误差生成公式如下：
步骤八：根据正则化参数α、正则化算子γ、上次迭代的高分辨图像的估计xn生成正则化约束项u，用于约束最终的估计值，使其满足先验概率特性，生成公式如下：
u＝αγtγxn(11)
其中正则化正则化参数α设定为一个常数或者设定成随着迭代次数的改变而改变的一种自适应系数；
步骤九：将上述步骤七和步骤八的计算结果代入公式(12)和(13)开始迭代重建，输出最终高分辨率图像xn 1：
xn 1＝xn-λ{w u}(13)。
2.如权利要求1所述的一种洛伦兹拟合模糊核的图像超分辨重建方法，其特征在于，利用形态上近似以及光学成像的特点vpw模型参数设置的范围为t∈[1，10]，a∈[-10，10]，b∈[-10，10]，t′∈[0，10]。
3.如权利要求1或2所述的一种洛伦兹拟合模糊核的图像超分辨重建方法，其特征在于，正则化参数α取值范围为[0，5]，迭代步长λ取值范围为[0，10]。
技术总结一种洛伦兹拟合模糊核的图像超分辨重建方法，针对图像超分辨过程中现有的点扩散函数形式无法有效近似实际退化过程，即与实际退化函数模型有着较大的近似误差，直接影响了超分辨重建的最终效果。该方法充分考虑实际退化所形成的模糊效应，采用洛伦兹函数的线性组合对实际退化所造成的模糊效应进行建模，并以最小均方误差为准则对图像进行超分辨重建。本发明采用四个参量来具体描述客观的模糊过程会更加逼近于模糊的实际情况，通过理论分析及实验结果得到，该模型用于去模糊算法中，提高了图像重建的效果。
技术研发人员：黄国兴;刘艺鹏;卢为党;彭宏
受保护的技术使用者：浙江工业大学
技术研发日：2020.11.27
技术公布日：2021.03.12
