本发明涉及视频图像增强领域,特别是指一种基于人眼感知特性的多图融合增强方法。
背景技术:
直方图均衡(he)是一种通过统计特性对图像灰度级进行亮度调节的增强算法。但此方法统计了全图的灰度信息,较小的数据会因为累计在一起而丢失细节纹理,较大的数据会因为过度增强而造成观察不利。所以后来有人提出对比度受限的直方图均衡(clahe),这是一种基于块来统计直方图,并对较大的数据进行一定程度的限制,最后通过双线性插值的方式消除块与块之间明显的痕迹。这种方法虽然对局部有明显的改善,但是块效应现象依然存在,并且基于块的统计大大增加了方法的计算复杂度。
技术实现要素:
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种基于人眼感知特性的多图融合增强方法,使用人眼最小可觉察误差曲线,更好的模拟人眼视觉特性。在有效增强局部细节纹理的同时,大大降低了计算复杂度。
本发明采用如下技术方案:
一种基于人眼感知特性的多图融合增强方法,其特征在于,包含如下步骤:
提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist;
两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2;
根据截断后的直方图hist2自适应生成gamma并对直方图hist2中小于1的数据进行保护校正处理,得到更新后的hist2’;
将hist1和hist2’分别进行均衡化处理,依次得到映射曲线t1和t2,并将原亮度图经由这两条映射曲线映射,得到增强图i1和i2;
根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o。
具体地,所述提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist中,具体为:
预处理公式为:i=(i0-imin)/(imax-imin)*(lmax-lmin) lmin;
其中:imin、imax分别为输入图像亮度图i0的最小灰度值和最大灰度值,lmin、lmax为统计直方图范围的最小灰度值和最大灰度值;
具体地,所述提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist中,具体为:
均值归一化公式为:hist=hist0/sum(hist0)*l;
其中:hist0为原始统计亮度图的直方图,sum为求和操作,l为原始直方图非零灰度级的数目。
具体地,所述两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2中,具体为:
所述最小可觉察误差曲线曲线的表达式为:
当0≤k≤127时,jnd(k)=17*(1-(k/127)0.5) 3,
当127<k≤255时,jnd(k)=3/128*(k-127) 3;
其中,k为灰度值。
具体地,所述两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2中,具体为:
所述曲线jnd1和jnd2的表达式为:
jnd1=(jnd-3)*0.75 2;
jnd2=(jnd1-2)/4 1。
具体地,所述两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2中,具体为:
所述截断后的直方图hist1和hist2的表达式为:
hist1=min(hist,jnd1);
hist2=min(hist,jnd2)。
具体地,所述步骤根据截断后的直方图hist2自适应生成gamma并对直方图hist2中小于1的数据进行保护校正处理,得到更新后的hist2’,具体为:
所述gamma的计算公式为:gamma=sum(hist_small)/(lmax-lmin 1)*2,
其中hist_small为hist中小于1的那部分数据;
更新后的hist2’的计算公式为:hist2’=hist2^gamma。
具体地,所述步骤将hist1和hist2’分别进行均衡化处理,依次得到映射曲线t1和t2,并将原亮度图经由这两条映射曲线映射,得到增强图i1和i2中,具体为:
所述映射曲线t1和t2由直方图hist1和hist2’经过均衡原理得到,增强图i1和i2的映射表达式为:i1=t1(i),i2=t2(i)。
具体地,所述根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o中,具体为:
权重图w1计算公式为:w1=1-i1/lmax;
w=(min(w1,1-w1))^0.75。
具体地,所述根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o中,具体为:
所述融合处理的计算公式为:o=w*i1 (1-w)*i2。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
(1)本发明提出一种基于人眼感知特性的多图融合增强方法,提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist;两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2;根据截断后的直方图hist2自适应生成gamma并对直方图hist2中小于1的数据进行保护校正处理,得到更新后的hist2’;将hist1和hist2’分别进行均衡化处理,依次得到映射曲线t1和t2,并将原亮度图经由这两条映射曲线映射,得到增强图i1和i2;根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o;本发明提出的基于人眼视觉特性的多图融合增强方法克服经典方法的缺陷,使用人眼最小可觉察误差曲线,更好的模拟人眼视觉特性,达到图像视频的适宜增强,并以全局不同程度的增强进行融合的方式来达到局部细节纹理增强的效果,在有效增强局部细节纹理的同时,大大降低了计算复杂度,使得方法更具有实时性,适合产品化。
附图说明
以下结合附图和具体实施例对本发明作进一步详述。
图1为本发明提供的全局直方图均衡的图像增强方法实现的整体流程图;
图2为本发明方法实施的效果对比图,其中图2(a)为原图,图2(b)为利用本发明方法进行图像增强的效果图。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
如图1所示流程图,一种基于人眼感知特性的多图融合增强方法,包含如下步骤:
s1:提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist;
具体地,所述提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist中,具体为:
预处理公式为:i=(i0-imin)/(imax-imin)*(lmax-lmin) lmin;
其中:imin、imax分别为输入图像亮度图i0的最小灰度值和最大灰度值,lmin、lmax为统计直方图范围的最小灰度值和最大灰度值;
具体地,所述提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist中,具体为:
均值归一化公式为:hist=hist0/sum(hist0)*l;
其中:hist0为原始统计亮度图的直方图,sum为求和操作,l为原始直方图非零灰度级的数目。
s2:两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2;
具体地,所述两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2中,具体为:
所述最小可觉察误差曲线曲线的表达式为:
当0≤k≤127时,jnd(k)=17*(1-(k/127)0.5) 3,
当127<k≤255时,jnd(k)=3/128*(k-127) 3;
其中,k为灰度值。
具体地,所述两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2中,具体为:
所述曲线jnd1和jnd2的表达式为:
jnd1=(jnd-3)*0.75 2;
jnd2=(jnd1-2)/4 1。
具体地,所述两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2中,具体为:
所述截断后的直方图hist1和hist2的表达式为:
hist1=min(hist,jnd1);
hist2=min(hist,jnd2)。
s3:根据截断后的直方图hist2自适应生成gamma并对直方图hist2中小于1的数据进行保护校正处理,得到更新后的hist2’;
具体地,所述步骤根据截断较多部分的直方图hist2自适应生成gamma并对直方图hist2中小于1的数据进行保护校正处理,得到更新后的hist2’,具体为:
所述gamma的计算公式为:gamma=sum(hist_small)/(lmax-lmin 1)*2,
其中hist_small为hist中小于1的那部分数据;
更新后的hist2’的计算公式为:hist2’=hist2^gamma。
s4:将hist1和hist2’分别进行均衡化处理,依次得到映射曲线t1和t2,并将原亮度图经由这两条映射曲线映射,得到增强图i1和i2;
具体地,所述步骤将hist1和hist2’分别进行均衡化处理,依次得到映射曲线t1和t2,并将原亮度图经由这两条映射曲线映射,得到增强图i1和i2中,具体为:
所述映射曲线t1和t2由直方图hist1和hist2’经过均衡原理得到,增强图i1和i2的映射表达式为:i1=t1(i),i2=t2(i)。
s5:根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o。
具体地,所述根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o中,具体为:
权重图w1计算公式为:w1=1-i1/lmax;
w=(min(w1,1-w1))^0.75。
具体地,所述根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o中,具体为:
所述融合处理的计算公式为:o=w*i1 (1-w)*i2。
本发明实施例实验图像的增强效果见图2,其中图2(a)为原图,图2(b)为增强结果图。从增强前后对比不难看出,本发明提供的是一种基于人眼感知特性的多图融合增强方法,合理利用人眼最小可觉察误差,进行不同程度的全局增强,最后加以融合来达到局部处理的效果,并且降低了计算复杂度。
(1)本发明提出一种基于人眼感知特性的多图融合增强方法,提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist;两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2;根据截断后的直方图hist2自适应生成gamma并对直方图hist2中小于1的数据进行保护校正处理,得到更新后的hist2’;将hist1和hist2’分别进行均衡化处理,依次得到映射曲线t1和t2,并将原亮度图经由这两条映射曲线映射,得到增强图i1和i2;根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o;本发明提出的基于人眼视觉特性的多图融合增强方法克服经典方法的缺陷,使用人眼最小可觉察误差曲线,更好的模拟人眼视觉特性,达到图像视频的适宜增强,并以全局不同程度的增强进行融合的方式来达到局部细节纹理增强的效果,在有效增强局部细节纹理的同时,大大降低了计算复杂度,使得方法更具有实时性,适合产品化。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
1.一种基于人眼感知特性的多图融合增强方法,其特征在于,包含如下步骤:
提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist;
两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2;
根据截断后的直方图hist2自适应生成gamma并对直方图hist2中小于1的数据进行保护校正处理,得到更新后的hist2’;
将hist1和hist2’分别进行均衡化处理,依次得到映射曲线t1和t2,并将亮度图经由这两条映射曲线映射,得到增强图i1和i2;
根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o。
2.如权利要求1所述的一种基于人眼感知特性的多图融合增强方法,其特征在于,所述提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist中,具体为:
预处理公式为:i=(i0-imin)/(imax-imin)*(lmax-lmin) lmin;
其中:imin、imax分别为输入图像亮度图i0的最小灰度值和最大灰度值,lmin、lmax为统计直方图范围的最小灰度值和最大灰度值。
3.如权利要求1所述的一种基于人眼感知特性的多图融合增强方法,其特征在于,所述提取输入图像亮度图i0,进行线性拉伸预处理得到预处理图i,统计预处理图i的灰度级直方图并将其均值归一化得到hist中,具体为:
均值归一化公式为:hist=hist0/sum(hist0)*l;
其中:hist0为原始统计亮度图的直方图,sum为求和操作,l为原始直方图非零灰度级的数目。
4.如权利要求1所述的一种基于人眼感知特性的多图融合增强方法,其特征在于,所述两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2中,具体为:
所述最小可觉察误差曲线曲线的表达式为:
当0≤k≤127时,jnd(k)=17*(1-(k/127)0.5) 3,
当127<k≤255时,jnd(k)=3/128*(k-127) 3;
其中,k为灰度值。
5.如权利要求4所述的一种基于人眼感知特性的多图融合增强方法,其特征在于,所述两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2中,具体为:
所述曲线jnd1和jnd2的表达式为:
jnd1=(jnd-3)*0.75 2;
jnd2=(jnd1-2)/4 1。
6.如权利要求5所述的一种基于人眼感知特性的多图融合增强方法,其特征在于,所述两次调整最小可觉察误差曲线得到曲线jnd1和jnd2,并以曲线jnd1和jnd2作为截断曲线对hist进行截断操作,分别得到截断后的直方图hist1和hist2中,具体为:
所述截断后的直方图hist1和hist2的表达式为:
hist1=min(hist,jnd1);
hist2=min(hist,jnd2)。
7.如权利要求2所述的一种基于人眼感知特性的多图融合增强方法,其特征在于,所述步骤根据截断后的直方图hist2自适应生成gamma并对直方图hist2中小于1的数据进行保护校正处理,得到更新后的hist2’,具体为:
所述gamma的计算公式为:gamma=sum(hist_small)/(lmax-lmin 1)*2,
其中hist_small为hist中小于1的那部分数据;
更新后的hist2’的计算公式为:hist2’=hist2^gamma。
8.如权利要求1所述的一种基于人眼感知特性的多图融合增强方法,其特征在于,所述步骤将hist1和hist2’分别进行均衡化处理,依次得到映射曲线t1和t2,并将原亮度图经由这两条映射曲线映射,得到增强图i1和i2中,具体为:
所述映射曲线t1和t2由直方图hist1和hist2’经过均衡原理得到,增强图i1和i2的映射表达式为:i1=t1(i),i2=t2(i)。
9.如权利要求1所述的一种基于人眼感知特性的多图融合增强方法,其特征在于,所述根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o中,具体为:
权重图w1计算公式为:w1=1-i1/lmax;
w=(min(w1,1-w1))^0.75。
10.如权利要求1所述的一种基于人眼感知特性的多图融合增强方法,其特征在于,所述根据i1图提取权重图w1,根据权重图w1获取增强图的权重,将增强图i1和i2根据权重进行融合处理,得到最终的增强结果图o中,具体为:
所述融合处理的计算公式为:o=w*i1 (1-w)*i2。
技术总结