(本申请是申请日为2016年3月10日、申请号为2016800129522、发明名称为“图像处理方法、图像处理装置和摄像设备”的申请的分案申请。)
本发明涉及针对通过摄像元件所获取到的与多个视点相对应的多个视点图像的图像处理。
背景技术：
通过摄像设备所进行的一种焦点检测方法是使用摄像元件中所形成的焦点检测像素来进行作为相位差方式的焦点检测的摄像面相位差方法。专利文献1所公开的摄像设备针对一个像素使用单个微透镜和形成被分割成多个部分的光电转换单元的二维摄像元件。被分割成多个部分的光电转换单元被配置成通过单个微透镜接收摄像镜头的不同出射光瞳的区域的光，并且进行光瞳分割。通过生成根据被分割成多个部分的光电转换单元分别接收到的光所获得的视点信号、根据多个视点信号之间的视差计算图像偏移量、并且将该结果转换成散焦量，来进行作为摄像面相位差方式的焦点检测。专利文献2公开了用于通过将由被分割成多个部分的光电转换单元所接收到的多个视点信号相加来生成摄像信号的方法。
与所拍摄图像有关的多个视点信号与光场数据等效，其中光场数据是与光强度的空间分布和角度分布有关的信息。非专利文献1公开了一种再聚焦技术，该再聚焦技术利用所获取到的光场数据来对与摄像面不同的虚拟成像面上的图像进行合成，并且在拍摄之后改变图像的聚焦位置。
引用文献列表
专利文献
专利文献1：美国专利4410804
专利文献2：日本特开2001-083407
非专利文献
siggraph‘00proceedingsofthe27thannualconferrenceoncomputergraphicsandinteractivetechniques,p297-306(2000)
然而，在拍摄具有显著差异的散焦状态和空间频率配置的多个被摄体图像的区域中，可能导致远近冲突和遮挡，并且在该区域中进行再聚焦处理中的诸如锐化和平滑化等的图像处理的情况下，图像质量可能降低。
本发明使得能够在成功保持图像质量的同时进行图像处理。
技术实现要素：
本发明的一个实施例提供一种图像处理方法，所述图像处理方法包括：获取多个视点图像；根据所述多个视点图像来生成对比度分布；以及通过针对基于所述多个视点图像的图像进行与所述对比度分布相对应的图像处理，来生成输出图像。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是示意性示出适用于根据本发明的第一实施例的图像处理方法的摄像设备的结构的图。
图2是示意性示出本发明的第一实施例的像素阵列的图。
图3a示出本发明的第一实施例的像素的示意性平面图(a)。
图3b示出本发明的第一实施例的像素的示意性截面图(b)。
图4是示意性示出本发明的第一实施例的像素和光瞳分割的图。
图5a是示出本发明的第一实施例的像素内的典型光强度分布的图。
图5b是示出本发明的第一实施例的像素内的典型光强度分布的图。
图6是示出本发明的第一实施例的光瞳强度分布的图。
图7是示意性示出本发明的第一实施例的摄像元件和光瞳分割的图。
图8是示意性示出本发明的第一实施例的第一视点图像和第二视点图像的散焦量与第一视点图像和第二视点图像的图像偏移量之间的关系的图。
图9是示出本发明的第一实施例的再聚焦处理的典型流程图的图。
图10a是示出本发明的第一实施例中的由于第一视点图像和第二视点图像之间的光瞳偏移所引起的阴影的图。
图10b是示出本发明的第一实施例中的由于第一视点图像和第二视点图像之间的光瞳偏移所引起的阴影的图。
图10c是示出本发明的第一实施例中的由于第一视点图像和第二视点图像之间的光瞳偏移所引起的阴影的图。
图11是示出本发明的第一实施例中的图像的图。
图12是示出本发明的第一实施例中的图像的图像对比度分布的图。
图13是示出本发明的第一实施例中的第一视点图像的第一视点对比度分布的图。
图14是示出本发明的第一实施例中的第二视点图像的第二视点对比度分布的图。
图15a是示意性示出本发明的第一实施例中的视点图像之间的视差和远近冲突的关系的图。
图15b是示意性示出本发明的第一实施例中的视点图像之间的视差和远近冲突的关系的图。
图15c是示意性示出本发明的第一实施例中的视点图像之间的视差和远近冲突的关系的图。
图16是示出本发明的第一实施例中的第一视点图像和第二视点图像之间的对比度差量分布的图。
图17是示出本发明的第一实施例中的根据图像、第一视点图像和第二视点图像所生成的对比度分布的图。
图18是示出本发明的第一实施例中的第一视点图像和第二视点图像的图像偏移量分布的图。
图19是示出本发明的第一实施例中的与预定偏移量的图像偏移差量分布的图。
图20是示出本发明的第一实施例中的用于锐化视点图像之间的视差的典型处理(串扰校正)的图。
图21是示意性示出本发明的第一实施例中的通过偏移合成处理的再聚焦的图。
图22是示意性示出本发明的第一实施例中的通过偏移合成处理的可再聚焦范围的图。
图23a示出在现有技术中、在锐化之前通过第一视点图像和第二视点图像的偏移合成处理的典型再聚焦图像。
图23b示出本发明的第一实施例中、在锐化之后通过第一修正视点图像和第二修正视点图像的偏移合成处理的典型再聚焦图像。
图24a示出本发明的第一实施例中的典型图像。
图24b示出本发明的第一实施例中的再聚焦图像。
图25是示出本发明的第二实施例中的饱和度处理的典型流程图的图。
图26是示意性示出本发明的第三实施例的像素阵列的图。
图27a示出本发明的第三实施例的示意性平面图。
图27b示出本发明的第三实施例的示意性截面图。
具体实施方式
下面将参考附图来详细说明本发明的优选实施例。在下面的实施例中，将说明应用于诸如数字照相机等的摄像设备的实施例，然而，本发明的实施例可广泛应用于执行根据本发明的图像处理方法的图像处理装置和电子设备等。
第一实施例
下面，将说明作为适用于根据本发明第一实施例的图像处理方法的摄像设备的照相机的整体结构。
图1是示出根据本发明典型实施例的具有摄像元件的摄像设备的典型结构的框图。配置在摄像光学系统(聚焦光学系统)前端的第一透镜组101以在镜筒中的光轴方向上可伸缩的方式被保持。光圈快门102调节其开口直径以调节拍摄时的光量。光圈快门102还用作用于调节拍摄静止图像时的曝光时间的快门。光圈快门102和第二透镜组103沿光轴方向一起进退，以与第一透镜组101的往复操作连动地实现变倍操作(变焦功能)。第三透镜组105是用于通过在光轴方向上进退来进行调焦的调焦透镜。光学低通滤波器106是用于降低拍摄图像的伪色或者摩尔纹的光学元件。摄像元件107例如包括二维cmos(互补金属氧化物半导体)光传感器及其周围电路，并且被配置在摄像光学系统的成像面上。
变焦致动器111通过转动凸轮筒(未示出)以使得第一透镜组101和第二透镜组103沿光轴方向移动来进行变倍操作。光圈/快门致动器112控制光圈快门102的开口直径以调节拍摄时的光量，并且还控制拍摄静止图像时的曝光时间。调焦致动器114通过沿光轴方向移动第三透镜组105来进行焦点调节操作。
电子闪光灯115用于在拍摄时照射被摄体。电子闪光灯115优选为使用氙灯的闪光照明装置，但是还可以是具有连续发光led(发光二极管)的照明装置。af(自动调焦)辅助光源116经由投影透镜将具有预定开口图案的掩模的图像投影至视场，由此提高用于低亮度被摄体或者低对比度被摄体的焦点检测能力。
构成照相机主体的控制单元的cpu(中央处理单元)121具有执行各种类型的控制的中央控制功能。cpu121包括运算单元、rom(只读存储器)、ram(随机存取存储器)、a(模拟)/d(数字)转换器、d/a转换器和通信接口电路等。cpu121基于存储在rom中的预定程序来驱动照相机中内置的各种电路，以执行包括af控制、拍摄处理、图像处理和记录处理等的一系列操作。另外，cpu121具有作为根据本发明的数据的生成单元的功能，换句话说，具有作为视点图像生成单元、拍摄图像生成单元、对比度分布生成单元、图像偏移量分布生成单元和输出图像生成单元的功能。
电子闪光灯控制电路122根据cpu121的控制命令，与拍摄操作同步控制电子闪光灯115的on(接通)操作。辅助光源驱动电路123根据cpu121的控制命令，与焦点检测操作同步控制af辅助光源单元116的on操作。摄像元件驱动电路124控制摄像元件107的摄像操作，对所获取到的摄像信号进行a/d转换，并且将数字数据发送给cpu121。根据cpu121的控制命令，图像处理电路125对摄像元件107所获得的图像进行诸如伽马转换、颜色插值和jpeg(联合图像专家组)压缩等的处理。
调焦驱动电路126根据cpu121的控制命令，基于焦点检测结果来驱动调焦致动器114，并且沿光轴方向移动第三透镜组105，由此调节焦点。光圈/快门驱动电路128根据cpu121的控制命令，来驱动光圈/快门致动器112，由此控制光圈快门102的开口直径。变焦驱动电路129根据cpu121的控制命令，基于拍摄者的变焦操作指示来驱动变焦致动器111。
显示单元131具有诸如lcd(液晶显示器)等的显示装置，并且显示与照相机的拍摄模式有关的信息、拍摄之前的预览图像、拍摄之后的确认图像和焦点检测时的聚焦状态显示图像等。操作单元132包括电源开关、释放(拍摄触发)开关、变焦操作开关、拍摄模式选择开关等作为操作开关，并且向cpu121输出操作指示信号。闪速存储器133是可从照相机主体移除并且存储拍摄图像数据等的存储介质。在本发明的实施例中，将多个视点图像及这多个视点图像在摄像元件107和图像处理电路125中被合成的合成图像，作为通过摄像元件107所拍摄的并且通过图像处理电路125处理的图像数据显示在显示单元131上并存储在闪速存储器133中。
摄像元件
图2示出本发明实施例的摄像元件的像素和子像素的阵列的示意图。在图2中，x方向设置在左右方向上，y方向设置在垂直方向上，以及z方向设置在与x方向和y方向两者垂直(与页面平面垂直)的方向上。在图2中，x方向设置在左右方向(水平方向)上，y方向(垂直方向)设置在垂直方向上，以及z方向(光轴方向)设置在与x方向和y方向两者垂直的方向(与页面平面垂直的方向)上。在图2中，将本发明实施例中的二维cmos传感器(摄像元件)的像素(摄像像素)的阵列示出为4列×4行范围，并且将子像素的阵列示出为8列×4行范围。
在本发明的实施例中，在图2所示的2列×2行的像素组200中，具有第一颜色r(红色)的谱灵敏度的像素200r配置在左上位置，具有第二颜色g(绿色)的谱灵敏度的像素200g配置在右上和左下，以及具有第三颜色(蓝色)的谱灵敏度的像素200b配置在右下。此外，各像素由包括在x方向上被分割成两部分(nx分割)、并且在y方向上被分割成一个部分(ny分割)的第一子像素201和第二子像素202(第一子像素～第nlf子像素)的多个子像素组成，其中，分割数量为2(分割数量nlf＝nx×ny)。各子像素具有输出焦点检测信号的焦点检测像素的功能。
在图2的例子中，各自处于4列×4行范围内的多个像素(8列×4行范围内的子像素)被配置在表面上，使得可以获取在显示单元131的显示和闪速存储器133的存储等时所使用的图像(合成图像)、以及用于生成分割数量为2(nlf)的多个视点图像的输入图像。在本发明实施例的摄像元件中，像素周期p被设置为4μm(微米)，在5575列×3725行的范围内所设置的像素数量n约为20750000个像素。另外，子像素在行方向上的周期ps被设置为2μm，并且在11150列×3725行的范围内所设置的子像素数量ns约为41500000个像素。
图3a示出在从摄像元件的光接收面侧( z侧)观看时的平面图中、如图2所示的摄像元件107中的单个像素200g。将z轴设置在与图3a的页面平面垂直的方向上，并且将近侧定义为z轴的正方向。另外，将y轴设置在与z轴垂直的垂直方向上，将上侧设置为y轴的正方向，以及将x轴设置在与z轴和y轴两者垂直的左右方向上，并且将右侧设置为x轴的正方向。图3b示出从图3a的-y侧观看时沿a-a切割平面线的截面图。
如图3a和图3b所示，在像素200g中，形成用于在各像素的光接收面侧( z方向)会聚入射光的微透镜305。另外，形成由第一光电转换单元301和第二光电转换单元302(第一光电转换单元～第nlf光电转换单元)所构成的多个光电转换单元，其中，第一光电转换单元301和第二光电转换单元302(第一光电转换单元～第nlf光电转换单元)在x方向上被分割成两个部分(nx分割)、并且在y方向上被分割成一个部分(ny分割)，分割数量为2(nlf)。第一光电转换单元301和第二光电转换单元302(第一光电转换单元～第nlf光电转换单元)分别对应于第一子像素201和第二子像素202(第一子像素～第nlf子像素)。
第一光电转换单元301和第二光电转换单元302是相互独立的两个p-n结光电二极管，并且包括p型阱层300以及被分割成两部分的n型层301和n型层302。根据需要，可以形成为具有其间夹持本征层的pin结构的光电二极管的结构。在各像素中，在微透镜305与第一光电转换单元301和第二光电转换单元302之间形成颜色滤波器306。根据需要，针对各像素或光电转换单元等，可以改变颜色滤波器306的谱透过率，并且可以省略颜色滤波器。
入射至像素200g的光通过微透镜305而会聚，被颜色滤波器306分光，然后分别被第一光电转换单元301和第二光电转换单元302接收。在第一光电转换单元301和第二光电转换单元302中，根据所接收到的光量，通过成对方式生成电子和空穴(正空穴)，并且电子和空穴被耗尽层分离，之后将电子累积。与此相对，通过被连接至恒压源(未示出)的p型阱层，将空穴排出至摄像元件的外部。第一光电转换单元301和第二光电转换单元302中所累积的电子经由传输门而传输至电容单元(fd)，然后被转换成电压信号。
图4是示意性示出摄像元件107中的像素结构和光瞳分割之间的对应关系的图。图4示出沿图3a所示的像素结构中的a-a线所切割出的切割面作为从 y方向观看时的截面图、以及从-z方向上观看时的聚焦光学系统的出射光瞳面。在图4中，x轴和y轴的状态以将图3所示的x轴和y轴反转的方式示出，从而与出射光瞳平面的坐标轴相对应。
摄像元件107配置在摄像镜头(聚焦光学系统)的成像面附近，并且来自被摄体的光束穿过聚焦光学系统的出射光瞳400并入射至各像素。将配置摄像元件的面设置为摄像面。
被分割成2×1的第一部分光瞳区域501和第二部分光瞳区域502(被分割成nx×ny的第一部分光瞳区域～第nlf部分光瞳区域)通过微透镜而分别大体上与第一光电转换单元301和第二光电转换单元302(第一光电转换单元301～第nlf光电转换单元)的光接收面具有光学共轭关系，并且各区域是能够接收第一子像素201或者第二子像素202(第一子像素～第nlf子像素中的任一个)中的光的光瞳区域。第一子像素201的第一部分光瞳区域501偏向光瞳面的 x侧，并且第二子像素202的第二部分光瞳区域502偏向光瞳面的-x侧。
另外，光瞳区域500通过微透镜而大体上与将被分割成2×1的第一光电转换单元301和第二光电转换单元302(被分割成nx×ny的第一光电转换单元～第nlf光电转换单元)中的全部进行组合而得到的光接收面具有光学共轭关系，并且是能够接收第一子像素201和第二子像素202(第一子像素～第nlf子像素)中的全部进行组合而得到的像素200g上的全部光的光瞳区域。
图5a和5b示出在光入射至在各像素中所形成的微透镜时的光强度分布。图5a示出与微透镜的光轴平行的截面上的光强度分布。图5b示出在微透镜的焦点位置处与微透镜的光轴垂直的截面上的光强度分布。入射光通过微透镜而会聚至焦点位置。然而，由于由光的波动性质所引起的衍射的影响，会聚光斑的直径不能变得小于衍射极限δ，从而使得该直径是有限的。光电转换单元的光接收面的大小约为1～2μm，而微透镜的会聚光斑约为1μm。因此，由于衍射模糊，导致在图4中经由微透镜与光电转换单元的光接收面具有共轭关系的第一部分光瞳区域501和第二部分光瞳区域502中不能明确地进行光瞳分割，以生成依赖于光的入射角度的光接收率分布(光瞳强度分布)。
图6示出依赖于光的入射角度的典型光接收率分布(光瞳强度分布)。横轴表示光瞳坐标系，以及纵轴表示光接收率。图6中如实线所示的图形线l1表示沿图4中的第一部分光瞳区域501的x轴的光瞳强度分布。如图形线l1所示的光接收率从左端起急剧上升，达到峰值，然后逐渐下降，变化率变慢，并且l1到达右端。另外，图6中如虚线所示的的图形线l2表示沿第二部分光瞳区域502的x轴的光瞳强度分布。如图形线l2所示的光接收率从右端起急剧上升，达到峰值，然后逐渐下降，变化率变慢，并且l2到达左端。l1和l2的移动彼此相反(镜像)。如该图所示，应该理解光瞳分割是逐渐进行的。
图7示意性示出本发明实施例中的摄像元件和光瞳分割之间的对应关系。第一光电转换单元301和第二光电转换单元302(第一光电转换单元301～第nlf光电转换单元)分别对应于第一子像素201和第二子像素202(第一子像素～第nlf子像素)。在摄像元件的各像素中，被分割成2×1的第一子像素201和第二子像素202(被分割成nx×ny的第一子像素～第nlf子像素)，分别接收穿过聚焦光学系统中的第一部分光瞳区域501和第二部分光瞳区域502(第一部分光瞳区域～第nlf部分光瞳区域)的不同部分光瞳区域的光束。根据与通过各子像素所接收到的光相对应的信号，来获取表示光强度的空间分布和角度分布的lf数据(输入图像)。
从lf数据(输入数据)中选择来自被分割成2×1的第一子像素201和第二子像素202(被分割成nx×ny的第一子像素～第nlf子像素)中的特定子像素的信号，从而使得可以生成与第一部分光瞳区域501和第二部分光瞳区域502(第一部分光瞳区域～第nlf部分光瞳区域)中的特定部分光瞳区域相对应的视点图像。例如，可以通过选择来自第一子像素201的信号，来生成与聚焦光学系统中的第一部分光瞳区域501相对应的、并且具有与像素数量n相对应的分辨率的第一视点图像。
另外，可以通过对lf数据(输入图像)中的来自被分割成2×1的第一子像素201和第二子像素202(被分割成nx×ny的第一子像素～第nlf子像素)中的各像素的全部信号进行合成，来生成具有与像素数量n相对应的分辨率的图像。
如上所述，本发明实施例的摄像元件具有下面的结构：配置设置有用于接收穿过聚焦光学系统中的不同部分光瞳区域的光束的多个光电转换单元的多个像素，并且这多个像素可以获取lf数据(输入图像)。
散焦量和图像偏移量之间的关系
下面将说明根据通过根据本发明实施例的摄像元件获取到的lf数据(输入图像)所生成的第一视点图像和第二视点图像(第一视点图像～第nlf视点图像)之间的散焦量与第一视点图像和第二视点图像之间的图像偏移量之间的关系。
图8示意性示出第一视点图像和第二视点图像之间的散焦量与第一视点图像和第二视点图像之间的图像偏移量的关系。如图4和图7的情况那样，摄像元件(未示出)配置在摄像面600上，并且聚焦光学系统的出射光瞳被分割成两个部分，即，作为2×1的第一部分光瞳区域501和第二部分光瞳区域502。
在散焦量d中，从被摄体图像的成像位置到摄像面600的距离通过其大小|d|来表示。将散焦量d定义为使得：在被摄体图像的成像位置与摄像面600相比处于被摄体侧的前焦点状态下，散焦量d为负(d<0)，以及在被摄体图像的成像位置与前焦点状态的情况相反的后焦点状态下，散焦量d为正(d>0)。在被摄体图像的成像位置处于摄像面(聚焦位置)上的聚焦状态下，d为0(d＝0)。如图8所示的被摄体801的位置示出与聚焦状态(d＝0)相对应的位置，以及被摄体802的位置示出与前焦点状态(d<0)相对应的位置。下面，将前焦点状态(d<0)和后焦点状态(d>0)统称为“散焦状态(|d|>0)”。
在前焦点状态(d<0)下，在来自被摄体802的光中，穿过了第一部分光瞳区域501(或者第二部分光瞳区域502)的光束被临时会聚，然后以光束的中值中心的位置g1(或者g2)为中心、以宽度γ1(或者γ2)进行扩散。在这种情况下，在摄像面600上形成模糊图像。通过构成摄像元件中所配置的各像素单元的第一子像素201(或者第二子像素202)接收模糊图像，从而生成第一视点图像(或者第二视点图像)。因此，第一视点图像(或者第二视点图像)作为摄像面600上的中值中心的位置g1(或者g2)处的、具有宽度γ1(或者γ2)的被摄体图像(模糊图像)的图像数据而存储在存储器中。被摄体图像的宽度γ1(或者γ2)大体上与散焦量d的大小|d|的增大成比例地增大。同样，如果通过“p”表示第一视点图像和第二视点图像之间的被摄体图像的图像偏移量，则其大小|p|伴随着散焦量d的大小|d|的增大而增大。例如，将图像偏移量p定义为光束的中值中心的位置之间的差“g1-g2”，并且其大小|p|大体上与|d|的增大成比例地增大。在后焦点状态(d>0)下，尽管第一视点图像和第二视点图像之间的被摄体图像的图像偏移方向与前焦点状态下的情况相反，但是，大小|p|如上所述那样趋于增大。
因此，在本发明的实施例中，第一视点图像和第二视点图像之间的图像偏移量的大小伴随着第一视点图像和第二视点图像之间的散焦量的增大、或者将第一视点图像和第二视点图像相加而得到的图像的散焦量的减小而增大。
再聚焦处理和锐化/非锐化控制
在本发明的实施例中，通过使用第一视点图像和第二视点图像(第一视点图像～第nlf视点图像)之间的散焦量与第一视点图像和第二视点图像之间的图像偏移量之间的关系，来进行用于在摄像之后针对图像再次修正焦点位置的再聚焦处理。本发明的实施例进行再聚焦处理，其中，该再聚焦处理用于对通过使用第一视点图像和第二视点图像(第一视点图像～第nlfth视点图像)的偏移合成处理的再聚焦和如下的锐化/非锐化控制进行组合，该锐化/非锐化控制用于通过与图像偏移差量分布相对应的锐化和平滑化来自适应地控制具有高锐度的区域和具有高模糊度的区域。然而，上述说明并非意图限制根据本发明的实施例，因此，针对该图像，可以仅进行上述再聚焦处理和锐化/非锐化控制中的任一个。如果进行再聚焦处理和深度控制中的任一个，则可以在图9中省略根据另一处理的步骤。
下面将通过使用图9中的再聚焦处理和锐化/非锐化控制的流程的示意图，来说明用于在摄像之后根据通过本发明实施例的摄像元件所获取到的lf数据(输入图像)生成针对焦点位置和模糊感进行修正的处理图像(输出图像)的图像处理方法。图9中的处理是通过作为本发明实施例中的图像处理单元的cpu121和图像处理电路125来执行的。
第一实施例的多视点图像和图像
在图9的步骤s1中，根据通过本发明实施例的摄像元件所获取到的lf数据(输入图像)，针对聚焦光学系统中的不同部分光瞳区域中的各区域，生成多个视点图像，随后，根据将聚焦光学系统中的不同部分光瞳区域进行合成而得到的光瞳区域，来生成图像(合成图像)。
首先，在步骤s1中，输入通过本发明实施例的摄像元件所获取到的lf数据(输入图像)。可选地，可以使用通过本发明实施例的摄像元件先前拍摄的、并且存储在存储介质中的lf数据(输入图像)。
接着，在步骤s1中，针对聚焦光学系统中的不同部分光瞳区域中的各区域，生成第一视点图像和第二视点图像(或者第一视点图像～第nlf视点图像)。将lf数据(输入图像)设置为“lf”。另外，将lf的各像素信号中作为列方向上的第is(1≦is≦nx)个、并且行方向上的第js(1≦js≦ny)个的子像素信号设置为“k＝nx(js-1) is(1≦k≦nlf)”和第k子像素信号。通过下面的公式(1)，来生成第k个视点图像ik(j，i)，即，与聚焦光学系统中的第k个部分光瞳区域相对应的列方向上的第i列和行方向上的第j行。
公式1
本发明的实施例是在x方向上被分割成两部分的典型结构，其中，nx＝2，ny＝1，nlf＝2。从与图2所示的像素阵列相对应的lf数据(输入图像)中，针对各像素选择来自在x方向上被分割成两部分的第一子像素201和第二子像素202(被分割成nx×ny的第一子像素～第nlf子像素)中的特定子像素的信号，由此生成第一视点图像和第二视点图像(第一视点图像～第nlf视点图像)，其中，第一视点图像和第二视点图像(第一视点图像～第nlf视点图像)是与聚焦光学系统中的第一部分光瞳区域501和第二部分光瞳区域502(第一部分光瞳区域～第nlf部分光瞳区域)中的特定部分光瞳区域相对应的、并且具有与像素数量n相对应的分辨率的拜尔阵列的rgb信号。
这里，将说明由第一视点图像和第二视点图像(第一视点图像～第nlf视点图像)之间的光瞳偏移所引起的阴影。图10a～图10c示出在摄像元件的周围图像高度处、第一光电转换单元301接收光的第一部分光瞳区域501和第二光电转换单元302接收光的第二部分光瞳区域502与聚焦光学系统的出射光瞳400之间的关系。注意，以与图4所示相同的附图标记来示出与图4中的部分相同的部分。第一光电转换单元301和第二光电转换单元302(第一光电转换单元～第nlf光电转换单元)分别对应于第一子像素201和第二子像素202(第一子像素～第nlf子像素)。
图10a示出聚焦光学系统的出射光瞳距离d1与摄像元件的设置光瞳距离ds相同的情况。在这种情况下，聚焦光学系统的出射光瞳400大体上被均等地光瞳分割成第一部分光瞳区域501和第二部分光瞳区域502。与此相对，如图10b所示，如果聚焦光学系统的出射光瞳距离d1短于摄像元件的设置光瞳距离ds，则在摄像元件的周围图像高度处，在聚焦光学系统的出射光瞳和摄像元件的入射光瞳之间发生光瞳偏移，从而使得聚焦光学系统的出射光瞳400未被均等地光瞳分割。另外，如图10c所示，如果聚焦光学系统的出射光瞳距离d1长于摄像元件的设置光瞳距离ds，则在摄像元件的周围图像高度处，在聚焦光学系统的出射光瞳和摄像元件的入射光瞳之间发生光瞳偏移，从而使得聚焦光学系统的出射光瞳400未被均等地光瞳分割。在周围图像高度处发生不均等地光瞳分割的情况下，第一视点图像和第二视点图像的强度变得不均匀。因而，各rgb都产生阴影，从而使得第一视点图像和第二视点图像其中一个的强度变得相对大于另一个的强度。
根据需要，为了改善各视点图像的阴影，可以针对第一视点图像和第二视点图像(第一视点图像～第nlf视点图像)中的各视点图像，对各rgb都进行阴影校正处理(光学校正处理)。另外，根据需要，可以进行缺陷校正处理、饱和度处理和去马赛克处理等。
接着，在图9的步骤s1中，根据将聚焦光学系统中的不同部分光瞳区域进行合成而得到的光瞳区域，来生成图像(合成图像)。通过公式(2)生成作为列方向上的第i个、并且行方向上的第j个的图像i(j，i)。
公式2
本发明的实施例是在x方向上被分割成两部分的典型结构，其中，nx＝2、ny＝1，以及nlf＝2，并且本发明的实施例将来自在x方向上被分割成两部分的第一子像素201和第二子像素202(被分割成nx×ny的第一子像素～第nlf子像素)中的全部信号进行合成，并且生成作为具有与像素数量n相对应的分辨率的拜尔阵列的rgb信号的图像。根据需要，可以进行阴影校正处理、缺陷校正处理、饱和度处理和去马赛克处理等。在图11中，示出本发明实施例的去马赛克处理后的图像。人(玩偶)被配置在中间，并且在左侧，以从正面到背面的角度配置具有精细棋盘状图案的平板。
如上所述，在本发明的实施例中，在不同部分光瞳区域的各区域中，根据通过摄像元件所获取到的输入图像来生成多个视点图像，随后，根据对聚焦光学系统中的不同部分光瞳区域进行合成而得到的光瞳区域来生成图像，其中，在该摄像元件中，多个像素设置有用于接收穿过不同部分光瞳区域的光束的多个光电转换单元。然而，上述说明并非意图限制本实施例和其它实施例，因此，如果可以获取多个视点图像及其合成图像，则可以应用其它众所周知的技术。例如，如日本特开2011-22796那样，可以共同使用具有多个不同视点的照相机作为摄像元件107。另外，不同于图1中的光学系统，可以使用下面的结构：使得来自摄像光学系统的光束在微透镜阵列上聚焦，然后将摄像元件设置在其摄像面上以使得在被摄体表面和摄像元件之间具有共轭关系。此外，可以使用下面的结构：使得来自摄像光学系统的光束在微透镜阵列上再聚焦(由于使得曾被聚焦的处于扩散状态的光束聚焦，因而称为“再聚焦”)，并且将摄像元件设置在其摄像面上。另外，可以使用用于在摄像光学系统的光路中插入具有适当图案的掩模(增益调制元件)的方法。
第一实施例的对比度分布
在图9的步骤s2中，通过分别从本发明实施例的图像(合成图像)和多个视点图像中针对各区域提取空间频率的高频带成分，来生成对比度分布。根据视点图像之间的差，来调节本发明实施例的对比度分布。
在步骤s2中，首先，根据作为拜尔阵列的rgb信号的图像i(j，i)，针对各位置(j，i)匹配各颜色rgb的颜色重力，然后通过公式(3a)生成图像亮度信号y。另外，根据作为拜尔阵列的rgb信号的第k视点图像ik(k＝1～nlf)，通过公式(3b)生成第k视点亮度信号yk。
公式3
接着，在步骤s2中，通过使用公式(4a)，利用使用用于提取空间频率的高频成分的二维带通滤波器{fbpf(jbpf,ibpf)|-nbpf≦jbpf≦nbpf,-mbpf≦ibpf≦mbpf}，根据图像亮度信号y(j，i)来生成摄像高频信号dy(j，i)。另外，根据第k视点亮度信号yk(j，i)(k＝1～nlf)，通过公式(4b)来生成第k视点高频信号dyk(j，i)。
公式4
本发明实施例是在x方向上被分割成两部分的典型结构，其中，nx＝2、ny＝1，以及nlf＝2，其中，通过x方向(光瞳分割方向)上的一维滤波器fx(ibpf)和y方向(与光瞳分割方向垂直的方向)上的一维滤波器fy(jbpf)的直积，构成二维带通滤波器为fbpf(jbpf,ibpf)＝fy(jbpf)×fx(ibpf)。在作为光瞳分割方向的x方向上的一维滤波器fx(ibpf)中，例如，可以使用诸如0.5×[1,2,0,-2,-1] 1.5×[1,0,-2,0,1]等的一维带通滤波器来提取x方向上的空间频率的高频成分。这里，带通滤波器被设置为将第一微分滤波器[1,2,0,-2,-1]和第二微分滤波器[1,0,-2,0,1]进行组合而得到的混合滤波器。通常，在进行微分滤波处理时，在滤波处理之后的信号中，存在基准从正改变成负的0点。因此，通过组合绝对值计算，在具有空间频率的高频成分的区域中，可能产生线。产生该线的位置根据依赖于微分程度的微分滤波器而改变。因此，在本发明的实施例中，通过使用将第一微分滤波器和第二微分滤波器(通常为具有不同程度的微分滤波器)进行组合而得到的混合滤波器来抑制该线的产生。根据需要，可以使用诸如[1,2,0,-2,-1]等的第一微分滤波器和诸如[1,0,-2,0,1]等的第二微分滤波器、以及高阶微分滤波器和更普通的一维带通滤波器。在与光瞳分割方向垂直的y方向上的一维滤波器fy(jbpf)中，例如，可以使用诸如[1,1,1,1,1]或者[1,4,6,4,1]等的高频截止(低通)滤波器来抑制y方向上的高频噪声。根据需要，可以在x方向和y方向中的任何方向上，应用用于提取空间频率的高频成分的带通滤波处理。本发明实施例示出通过两个一维滤波器的直积所构成的二维带通滤波器。然而，本实施例并非意图限制本发明，并且可以使用普通的二维带通滤波器。
接着，在步骤s2中，通过公式5(a)，利用图像亮度信号y(j，i)来将摄像高频信号dy(j，i)标准化，以生成标准化摄像高频信号dz(j，i)，其中，y0>0。另外，通过公式5(b)，利用第k视点亮度信号yk(j，i)将第k视点高频信号dyk(j,i)(k＝1～nlf)标准化，以生成标准化第k视点高频信号dzk(j,i)。为了防止除以“0”，进行作为分母的“y0>0”的最大值判断。根据需要，在公式5(a)和公式5(b)的标准化之前，可以针对图像亮度信号(j,i)和第k视点亮度信号yk(j,i)进行高频截止(低通)滤波处理，来抑制高频噪声。
公式5
dz(j,i)＝dy(j,i)/max(y(j,i),y0),(5a)
dzk(j，i)＝dyk(j，i)/max(yk(j，i)，y0).(5b)
接着，在步骤s2中，通过公式(6a)来生成图像对比度分布c(j,i)，其中，由“ymin”表示低亮度阈值，由“cmax”表示对比度最大阈值，以及由“γ”表示指数。在公式(6a)的第一行中，如果图像亮度信号y(j,i)小于低亮度阈值ymin，则将图像对比度分布c(j,i)的值设置为0。在公式(6a)的第三行中，如果标准化摄像高频信号dz(j,i)大于对比度最大阈值cmax，则将图像对比度分布c(j,i)的值设置为1。在其它情况下，在公式(6a)的第二行中，将图像对比度分布c(j,i)设置为用于利用对比度最大阈值cmax来将标准化摄像高频信号dz(j,i)标准化、并且提高至γ次幂的值。如上所述，将图像对比度分布c(j,i)设置为范围[0,1](大于或等于0、并且小于或等于1)内的值。示出如下：如果c(j,i)的值接近0，则对比度低，以及如果该值接近1，则对比度高。将该值提高至γ次幂以在图像对比度分布c(j,i)中将色调曲线从0调节至1。优选地，指数γ大于或等于1.5、并且小于或等于2.5，以使得低对比度侧的变化温和、并且使得高对比度侧的变化急剧。根据需要，可以通过使用从定义域[0,1]到域范围[0,1]:[0,1]→[0,1]的函数f，来将复合函数f(c(j,i))设置为图像对比度分布。另外，通过公式(6b)，来生成第k视点对比度分布ck(j,i)(k＝1～nlf)。
公式6
图12示出根据本发明实施例的图像对比度分布c(j,i)的典型分布，图13示出第一视点对比度分布c1(j,i)的典型分布，以及图14示出第二视点对比度分布c2(j,i)的典型分布。在图12～图14所示的典型分布中，右边范围为[0,1]的灰度级的显示表示对比度水平的指标。接近1的白色部分包含x方向上的空间频率的许多高频成分，并且示出具有高对比度的区域，以及接近0的黑色部分包含空间频率的较少高频成分，并且示出具有低对比度的区域。
将通过使用图15a～15c来说明本发明实施例中的多个视点图像(第一视点图像和第二视点图像)之间的视差、远近冲突和遮挡的关系。在图15a～15c中，本发明实施例的摄像元件被配置在摄像面600上，并且如参考图4、图7和图8的情况那样，聚焦光学系统的出射光瞳被分割成部分光瞳区域501和部分光瞳区域502这两部分。
图15a示出下面的典型结构：在与被摄体q1的聚焦被摄体p1重叠拍摄前面被摄体q2的模糊图像γ1 γ2时，在图像中发生远近冲突。图15b和图15c分别示出光束穿过聚焦光学系统中的部分光瞳区域501或者部分光瞳区域502的该典型结构。
在图15b中，来自被摄体q1的光束穿过部分光瞳区域501，聚焦于处于聚焦状态的图像p1，并且来自前面被摄体q2的光束穿过部分光瞳区域501，扩散为处于散焦状态的模糊图像γ1，并且被摄像元件的各像素的子像素201接收。根据来自子像素201的光接收信号来生成第一视点图像。在第一视点图像中，进行拍摄以使得被摄体q1的图像p1与前面被摄体q2的模糊图像γ1不重叠，并且它们处于不同位置。在第一视点图像中，示出在多个被摄体(被摄体q1和被摄体q2)之间不存在远近冲突和遮挡的典型结构。
与此相对，来自被摄体q1的光束穿过部分光瞳区域502，聚焦于处于聚焦状态的图像p1，并且来自前面被摄体q2的光束穿过部分光瞳区域502，扩散为处于散焦状态的模糊图像γ2，并且被摄像元件的各像素的子像素202接收。根据从子像素202所获得的光接收信号来生成第二视点图像。在第二视点图像中，进行拍摄以使得被摄体q1的图像p1与前面被摄体q2的模糊图像γ2重叠。在第二视点图像中，示出在多个被摄体(被摄体q1和被摄体q2)之间存在远近冲突和遮挡的典型结构。
图15a～15c的典型结构示出：在靠近发生远近冲突和遮挡的区域的区域中，针对发生远近冲突和遮挡的状态，在构成图像的第一视点图像和第二视点图像之间存在一些差异，并且可能使第一视点图像和第二视点图像之间的差异增大。因此，可以通过检测多个视点图像之间具有大的差异的区域，来估计可能发生远近冲突和遮挡的区域。
图16示出本发明实施例的第一视点对比度分布c1(j,i)和第二视点对比度分布c2(j,i)的差量分布c1(j,i)-c2(j,i)。在图16所示的典型分布中，右边[-1,1]的灰度级的显示示出第一视点图像的对比度和第二视点图像的对比度之间的差(第一视点对比度分布和第二视点对比度分布之间的差量)的大小的指标。接近0的黑色部分示出在第一视点图像的对比度和第二视点图像的对比度之间具有小的差的区域。另一方面，接近±1的白色部分示出在第一视点图像的对比度和第二视点图像的对比度之间具有大的差的区域。
在图16中，作为在第一视点图像的对比度和第二视点图像的对比度之间具有大的差的白色区域，在中间下侧的人(玩偶)的身体和具有精细棋盘状图案的平板中，检测到发生了远近冲突和遮挡的区域。除发生远近冲突和遮挡的区域以外，还检测空间频率的高频带成分在第一视点图像和第二视点图像之间变化大的区域，诸如在保持高对比度的同时具有大的图像偏移量的区域等，例如，处于散焦状态的被摄体的边缘部分。在这些所检测到区域中，分别拍摄第一视点图像和第二视点图像各自的空间频率成分彼此显著不同的被摄体图像。因此，在对第一视点图像和第二视点图像进行组合而得到的图像中，从其所检测到的区域是混合了空间频率成分彼此显著不同的多个被摄体区域的区域。
当向空间频率成分彼此显著不同的多个被摄体的混合区域大量应用诸如锐化和平滑化等的图像处理时，可能导致图像质量降低。因此，在本发明的实施例中，通过使用第一视点对比度分布和第二视点对比度分布之间的差量分布的绝对值|c1(j,i)-c2(j,i)|，来进行对空间频率成分彼此不同的多个被摄体的混合区域的检测，然后在控制之下对所检测到的混合区域进行诸如锐化和平滑化等的图像处理。由此，使得能够在成功保持图像质量的同时，进行诸如锐化和平滑化等的图像处理。
在本发明的实施例中，接着，在步骤s2中，通过使用公式(7a)，根据第一视点对比度分布c1(j,i)和第二视点对比度分布c2(j,i)，来生成对比度差量分布cdiff(j,i)，以检测空间频率成分彼此不同的多个被摄体的混合区域。接着，通过使用公式(7b)，通过将图像对比度分布c(j,i)乘以对比度差量分布cdiff(j,i)，来生成空间频率成分彼此不同的多个被摄体的混合区域中的值被抑制为接近0的对比度分布mcon(j,i)。
公式7
cdiff(j，i)＝1-|c1(j，i)-c2(j，i)|，(7a)
mcon(j，i)＝c(j，i)×cdiff(j，i).(7b)
在对比度差量分布cdiff(j,i)中，在范围[0,1]内，在视点图像之间的对比度差大、并且混合了空间频率成分彼此不同的许多被摄体的区域中，该值接近0，以及在视点之间的对比度差小、并且混合了空间频率成分彼此不同的较少被摄体的区域中，该值接近1。对比度分布mcon(j,i)是通过将图像对比度分布c(j,i)乘以对比度差量分布cdiff(j,i)所产生的分布。由此，在该分布中，空间频率成分彼此不同的多个被摄体的混合区域中的值被抑制为接近0。
图17示出本发明实施例的对比度分布mcon(j,i)的典型分布。在图17的典型分布中，右边范围为[0,1]的灰度级的显示表示对比度水平的指标。接近1的白色部分包含x方向上的空间频率的许多高频成分，并且示出具有高对比度的区域，以及接近0的黑色部分包含空间频率的较低频率成分，并且示出具有低对比度的区域。针对图像对比度分布c(j,i)，在第一视点对比度分布c1(j,i)和第二视点对比度分布c2(j,i)之间的差量分布的绝对值|c1(j,i)-c2(j,i)|大的区域中，对比度值被抑制。
在本发明的实施例中，作为对比度差量分布cdiff(j,i)，针对第一视点对比度分布和第二视点对比度分布之间的差量分布的绝对值|c1(j,i)-c2(j,i)|，使用单调下降的线性函数，然而，根据需要，可以使用更普通的函数。
如上所述，在本发明的实施例中，根据各视点图像的对比度之间的差，基于图像和多个视点图像来生成对比度分布mcon(j,i)。与各视点图像之间的对比度之间的差大的区域的情况相比，在各视点图像的对比度之间的差小的区域中，本发明实施例的对比度分布更大。另外，与图像中具有较少空间频率成分的区域的情况相比，在图像中具有许多空间频率成分的区域中，本发明实施例的对比度分布更大。另外，与具有低亮度的区域的情况相比，在具有高亮度的区域中，本发明实施例的对比度分布更大。
在从第二处理起的处理中，优选地，省略对比度分布mcon(j,i)的生成，并且将所生成的对比度分布mcon(j,i)与所存储的图像数据相关联地存储在诸如闪速存储器133等的存储介质等中，以缩短处理时间。
图像偏移量分布
在图9的步骤s3中，在对比度分布mcon(j,i)的值大于或者等于预定值的各位置处，根据第一视点图像和第二视点图像(多个视点图像)，基于第一视点图像和第二视点图像之间的相关性(信号之间的一致度)，来生成图像偏移量分布。注意，该步骤并非意图限制本实施例，因此可以独立于对比度分布mcon(j,i)的值，基于各视点图像来生成图像偏移量分布。
在步骤s3中，首先，根据作为拜尔阵列的rgb信号的第一视点图像i1，针对通过公式(3b)所生成的第一视点亮度信号y1，在光瞳分割方向(列方向)上进行一维带通滤波处理，随后生成第一焦点检测信号dya。另外，根据第二视点图像i2，针对通过公式(3b)所生成的第二视点亮度信号y2，在光瞳分割方向(列方向)上进行一维带通滤波处理，随后生成第二焦点检测信号dyb。例如，可以使用第一微分滤波器[1,5,8,8,8,8,5,1,-1,-5,-8,-8,-8,-8,-5,-1]等作为一维带通滤波器。根据需要，可以调节一维带通滤波器的通带。
接着，在步骤s3中，在对比度分布mcon(j,i)的值大于或者等于预定值(例如，0、2)的各位置(j,i)，使第一焦点检测信号dya和第二焦点检测信号dyb在光瞳分割方向(列方向)上相对偏移，以计算表示信号之间的一致度的相关量，然后基于该相关量来生成图像偏移量分布mdis(j,i)。与此相对，从图像偏移量的计算中省略对比度分布mcon(j,i)的值小于预定值(例如，0、2)的各位置。通过将图像偏移量的检测限制在没有发生远近冲突和遮挡的、具有高对比度的区域中，使得能够提高图像偏移量的检测精度、并且能够高速进行该处理。
针对位置(j,i)的中心焦点，将作为行方向上的第j2(-n2≦j2≦n2)个、并且作为光瞳分割方向的列方向上的第i2(-m2≦i2≦m2)个的第一焦点检测信号，设置为“dya(j j2,i i2)”，以及将第二焦点检测信号设置为“dyb(j j2,i i2)”。将偏移量设置为“s(-ns≦s≦ns)”，通过公式(8a)来计算各位置(j,i)处的相关量coreven(j,i,s)，并且通过公式(8b)来计算相关量corodd(j,i,s)。
公式8
相关量corodd(j,i,s)是将第一焦点检测信号dya和第二焦点检测信号dyb的偏移量相对于相关量coreven(j,i,s)移位半相位的-1移位的相关量。
根据各相关量coreven(j,i,s)和相关量corodd(j,i,s)，通过子像素计算来计算作为通过其使得相关量变成最小值的实数值的偏移量，以计算平均值，然后生成图像偏移量分布mdis(j,i)。
在对比度分布mcon(j,i)的值小于预定值(例如，0或者2)的、从图像偏移量的计算中省略的区域中，设置为“mdis(j,i)＝0”。根据需要，可以设置除0以外的值。
图17示出本发明实施例的图像偏移量分布mdis(j,i)的典型分布。在图17所示的典型分布中，右边范围为[-6,6]的灰度级的显示表示在对比度分布mcon(j,i)的值大于或者等于预定值0.2、并且计算图像偏移量的区域中，以单个像素(一个像素)为单位的第一视点图像和第二视点图像之间的图像偏移量。具有减号(-)的黑色侧部分示出处于前焦点状态的区域，接近0的值示出大体上处于聚焦状态的区域，并且具有加号( )的白色侧部分示出处于后焦点状态的区域。另外，在图17的典型分布的显示中，将对比度分布mcon(j,i)的值小于0.2的、从图像偏移量的计算中省略的、并且被设置为“mdis(j,i)＝0”的区域示出为黑色。
如上所述，在本发明的实施例中，根据多个视点图像来生成图像偏移量分布mdis(j,i)。
在从第二处理起的处理中，优选地，省略图像偏移量分布mdis(j,i)的生成，并且将所生成图像偏移量分布mdis(j,i)与所存储的图像数据相关联地存储在诸如闪速存储器133等的存储介质等中，以缩短处理时间。
根据需要，通过乘以与位置(j,i)、摄像镜头(聚焦光学系统)的光圈值和出射光瞳距离等相对应的转换系数，可以将图像偏移量分布mdis(j,i)转换成散焦量分布。
图像偏移差量分布
在图9的步骤s4中，根据图像偏移量分布mdis(j,i)和预定图像偏移量，来生成图像偏移差量分布mdiff(j,i)。
在步骤s4中，首先，将通过本发明实施例中的再聚焦处理的修正所需的图像偏移量设置为预定图像偏移量“p”。例如，在图18的图像偏移量分布mdis的典型结构中，接近眼睛的区域处的图像偏移量约为2.5。通过再聚焦处理，如果大体上需要将接近人(玩偶)的眼睛的区域处的图像偏移量稍微修正成0，则设置为“预定图像偏移量p＝2.5”。
接着，在步骤s4中，基于图像偏移量分布mdis(j,i)，通过公式(9)计算预定图像偏移量p、对比度分布mcon(j,i)和图像偏移差量分布mdiff(j,i)。
公式9
图像偏移差量分布mdiff(j,i)是将针对图像偏移量分布mdis(j,i)和预定图像偏移量p之间的差的绝对值|mdis(j,i)-p|呈单调下降的线性函数乘以对比度分布mcon(j,i)的分布。图像偏移差量分布mdiff(j,i)在|mdis(j,i)-p|<σp的情况下是正的，在|mdis(j,i)-p|＝σp的情况下是0，以及在|mdis(j,i)-p|>σp的情况下是负的。
将对比度分布mcon(j,i)的值小于预定值(例如，0、2)的、从图像偏移量的计算中省略的区域设置为“mdiff(j,i)＝(1-|p|/σp)×mcon(j,i)”。根据需要，可以设置其它值。
图19示出本发明实施例的图像偏移差量分布mdiff(j,i)的典型分布。对比度分布mcon的值大于或者等于预定值0.2并且计算图像偏移量的区域，在右边范围在[-1,1]内的灰度级的显示处示出图像偏移差量。具有加号( )的白色侧部分示出图像偏移量分布mdis(j,i)和预定图像偏移量p之间的差的绝对值|mdis(j,i)-p|小的、具有高对比度的区域。具有减号(-)的黑色侧部分示出图像偏移量分布mdis(j,i)和预定图像偏移量p之间的差的绝对值|mdis(j,i)-p|大的、具有高对比度的区域。另外，在图19的典型分布的显示中，将被设置为“mdiff(j,i)＝(1-|p|/σp)×mcon(j,i)”的、从对比度分布mcon(j,i)的值小于预定值0.2的图像偏移量的计算中省略的区域示出为黑色。
修正视点图像
在图9的步骤s5中，根据图像偏移差量分布mdiff(j,i)，针对第一视点图像和第二视点图像(第一视点图像～第nlf视点图像)进行第一锐化和第一平滑化的处理，以生成第一修正视点图像和第二修正视点图像(第一修正视点图像～第nlf修正视点图像)。
在本发明的实施例中，在图像偏移差量分布大于或者等于0(mdiff(j,i)≧0)的区域中，针对第一视点图像和第二视点图像(多个视点图像)进行用于增大视点图像之间的差和锐化视差的处理(串扰校正，第一锐化处理)。另一方面，在图像偏移差量分布小于0(mdiff(j,i)<0)的区域中，进行用于缩小视点图像之间的差和平滑视差的处理(串扰，第一平滑化处理)。进行上述处理以生成第一修正视点图像和第二修正视点图像(多个修正视点图像)。
在图9的步骤s5中，首先，将第一强度参数设置为“kct≧0”以针对第一视点图像和第二视点图像(多个视点图像)分配用于扩大视点图像之间的差、并且锐化视差的处理(串扰校正，第一锐化处理)、或者用于缩小视点图像之间的差、并且平滑视差的处理(串扰，第一平滑化处理)的强度。
接着，在步骤s5中，通过公式(10)来设置第一强度分布kct(j,i)。第一强度参数分布kct(j,i)与图像偏移差量分布mdiff(j,i)成比例，其中，kct被设置为比例系数。
公式10
kct(j，i)＝kct×mdiff(j，i).
接着，在步骤s5中，针对第一视点图像i1(j,i)和第二视点图像i2(j,i)(第一视点图像～第nlf视点图像)进行通过公式(11a)和公式(11b)的处理，以生成第一修正视点图像mi1(j,i)和第二修正视点图像mi2(j,i)(第一修正视点图像～第nlf修正视点图像)。
公式11
公式(11a)是用于在第一强度参数分布(图像偏移差量分布)大于或者等于0(kct(j,i)＝kct×mdiff(j,i)≧0)的区域中扩大第一视点图像和第二视点图像(多个视点图像)之间的差、并且锐化视差的处理(串扰校正，第一锐化处理)。与此相对，公式(11b)是用于在第一强度参数分布(图像偏移差量分布)小于0(kct(j,i)＝kct×mdiff(j,i)<0)的区域中缩小第一视点图像和第二视点图像(多个视点图像)之间的差、并且平滑视差的处理(串扰，第一平滑化处理)。
图20以图形方式示出用于扩大第一视点图像和第二视点图像(多个视点图像)之间的差、并且锐化视差的典型处理(串扰校正、第一锐化处理)。横轴表示像素的位置，纵轴表示像素值(信号的电平)。在图20中，将用于锐化的处理(串扰校正，第一锐化)之前的第一视点图像(修正之前的a)和第二视点图像(修正之前的b)的典型结构示出为虚线图。将用于锐化的处理(串扰校正，第一锐化)之后的第一修正视点图像(修正的a)和第二修正视点图像(修正的b)的典型结构示出为实线图。通过用于扩大视点图像之间的差、并且锐化视差的处理(串扰校正，第一锐化)，在该处理之前视点图像之间的差大的部分进一步被扩大，然而，在该处理之前视点图像之间的差小的部分几乎没有变化。因此，应该理解，视点图像之间的视差被锐化。
与此相对，在用于通过公式(11b)的平滑化的处理(串扰，第一平滑化)中，第一视点图像和第二视点图像(多个视点图像)之间的差被缩小，然后视点图像之间的视差变得平滑化。
如上所述，在本发明的实施例中，针对多个视点图像，进行用于与对比度分布和图像偏移量分布相对应的锐化和平滑化的图像处理。作为用于锐化的处理、用于平滑化的处理以及它们的组合处理中的任一个，可以进行与对比度分布和图像偏移量分布相对应的图像处理。
在本发明的实施例中，通过公式(7a)、公式(7b)、公式(9)、公式(10)、公式(11a)和公式(11b)，与对比度之间的差大的区域相比，在各视点图像的对比度之间的差小的区域中，针对各视差图像更密集地进行诸如锐化和平滑化等的图像处理。另外，与具有小的对比度分布的区域相比，在具有大的对比度分布的区域中，针对各视差图像更密集地进行诸如锐化和平滑化等的图像处理。
在本发明的实施例中，通过公式(9)、公式(10)、公式(11a)和公式(11b)，在与图像偏移量分布的预定偏移量(标准)具有小的差的区域中，进行用于锐化的处理，并且在具有大的差的区域中，进行用于平滑化的处理。在本发明的实施例中，通过公式(9)、公式(10)、公式(11a)，同与图像偏移量分布的预定偏移量具有大的差的区域相比，在具有小的差的区域中，更加密集地进行用于锐化的处理。在本发明的实施例中，通过公式(9)、公式(10)、公式(11b)，同与图像偏移量分布的预定偏移量具有小的差的区域相比，在具有大的差的区域中，更广泛地进行用于平滑化的处理。
另外，在本发明的实施例中，通过公式(11a)和公式(11b)，针对多个视点图像的各像素，进行用于扩大多个视点图像之间的差并且锐化视差的处理、或者用于缩小多个视点图像之间的差并且平滑视差的处理，以生成多个修正视点图像。公式(11a)的用于第一锐化的处理和公式(11b)的用于第一平滑的处理，是作为第一光电转换单元的输出信号的第一视点图像i1(j,i)和作为第二光电转换单元的输出信号的第二视点图像i2(j,i)之间的计算处理，其中，在各(j,i)像素中包括第一光电转换单元和第二光电转换单元。
加权系数
在图9的步骤s6中，为了稍微修正预定区域处的景深，针对第一修正视点图像和第二修正视点图像(第一修正视点图像～第nlf修正视点图像)中的各图像，都设置加权系数。
在步骤s6中，首先，设置再次修正景深所需的预定区域“r＝[j1,j2]×[i1,i2]”和该预定区域的边界宽度σ，随后通过公式(12)，根据该预定区域r和预定区域的边界宽度σ，来计算表函数t(j,i)。
公式12
表函数t(j,i)在预定区域r内变成1，并且在预定区域r外变成0，而且大体上以预定区域r的边界宽度σ从1连续变成0。根据需要，该预定区域可以是圆形形状或者任何其它形状。根据需要，还可以设置多个预定区域和多个边界宽度。
接着，在步骤s6中，作为实系数w(-1≦w≦1)，通过公式(13a)计算第一修正视点图像mi1(j,i)的第一加权系数分布w1(j,i)，以及通过公式(13b)计算第二加权系数分布w2(j,i)。
公式13
w1(j，i)＝1-wt(j,i),(13a)
w2(j，i)＝1 wt(j，i).(13b)
在预定区域中，如果通过增大第一修正视点图像mi1(j,i)的相加比来修正景深，则在范围“-1≦w<0”内进行设置，以及如果通过增大第二修正视点图像mi2(j,i)的相加比来修正景深，则在范围“0<w≦1”内进行设置。根据需要，在w＝0和w1≡w2≡1的情况下，不需要修正景深。
通过偏移合成处理的再聚焦
在图9的步骤s7中，进行用于将第一修正视点图像和第二修正视点图像(第一修正视点图像～第nlf修正视点图像)的各图像乘以加权系数、然后在光瞳分割方向(x方向)上将所获得的值相对偏移并相加的处理(偏移相加处理)，以生成作为通过合成多个视点图像所获得的合成图像的中间图像。
图21是示意性示出通过第一修正视点图像mi1(j,i)和第二修正视点图像mi2(j,i)(多个修正视点图像)的利用在光瞳分割方向(x方向)上的偏移合成处理的再聚焦的图。在图21中，将x轴设置为纸面的垂直方向，并且将向下设置为x轴的正方向，将与纸面垂直的方向设置为y轴，并且将前面设置为y轴的正方向，以及将纸面的左右方向设置为z轴，并且将左侧设置为z轴的正向。图21中的摄像面600与图7、图8(以及图15a～15c)所示的摄像面600相对应。
图21示意性示出第一修正视点图像mi1(j,i)和第二修正视点图像mi2(j,i)。第一修正视点图像mi1(j,i)的信号是以与图7中的第一部分光瞳区域501相对应的主光线角度θ1入射至位置(j,i)处的第一光电转换单元301的光束的光接收信号。第二修正视点图像mi2(j,i)的信号是以与图7中的第二部分光瞳区域502相对应的主光线角度θ2入射至位置(j,i)处的第二光电转换单元302的光束的光接收信号。第一光电转换单元301和第二光电转换单元302(第一光电转换单元～第nlf光电转换单元)分别对应于第一子像素201和第二子像素202(第一子像素～第nlf子像素)。
第一修正视点图像mi1(j,i)和第二修正视点图像mi2(j,i)(多个修正视点图像)不仅包含与光强度分布有关的信息，而且还包含与入射角度有关的信息。因此，下面的平行移动和相加处理可以生成在虚拟成像面610处的再聚焦图像。首先，该平行移动和相加处理包括用于沿主光线角度θ1向虚拟成像面610平行移动第一修正视点图像mi1(j,i)和沿主光线角度θ2向虚拟成像面610平行移动第二修正视点图像mi2(j,i)的处理。其次，该平行移动和相加处理包括用于将各自被平行移动的第一修正视点图像mi1(j,i)和第二修正视点图像mi2(j,i)相加的处理。
沿主光线角度θ1向虚拟成像面610平行移动第一修正视点图像mi1(j,i)与向列方向偏移-1像素相对应。另外，沿主光线角度θ2向虚拟成像面610平行移动第二修正视点图像mi2(j,i)与在列方向上偏移 1像素相对应。因此，通过使得第一修正视点图像mi1(j,i)和第二修正视点图像mi2(j,i)相对偏移 2像素、使得mi1(j,i)和mi2(j,i 2)相关联、然后将关联后的值相加，能够生成虚拟成像面610处的再聚焦信号。
在图9的步骤s7中，通过公式(14)，根据第一修正视点图像mi1(j,i)和第二修正视点图像mi2(j,i)(多个修正视点图像)，来生成作为虚拟成像面处的再聚焦图像的偏移合成图像is(j,i)，其中，将最接近预定图像偏移量p的偶数设置为“pe”。这里，通过作为用于四舍五入的函数的pe＝2×round(p/2)，来计算最接近预定图像偏移量p的偶数。
公式14
is(j，i)＝wi(j，i)×mi1(j，i) w2(j，i)×mi2(j，i-pe).(14)
在公式(14)中，在偏移相加的同时，将公式(13a)中的第一加权系数分布w1(j,i)乘以第一修正视点图像mi1(j,i)、并且将公式(13b)中的第二加权系数分布w2(j,i)乘以第二修正视点图像mi2(j,i)，以修正预定区域处的景深。根据需要，在设置为“w1≡w2≡1”的情况下，不必修正景深。通过将多个视差图像中的各图像乘以加权系数来进行偏移合成处理，以生成作为多个视点图像的合成图像的中间图像。
第一修正视点图像mi1(j,i)和第二修正视点图像mi2(j,i)(多个修正视点图像)的偏移合成处理不局限于偏移偶数或者相加处理等，并且根据需要，可以使用偏移实数或者更一般的合成处理。另外，根据需要，可以省略如下所述的图9的步骤s8，并且可以将通过公式(14)将第一修正视点图像和第二修正视点图像(多个修正视点图像)偏移相加所生成的偏移合成图像is(j，i)设置为输出图像。
在本发明的实施例中，针对第二修正视点图像mi2(j，i)的光瞳分割方向(x方向)的终端部分进行用于预先扩展数据长度的终端处理，以将通过公式(14)所生成的偏移合成图像is(j，i)的像素数量保持为与图像的像素数量n相同的数量。如果pe＞0，则针对终端处的列数量ie(imin≦ie≦imin pe-1)，通过公式(15a)进行终端处理，其中，将最小列数量设置为imin。如果pe＜0，则针对终端处的列数量ie(imax pe 1≦ie≦imax)，通过公式(15b)进行终端处理，其中，将最大列数量设置为imax。在本发明的实施例中，进行用于扩展多个修正视点图像的图像的大小的处理。
公式15
mi2(j，ie)＝mi2(j，imin pe mod(ie-imin，2))，(pe＞0)，(15a)
mi2(j，ie)＝mi2(j，imax pe-mod(ie-imax，2))，(pe＜0)，(15b)
可再聚焦范围
将参考图22的示意图来说明本发明实施例中的通过偏移合成处理的可再聚焦范围。将摄像元件(未示出)配置在摄像面600上，并且如图4、图7和图8的情况那样，聚焦光学系统的出射光瞳被分割成2×1，即，被分割成第一部分光瞳区域501和第二部分光瞳区域502。
当由δ表示允许弥散圆直径、并且由f表示聚焦光学系统的光圈值时，光圈值f的景深为±f×δ。与此相对，将在表面被分割成nx×ny(例如，2×1)、并且变窄的部分光瞳区域501(或者502)在光瞳分割方向(x方向)上的有效光圈值f01(或者f02)设置为f01＝nx×f(或者f02＝nx×f)，然后该区域变暗。第一修正视点图像(或者第二修正视点图像)的各图像的有效景深通过±nx×f×δ被加深nx倍，并且聚焦范围被扩大nx倍。在有效景深“±nx×f×δ”的范围内，获取使得第一修正视点图像(或者第二修正视点图像)的各图像都处于聚焦的被摄体图像。因此，可以通过如图21所示沿主光线角度θ1(或者θ2)平行移动第一修正视点图像(或者第二修正视点图像)、并且将移动后图像相加的处理，来使得在拍摄之后再聚焦于聚焦位置。
与可以使得在拍摄之后再聚焦于聚焦位置的摄像面600的散焦量d具有限制。散焦量d的可再聚焦范围通常在公式(16)的范围内。
公式16
|d|≤nx×f×δ.(16)
其中，通过δ＝2·δx(像素周期δx的奈奎斯特频率1/(2·δx)的倒数)等，来定义允许弥散圆直径δ。
然而，如图6的典型光瞳强度分布所示，由于光的波动性质引起的衍射模糊，导致平缓地进行利用各像素单位中所形成的直径为数μm的微透镜和被分割成多个部分的光电转换单元的光瞳分割。因此，焦点的深度在第一视点图像和第二视点图像(多个视点图像)的光瞳分割方向(x方向)上变得不够深，由此即使通过使用第一视点图像和第二视点图像(多个视点图像)来生成再聚焦图像，也未必能够获得充分的再聚焦效果。
因此，在本发明的实施例中，在利用偏移合成处理的再聚焦中，针对第一视点图像和第二视点图像(多个视点图像)，通过公式(11a)对第一强度参数分布(图像偏移差量分布)大于或者等于0(kct(j,i)＝kct×mdiff(j,i)≧0)的各像素，进行用于扩大第一视点图像和第二视点图像(多个视点图像)之间的差、并且锐化视差的处理(串扰校正，第一锐化)，以生成第一修正视点图像和第二修正视点图像(多个修正视点图像)。由此，可以极大地修正第一修正视点图像和第二修正视点图像(多个修正视点图像)在光瞳分割方向(x方向)上的有效光圈值f，并且可以深入地修正焦点的深度，从而提高再聚焦效果。
下面将参考图23a～23b来说明在利用偏移合成处理的再聚焦中用于锐化第一视点图像和第二视点图像(多个视点图像)的处理(串扰校正，第一锐化)的效果。图23a示出现有技术中、在锐化(串扰校正，第一锐化)之前的利用第一视点图像和第二视点图像的偏移合成处理的典型再聚焦图像。在该典型图像中，示出：光瞳分割是平缓的，并且第一视点图像和第二视点图像(多个视点图像)在光瞳分割方向(x方向)上的焦点深度不足。针对处于焦点位于人(玩偶)的右眼的后面的位置处的后焦点状态的图像，进行利用偏移合成处理的再聚焦，然而，人(玩偶)的右眼、睫毛和头发等仍处于轻微的模糊状态，由此没有获得充分的再聚焦效果。与此相对，图23b示出在本发明的实施例中，在锐化(串扰校正，第一锐化)之后的利用第一修正视点图像和第二修正视点图像的偏移合成处理的典型再聚焦图像。在该典型图像中，极大地修正了第一修正视点图像和第二修正视点图像(多个修正视点图像)在光瞳分割方向(x方向)上的有效光圈值f，并且通过用于扩大第一视点图像和第二视点图像(多个视点图像)之间的差、并且锐化视差的处理(串扰校正，第一锐化)，来深入地修正焦点的深度。通过利用该偏移合成处理的再聚焦，在拍摄之后根据人(玩偶)的右眼、睫毛和头发再次修正焦点位置来提高再聚焦效果。
另外，如在光瞳分割方向(x方向)被二分割(其中，nx＝2、ny＝1以及nlf＝2)的本发明的实施例那样，如果光瞳分割的数量小并且视点图像的数量小，则在下面的区域中发生人工双线模糊，这可能导致图像质量下降：在该区域中，在利用偏移合成处理的再聚焦中，模糊量(图像偏移量)增大，从而使得被摄体的边界加倍。
因此，在本发明的实施例中，在利用偏移合成处理的再聚焦时，针对第一视点图像和第二视点图像(多个视点图像)，通过公式(11b)对第一强度参数分布(图像偏移差量分布)小于0(kct(j,i)＝kct×mdiff(j,i)<0)的各像素进行用于缩小第一视点图像和第二视点图像之间的差、并且平滑视差的处理(串扰，第一平滑化)。通过该处理，生成第一修正视点图像和第二修正视点图像(多个修正视点图像)。由此，可以在抑制人工双线模糊的发生以成功保持模糊量(图像偏移量)增大的区域中的图像的质量的同时，进行通过偏移合成处理的再聚焦。
锐化/非锐化控制
在图9的步骤s8，通过根据图像偏移差量分布mdiff(j,i)针对通过第一修正视点图像和第二修正视点图像(第一修正视点图像～第nlf修正视点图像)所生成的偏移合成图像(中间图像)进行第二锐化和第二平滑化的处理，来生成输出图像，其中，在拍摄之后，通过自适应地控制具有高锐度的区域和具有高模糊度的区域，来进行锐化/非锐化控制。
在本发明的实施例中，针对偏移合成图像is(j,i)，在图像偏移差量分布大于或者等于0(mdiff(j,i)≧0)的区域中，进行用于第二锐化的处理，而在图像偏移差量分布小于0(mdiff(j,i)<0)的区域中，进行用于第二平滑化的处理，以生成输出图像。
在图9的步骤s8中，首先，设置第二强度参数kusm≧0以针对偏移合成图像is(j,i)分配用于第二锐化或者第二平滑化的处理的强度。
接着，在步骤s8中，针对偏移合成图像is(j,i)使用二维低通滤波器{flpf(jlpf,ilpf)|-nlpf≦jlpf≦nlpf,-mlpf≦ilpf≦mlpf}，然后通过公式(17)来计算非锐化掩模iusm(j,i)。例如，可以使用二维低通滤波器flpf(jlpf,ilpf)作为诸如t[1,0,2,0,1]×[1,0,2,0,1]等的二维滤波器。根据需要，可以使用二维高斯分布等。
公式17
最后，在步骤s8中，针对偏移合成图像is(j,i)，通过公式(18)，根据图像偏移差量分布mdiff(j,i)，通过使用非锐化掩模iusm(j,i)来进行用于第二锐化或者第二平滑化的处理，以生成作为输出图像的再聚焦图像irf(j,i)。
公式18
irf(j,i)＝is(j，i) kusm×mdiff(j，i)×iusm,(j,i).(18)
在图像偏移差量分布大于或者等于0(mdiff(j,i)≧0)的区域中，公式(18)是用于通过乘以正系数kusm×mdiff(j,i)的非锐化掩模iusm(j,i)，根据图像偏移差量分布mdiff(j,i)的大小来锐化偏移合成图像is(j,i)的处理(第二锐化处理)。
与此相对，在图像偏移差量分布小于0(mdiff(j,i)<0)的区域中，公式(18)是用于通过乘以负系数kusm×mdiff(j,i)的非锐化掩模iusm(j,i)，根据图像偏移差量分布mdiff(j,i)的大小来平滑偏移合成图像is(j,i)的处理。
在利用偏移合成处理的再聚焦时，可以通过使用lf数据、基于光学原理来进行再聚焦。利用偏移合成处理的再聚焦具有如下优点：即使在不能检测图像偏移差量分布的区域中，也可以进行该处理。然而，如本发明实施例中的光瞳分割(nx＝2、ny＝1并且nlf＝2)那样，如果光瞳分割方向仅是x方向(y方向)的一个方向，则在光瞳分割方向的x方向(y方向)上可以获得再聚焦效果，但是在与光瞳分割方向(x方向)垂直的y方向上，未必可以充分获得再聚焦效果。与此相对，在通过根据图像偏移差量分布的锐化和平滑化的模糊控制中，可以独立于光瞳分割方向而获得再聚焦效果。因此，在本发明的实施例中，进行作为用于将利用偏移合成处理的再聚焦和利用与图像偏移差量分布相对应的锐化和平滑化的模糊控制进行组合的处理的再聚焦处理。由此，即使在与光瞳分割方向垂直的方向上，也可以获得再聚焦效果。
如上所述，在本发明的实施例中，针对多个修正视点图像的合成图像is(j,i)，进行用于与对比度分布和图像偏移量分布相对应的锐化和平滑化的图像处理，以生成输出图像。
根据需要，可以省略作为利用偏移合成处理的再聚焦的、图9中的步骤s5、步骤s6和步骤s7的处理，并且可以进行用于与对比度分布和图像偏移量分布相对应的锐化和平滑化的图像处理，以生成输出图像。根据需要，与对比度分布和图像偏移量分布相对应的图像处理可以是用于锐化的处理、用于平滑化的处理或者它们的组合处理中的任一个。
在本发明的实施例中，通过公式(7a)、公式(7b)、公式(9)、公式(17)和公式(18)，与在各视点图像之间具有大的对比度差的区域相比，在各视点图像之间具有小的对比度差的区域中，针对多个修正视点图像(或者图像)的合成图像更密集地进行诸如锐化和平滑化等的图像处理。另外，与具有小的对比度分布的区域相比，在具有大的对比度分布的区域中，针对多个修正视点图像(或者图像)的合成图像更密集地进行诸如锐化和平滑化等的图像处理。
在本发明的实施例中，通过公式(9)、公式(17)和公式(18)，在与图像偏移量分布的预定偏移量(标准)具有小的差的区域中，进行用于锐化的处理，并且在具有大的差的区域中，进行用于平滑化的处理。在本发明的实施例中，通过公式(9)、公式(17)和公式(18)，同与图像偏移量分布的预定偏移量具有大的差的区域相比，在与图像偏移量分布的预定偏移量具有小的差的区域中，更加密集地进行用于锐化的处理。在本发明的实施例中，通过公式(9)、公式(17)和公式(18)，同与图像偏移量分布的预定偏移量具有小的差的区域相比，在与图像偏移量分布的预定偏移量具有大的差的区域中，更加密集地进行用于平滑化的处理。
下面将说明本发明的实施例的效果。
如果针对混合了空间频率成分彼此显著不同的多个被摄体图像的区域(诸如发生了远近冲突和遮挡的区域等)全部进行诸如锐化和平滑化等的图像处理，则图像质量可能降低。
为了解决上述问题，在本发明的实施例中，首先，根据第一视点对比度分布c1(j,i)和第二视点对比度分布c2(j,i)，通过公式(7a)来生成对比度差量分布cdiff(j,i)，以检测混合了空间频率成分彼此显著不同的多个被摄体图像的区域。在对比度差量分布cdiff(j,i)中，在范围为[0,1]的分布处，在视点图像之间具有大的对比度差、并且混合了具有不同空间频率成分的许多被摄体图像的区域中，该值接近值0，以及在视点图像之间具有小的对比度差、并且混合具有不同空间频率成分的较少被摄体图像的区域中，该值接近值1。
第二，在本发明的实施例中，通过将所生成的对比度差量分布cdiff(j,i)与作为利用公式(7b)通过多个视点图像所获得的合成图像的对比度分布的图像对比度分布c(j,i)相乘，来生成混合了空间频率成分彼此显著不同的多个被摄体图像的区域中的值被抑制成接近0的对比度分布mcon(j,i)。
第三，在本发明的实施例中，基于所生成的对比度分布mcon(j,i)，针对多个视点图像及其合成图像，在混合了具有不同的空间频率成分的许多被摄体图像的区域中，进行相对弱的诸如锐化和平滑化等的图像处理，并且在混合了具有不同的空间频率成分的较少被摄体图像的区域中，进行相对强的诸如锐化和平滑化等的图像处理。
因此，本发明的实施例通过这些结构，可以在成功保持图像质量的同时进行用于锐化和平滑化的图像处理。
另外，如果在具有低亮度的区域中，全部进行诸如锐化和平滑化等的图像处理，则图像质量可能降低。在本发明的实施例中，在公式(6)和公式(7b)的第一行中，如果对比度分布mcon(j,i)的值小于低亮度阈值ymin，则将其设置为0。因此，在本发明实施例的对比度分布mcon(j,i)中，图像中具有高亮度的区域的对比度高于具有低亮度的区域的对比度。为了成功保持图像质量，优选地，基于对比度分布mcon(j,i)，针对多个视点图像及其合成图像，在具有小于低亮度阈值ymin的亮度的区域中，进行相对弱的诸如锐化和平滑化等的图像处理，以及在具有大于或者等于低亮度阈值ymin的亮度的区域中，进行相对强的诸如锐化和平滑化等的图像处理。
下面将参考图24a～24b来说明本发明实施例中的图9所示的再聚焦处理(利用偏移合成处理的再聚焦、景深的修正处理、利用锐化的模糊控制、以及与图像偏移差量分布相对应的平滑化)的效果。图24a示出现有技术中的再聚焦处理之前的典型图像。该图像是使得聚焦于人(玩偶)的右眼的后方的后焦点状态的典型图像。图24b示出本发明实施例的再聚焦处理之后的典型再聚焦图像。通过本发明实施例的再聚焦，在成功保持图像质量的同时，根据人(玩偶)的左右眼、睫毛和头发等，再次修正焦点位置。
如上所述，本发明实施例的图像处理方法是用于根据通过摄像元件所获取到的输入图像来生成输出图像的图像处理方法，其中在摄像元件中，配置设置有用于接收穿过聚焦光学系统中的不同部分光瞳区域的光束的多个光电转换单元的多个像素，所述方法包括以下步骤：根据输入图像，针对不同部分光瞳区域的各区域，生成多个视点图像；根据输入图像，生成与将不同部分光瞳区域合成而得到的光瞳区域相对应的拍摄图像；根据拍摄图像和多个视点图像来生成对比度分布；根据多个视点图像来生成图像偏移量分布；以及针对拍摄图像、多个视点图像和其合成图像中的至少一方，通过进行与对比度分布和图像偏移量分布相对应的图像处理来生成输出图像。
本发明实施例的图像处理装置，是具有被配置成进行如上所述的图像处理方法的图像处理单元的图像处理装置。
本发明实施例的摄像设备是具有摄像元件和被配置成进行如上所述的图像处理方法的图像处理单元的摄像设备，其中，在该摄像元件中，配置设置有用于接收穿过聚焦光学系统中的不同部分光瞳区域的光束的多个子像素的多个像素。
本发明实施例的结构可以在成功保持图像质量的同时，进行用于锐化和平滑化的图像处理。
第二实施例
接着，说明本发明的第二实施例。在第二实施例中，通过相同附图标记表示与第一实施例中的元件相同的元件并将省略对其的详细说明，并且主要说明它们之间的不同。
在本发明的实施例中，通过使用第一视点图像和第二视点图像(第一视点图像～第nlf视点图像)之间的散焦量与第一视点图像和第二视点图像(第一视点图像～第nlf视点图像)之间的图像偏移量之间的关系，来进行用于在拍摄之后修正饱和度的处理。
下面将通过使用图25中的饱和度处理的流程的示意图来说明在本发明的实施例中的用于根据通过摄像元件所获取到的lf数据(输入图像)、针对图像生成在拍摄之后修正了饱和度的饱和度修正图像(输出图像)的图像处理方法。
直到图25的步骤s4的图像偏移差量分布的生成为止的步骤与第一实施例中的步骤相同。
饱和度修正处理
在图25的步骤s5中，根据图像偏移差量分布mdiff(j,i)对图像进行用于强调和降低饱和度的处理，以生成修正了饱和度的输出图像。
在本发明的实施例中，针对图像i(j,i)，在图像偏移差量分布大于或者等于0(mdiff(j，i)≧0)的区域中，进行用于强调饱和度的处理，与此相对，在图像偏移差量分布小于0(mdiff(j，i)＜0)的区域中，进行用于降低饱和度的处理。
在图25的步骤s5中，首先，进行图像i(j，i)的去马赛克处理，并且将图像i(j，i)转换成l*a*b*颜色空间，以生成表示色调和饱和度的亮度l*(j，i)和色度a*(j，i)，b*(j，i)。
接着，在图25的步骤s5中，设置第三强度参数0≦kab＜1以针对图像i(j，i)分配饱和度修正处理的强度。
在图25的步骤s5中，最后，通过公式(19a)和公式(19b)，根据图像偏移差量分布mdiff(j，i)对色度a*(j，i)，b*(j，i)进行用于强调饱和度的处理或者用于降低饱和度的处理，以生成输出图像l*(j，i)，ma*(j，i)，mb*(j，i)。
公式19
ma*(j，i)＝max(1 kab×mdiff(j，i)，0)×a*(j，i)，(19a)
mb*(j，i)＝max(1 kab×mdiff(j，i)，0)×b*(j，i)，(19b)
通过上述典型处理，如果设置“预定图像偏移量p＝0”，则通过降低模糊区域的饱和度、并且强调处于聚焦的主被摄体的饱和度，使得主被摄体更加突出。
在本发明的实施例中，示出用于根据图像偏移差量分布mdiff(j，i)来修正饱和度的典型处理。然而，本发明不局限于该处理，另外，可以根据对比度分布mcon(j，i)来修正饱和度，或者可以根据图像偏移量分布mdis(j，i)来修正饱和度。
为了相对降低远景的饱和度以强调远近感，可以在图像偏移量分布mdis(j，i)小于预定图像偏移量p的相对远的区域中，进行用于降低饱和度的处理。另外，可以在图像偏移量分布mdis(j，i)大于预定图像偏移量p的相对近的区域中，进行用于强调饱和度的处理。
与此相对，为了增强远景的饱和度以相对地突出长焦镜头的压缩效果，可以在图像偏移量分布mdis(j,i)小于预定图像偏移量p的相对远的区域中，进行用于强调饱和度的处理。另外，可以在图像偏移量分布mdis(j,i)大于预定图像偏移量p的相对近的区域中，进行用于降低饱和度的处理。
如上所述，本发明实施例的图像处理方法是用于根据通过摄像元件所获取到的输入图像来生成输出图像的图像处理方法，其中，在该摄像元件中，配置设置有用于接收穿过聚焦光学系统中的不同部分光瞳区域的光束的多个光电转换单元的多个像素，所述方法包括以下步骤：根据输入图像，针对不同部分光瞳区域的各区域来生成多个视点图像；根据输入图像来生成与将不同部分光瞳区域合成而得到的光瞳区域相对应的拍摄图像；根据拍摄图像和多个视点图像来生成对比度分布；根据多个视点图像来生成图像偏移量分布；以及根据对比度分布和图像偏移量分布，通过针对拍摄图像进行用于修正饱和度的图像处理来生成输出图像。
本发明实施例的结构可以在成功保持图像质量的同时，进行用于修正饱和度的图像处理。
第三实施例
接着，将说明本发明的第三实施例。在第三实施例中，通过相同附图标记表示与第一实施例中的元件相同的元件并省略对其的详细说明，而且主要说明它们之间的不同。
图26示出本发明实施例的摄像元件的像素和子像素的阵列的示意图。将图26的左右方向设置为x方向(水平方向)，将y方向设置在垂直方向(纵向)上，并且将z方向(光轴方向)设置在与x方向和y方向两者垂直的方向(与页面平面垂直的方向)上。图26示出被示出为4列×4行范围的本发明实施例的二维cmos传感器(摄像元件)的像素阵列(摄像像素)和被示出为8列×8行范围的子像素阵列。
在本发明的实施例中，在图26所示的2列×2行像素组200中，具有第一颜色r(红色)的谱灵敏度的像素200r配置在左上位置，具有第二颜色g(绿色)的谱灵敏度的像素200g配置在右上和左下，以及具有第三颜色(蓝色)的谱灵敏度的像素200b配置在右下。此外，各像素均包括多个子像素，其中这多个子像素包括在x方向被分割成两部分(nx分割)、并且在y方向上被分割成两部分(ny分割)的第一子像素201～第四子像素204(第一子像素～第nlf子像素)，其中，分割数量为4(分割数量nlf＝nx×ny)。
在图26所示的典型结构中，将各自处于4列×4行范围的多个像素(8列×8行范围内的子像素)配置在使得能够获取用于生成图像和分割数量为4(nlf)的多个视点图像的输入图像的面上。在本发明实施例的摄像元件中，像素周期p被设置为4μm(微米)，像素数量n被设置为5575列×3725行范围＝约20750000像素。另外，子像素周期ps被设置为2μm，并且子像素数量ns被设置为11150列×7450行范围＝约83000000像素。
图27a示出在从摄像元件的光接收面侧( z侧)观看时的平面图中的、如图26所示的摄像元件中的单个像素200g。将z轴设置在与图27a的页面平面垂直的方向上，并且将近侧定义为z轴的正方向。另外，将y轴设置在与z轴垂直的垂直方向上，将上侧设置为y轴的正方向，以及将x轴设置在与z轴和y轴两者垂直的左右方向上，而且将右侧设置为x轴的正向。图27b示出从图27a的-y侧观看时沿a-a切割平面线的截面图。
如图27a和27b所示，在像素200g中，形成用于会聚各像素的光接收面侧( z方向)的入射光的微透镜305。另外，形成包括在x方向上被分割成两部分(nx分割)、并且在y方向上被分割成两部分(ny分割)的第一光电转换单元301～第四光电转换单元304(第一光电转换单元～第nlf光电转换单元)的多个光电转换单元，其中，分割数量为4(nlf)。第一光电转换单元301～第四光电转换单元304(第一光电转换单元～第nlf光电转换单元)分别对应于第一子像素201～第四子像素204(第一子像素～第nlf子像素)。
第三实施例的多视点图像和图像
在图9的步骤s1中，基于通过本发明实施例的摄像元件所获取到的lf数据(输入图像)，来生成聚焦光学系统中的不同部分光瞳区域中的各区域的多个视点图像，随后生成与合成聚焦光学系统中的不同部分光瞳区域的光瞳区域相对应的图像。
在步骤s1中，首先，输入通过本发明实施例的摄像元件所获取到的lf数据(输入图像)。可选地，可以使用通过本发明实施例的摄像元件先前所拍摄的、并且被存储在存储介质中的lf数据(输入图像)。
接着，在步骤s1中，在聚焦光学系统中的不同部分光瞳区域的各区域中，生成第一子像素201～第四子像素204(第一视点图像～第nlf视点图像)。将lf数据(输入图像)设置为“lf”。另外，将lf的各像素信号中作为列方向上的第is(1≦is≦nx)个、并且行方向上的第js(1≦js≦ny)个的子像素信号设置为“k＝nx(js-1) is(1≦k≦nlf)”和第k子像素信号。通过公式(1)生成作为列方向上的第i个、并且行方向上的第j个的、并且与聚焦光学系统中的第k部分光瞳区域相对应的第k视点图像ik(j,i)。
本发明的实施例是被分割成四部分的典型结构，其中，nx＝2，ny＝2以及nlf＝4。从与图26所示的像素阵列相对应的lf数据(输入图像)中，针对各像素选择来自被分割成四部分的第一子像素201～第四子像素204(被分割成nx×ny的第一子像素～第nlf子像素)中的特定子像素的信号，由此生成作为拜尔阵列的rgb信号的第一视点图像～第四视点图像(第一视点图像～第nlf视点图像)，其中，该rgb信号具有与像素数量n相对应的分辨率，并且与聚焦光学系统中的第一部分光瞳区域～第四部分光瞳区域(第一部分光瞳区域～第nlf部分光瞳区域)中的特定部分光瞳区域相对应。
接着，在图9的步骤s1中，生成与将聚焦光学系统中的不同部分光瞳区域进行合成而得到的光瞳区域相对应的图像。通过公式(2)来生成作为列方向上的第i个、并且行方向上第j个的图像i(j,i)。
本发明的实施例是被分割成四部分的典型结构，其中，nx＝2，ny＝2，以及nlf＝4。根据与图26所示的像素阵列相对应的输入图像(lf数据)，针对各像素，生成从被分割成四部分的第一子像素201～第四子像素204(被分割成nx×ny的第一子像素～第nlf子像素)所获得的全部信号，由此生成作为具有与像素数量n相对应的分辨率的拜尔阵列的rgb信号的图像。
第三实施例的对比度分布
在图9的步骤s2中，通过分别从本发明实施例的图像和多个视点图像中针对各区域提取空间频率的高频带成分，来生成对比度分布。根据视点图像之间的差来调节本发明实施例的对比度分布。
在步骤s2中，首先，通过作为拜尔阵列的rgb信号的图像i(j,i)，匹配各位置(j,i)处的各颜色rgb的颜色重力，然后通过公式(3a)来生成图像亮度信号y。另外，根据作为拜尔阵列的rgb信号的第k视点图像ik(k＝1～nlf)，通过公式(3b)来生成第k视点亮度信号yk。
接着，在步骤s2中，通过使用公式(4a)，利用使用用于提取空间频率的高频成分的二维带通滤波器{fbpf(jbpf,ibpf)|-nbpf≦jbpf≦nbpf,-mbpf≦ibpf≦mbpf}，根据图像亮度信号y(j,i)来生成摄像高频信号dy(j,i)。另外，根据第k视点亮度信号yk(j,i)(k＝1～nlf)，通过公式(4b)来生成第k视点高频信号dyk(j,i)。
本发明的实施例是被分割成四部分的典型结构，其中，nx＝2，ny＝1以及nlf＝2，通过x方向(光瞳分割方向)上的一维滤波器fx(ibpf)和y方向(与光瞳分割方向垂直的方向)上的一维滤波器fy(jbpf)的直积来将二维带通滤波器构成为fbpf(jbpf,ibpf)＝fy(jbpf)×fx(ibpf)。在作为光瞳分割方向之一的x方向上的一维滤波器fx(ibpf)中，例如可以使用诸如0.5×[1,2,0,-2,-1] 1.5×[1,0,-2,0,1]等的一维带通滤波器来提取x方向上的空间频率的高频成分。另外，在作为光瞳分割方向之一的y方向上的一维滤波器fy(jbpf)中，例如可以使用诸如0.5×[1,2,0,-2,-1] 1.5×[1,0,-2,0,1]等的一维带通滤波器来提取y方向上的空间频率的高频成分。本发明的实施例示出通过两个一维滤波器的直积所构成的二维带通滤波器，然而，本实施例并非意图限制本发明，并且可以使用普通的二维带通滤波器。
接着，在步骤s2中，通过图像亮度信号y(j,i)将摄像高频信号dy(j,i)标准化，以通过公式(5a)生成标准化摄像高频信号dz(j,i)，其中，y0>0。另外，通过第k视点亮度信号yk(j,i)将第k视点高频信号dyk(j,i)(k＝1～nlf)标准化，以通过公式(5b)生成第k标准化视点高频信号yk(j,i)。为了避免除以“0”，进行分母的“y0>0”的最大值判断。根据需要，在公式5(a)和公式5(b)的标准化之前，可以针对图像亮度信号y(j,i)和第k视点亮度信号yk(j,i)进行高频截止(低通)滤波处理，以抑制高频噪声。
接着，在步骤s2中，通过公式(6a)生成图像对比度分布c(j,i)作为由“ymin”表示的低亮度阈值、由“cmax”所表示的对比度最大阈值和由“γ”所表示的指数。在公式(6a)的第一行中，如果图像亮度信号y(j,i)小于低亮度阈值ymin，则将图像对比度分布c(j,i)的值设置为0。在公式(6a)的第三行中，如果标准化摄像高频信号dz(j,i)大于对比度最大阈值cmax，则将图像对比度分布c(j,i)的值设置为1。在其它情况下，在公式(6a)的第二行中，将图像对比度分布c(j,i)设置成用于利用对比度最大阈值cmax标准化成标准化摄像高频信号dz(j,i)、并且升高至γ次幂的值。如上所述，将图像对比度分布c(j,i)设置成范围[0,1](大于或者等于0、且小于或者1)内的值。示出如下：如果c(j,i)的值接近0，则对比度低，以及如果该值接近1，则对比度高。该值被升高γ次幂以将图像对比度分布c(j,i)的色调曲线从0调节至1。优选地，指数γ大于或者等于1.5、并且小于或者等于2.5，以使得低对比度侧的变化平缓、并且使得高对比度侧的变化急剧。根据需要，可以通过使用从定义域[0,1]到阈范围[0,1]:[0,1]→[0,1]的函数f，来将复合函数f(c(j,i))设置成图像对比度分布。另外，通过公式(6b)来生成第k视点对比度分布ck(j,i)(k＝1～nlf)。
接着，在本发明的实施例中，在步骤s2中，通过使用第一视点对比度分布c1(j,i)～第四视点对比度分布c4(j,i)来生成对比度差量分布cdiff(j,i)，以通过公式(20)检测具有不同空间频率成分的多个被摄体图像的混合区域。接着，通过公式(7b)，通过将图像对比度分布c(j,i)乘以对比度差量分布cdiff(j,i)来将具有不同空间频率成分的多个被摄体图像的混合区域的对比度分布mcon(j,i)抑制成接近0。
公式20
在范围为[0,1]的对比度差量分布cdiff(j,i)中，在视点图像之间具有大的对比度差、并且混合了具有不同空间频率成分的许多被摄体图像的区域中，该值接近0，以及在视点图像之间具有小的对比度差、并且混合了具有不同空间频率成分的较少被摄体图像的区域中，该值接近1。对比度分布mcon(j,i)是将图像对比度分布c(j,i)乘以对比度差量分布cdiff(j,i)的分布，因此，对比度分布mcon(j,i)是具有不同空间频率成分的多个被摄体图像的混合区域中的值被抑制成接近0的分布。
从图9的步骤s3起的步骤与第一实施例中的步骤相同。本发明实施例的结构可以在成功保持图像质量的同时，进行用于锐化和平滑的图像处理。在摄像元件的各像素单元中的光电转换单元中，可以进行具有更大分割数量的实施例(例如，被分割成9部分的分割，其中，nx＝3、ny＝3和nlf＝9、或者被分割成16部分的分割，其中，nx＝4、ny＝4和nlf＝16等)。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2015年3月10日提交的日本专利申请2015-047460、2016年3月2日提交的日本专利申请2016-039594和2016年3月9日提交的日本专利申请2016-045216的优先权，其全部内容通过引用包含于此。
1.一种图像处理方法，包括：
获取多个视点图像；
根据所述多个视点图像来生成对比度分布；以及
通过针对基于所述多个视点图像的图像进行与所述对比度分布相对应的图像处理，来生成输出图像。
2.根据权利要求1所述的图像处理方法，其中，所述对比度分布是根据所述多个视点图像中的各图像的对比度之间的差来生成的。
3.根据权利要求1所述的图像处理方法，其中，与在所述多个视点图像的各图像的对比度之间的差大的区域相比，在该差小的区域中，更密集地进行所述图像处理。
4.根据权利要求1所述的图像处理方法，其中，所述图像处理是用于锐化的处理、用于平滑化的处理、或者用于锐化的处理和用于平滑化的处理的组合处理。
5.根据权利要求1所述的图像处理方法，其中，所述图像处理方法还包括：
根据所述多个视点图像，来生成表示所述多个视点图像之间的图像偏移量的分布的图像偏移量分布、或者表示所述多个视点图像中的被摄体的散焦量的分布的散焦量分布，
其中，所述图像处理是基于所述图像偏移量分布或者所述散焦量分布来进行的。
6.根据权利要求5所述的图像处理方法，其中，同与所述图像偏移量分布或者所述散焦量分布的标准具有大的差的区域相比，在与所述标准具有小的差的区域中，更密集地进行用于锐化的处理作为所述图像处理。
7.根据权利要求5所述的图像处理方法，其中，同与所述图像偏移量分布或者所述散焦量分布的标准具有小的差的区域相比，在与所述标准具有大的差的区域中，更密集地进行用于平滑化的处理作为所述图像处理。
8.根据权利要求5所述的图像处理方法，其中，在与所述图像偏移量分布或者所述散焦量分布的标准具有小的差的区域中，进行用于锐化的处理作为所述图像处理，以及在与所述标准具有大的差的区域中，进行用于平滑化的处理作为所述图像处理。
9.根据权利要求1所述的图像处理方法，其中，所述图像处理是用于修正饱和度的处理。
10.根据权利要求1所述的图像处理方法，其中，在通过合成所述多个视点图像所得到的合成图像中，与预定空间频带的空间频率成分较少的区域相比，在所述空间频率成分较多的区域中，生成更大的合成对比度分布。
技术总结