图像传感器、摄像模组和电子设备的制作方法

    专利2022-07-07  91


    本申请属于图像处理技术领域,具体涉及一种图像传感器、摄像模组和电子设备。



    背景技术:

    随着移动终端产品的普及化,移动终端产品的市场竞争也越来越激烈,尤其是在智能手机的拍照方面,例如,智能手机的图像信噪比的提升方面。

    相关技术中,在提升图像信噪比时,一方面是通过尽量提升图像传感器(sensor)本真的信噪比,另一方面是通过尽量抑制在利用isp(imagesignalprocessor,图像处理器)中的图像算法对由图像传感器输出的raw图进行处理时的噪声。

    但是,在采用isp中的图像算法对raw图进行处理时,往往会引入更多的噪声,导致图像恶化。



    技术实现要素:

    本申请旨在提供一种图像传感器、摄像模组和电子设备,以减少由于采用isp中的图像算法对raw图进行处理而引入的导致图像恶化的噪声。

    为了解决上述技术问题,本申请是这样实现的:

    第一方面,本申请实施例提出了一种图像传感器,包括像素阵列和多个放大器,所述像素阵列包括沿行方向和/或列方向排列的多个像素组,每个所述像素组中包括多个不同颜色的像素,各所述放大器与各所述像素一一对应;其中,目标放大器的输入端与目标像素的输出端连接,所述目标放大器的输出端与所述目标像素所在的列线连接,所述目标放大器为所述多个放大器中的任意一个,所述目标像素为所述目标放大器对应的像素。

    第二方面,本申请实施例提出了一种摄像模组,包括第一方面所述的图像传感器,所述摄像模组中的镜片组与所述图像传感器对应设置。

    第三方面,本申请实施例提出了一种电子设备,所述电子设备包括第一方面所述的图像传感器。

    在本申请的实施例中,通过在图像传感器中增加放大器,以实现对各像素通道的放大处理,由此,可将isp中的图像放大操作在位于更前端的图像传感器中实现,以从更前端减少噪声分量,抑制图像噪声,提升最终画质信噪比和用户体验。

    附图说明

    本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

    图1a和图1b分别为本申请一示例性实施例提供的像素组中包括的像素示意图。

    图2是本申请一示例性实施例提供的图像传感器的结构示意图。

    图3是本申请一示例性实施例提供的摄像模组的爆炸示意图。

    具体实施方式

    下面将详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

    本申请的说明书和权利要求书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

    在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。

    在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。

    本申请一示例性实施例提供一种图像传感器,该图像传感器是一种可用于记录光线变化的半导体。其中,所述图像传感器可以为互补金属氧化半导体(complementarymetaloxidesemiconductor,cmos)图像传感器、电荷耦合元件(chargecoupleddevice,ccd)图像传感器或量子薄膜图像传感器等。

    本实施例中,所述图像传感器可以包括像素阵列和放大器,所述像素阵列包括沿行方向和/或列方向排列的多个像素组(如至少两个像素组),每个所述像素组中可包括多个不同颜色的像素,如红色感光像素、绿色感光像素、蓝色感光像素等,各所述放大器与各所述像素一一对应。

    其中,目标放大器的输入端与目标像素的输出端连接,所述目标放大器的输出端与所述目标像素所在的列线连接,所述目标放大器为所述多个放大器中的任意一个,所述目标像素为所述目标放大器对应的像素,由此,可分别控制所述目标像素对应的像素通道,实现对各的像素通道的单独放大,使得图像传感器拥有可以实现图像处理(如亮度均匀性(lensshading)处理等)的功能。也就是,本申请通过在图像传感器中增加放大器,能够将isp中的图像放大操作在位于更前端的图像传感器中实现,以从更前端减少噪声分量,抑制图像噪声,提升最终画质信噪比和用户体验。

    本实施例中,所述目标像素可以是但不限于红色感光像素、蓝色感光像素或绿色感光像素等。可以理解的是,对于每个所述像素组,其包括的不同颜色的像素可以由至少一个子像素构成,例如,假设所述像素组中包括红色感光像素、绿色感光像素和蓝色感光像素,那么在此以红色感光像素为例,所述红色感光像素可以包括图1a所示的r1、r2、r3、r4共四个红色感光子像素,也可以仅包括图1b所示的r1共一个红色感光像素,本实施例在此不做限制。另外,在所述像素阵列中,各所述像素组中的不同颜色的像素的排列方式可以相同,也可以不同。

    进一步,所述放大器可以采用但不限于运算放大器等,所述放大器的放大倍数(gain)可根据实际需求进行设定,例如在拍摄环境发生变化时,可通过调整放大器的放大倍数来确保图像质量,也即是,所述放大器的放大倍数可调。

    一种实现方式中,根据对各像素通道的放大倍数的需求不同,可以通过一个放大器仅对所述像素阵列中的某一行中的目标像素(如红色感光像素、蓝色感光像素或绿色感光像素)的输出进行放大,也可以通过多个放大器分别对多行中的目标像素的输出进行放大,还可以通过对应不同颜色的像素的多个放大器,同时对多个不同颜色的目标像素的输出进行放大,本实施例对此不作限制。

    在前述实施例的基础上,作为一种可能的实现方式,每个所述像素组可以包括第一像素、第二像素、第三像素,相应的,所述放大器可以包括第一放大器、第二放大器、第三放大器。

    其中,所述第一放大器的输入端与所述第一像素的输出端连接、输出端与所述第一像素所在的列线连接;所述第二放大器的输入端与所述第二像素的输出端连接、输出端与所述第二像素所在的列线连接;所述第三放大器的输入端与所述第三像素的输出端连接、输出端与所述第三像素所在的列线连接。由此,通过在图像传感器中增设对应不同像素的放大器,以用于对不同的像素通道的输出进行放大,使得图像传感器拥有可以分别控制各像素通道的功能,进而实现如图像亮度均匀处理等图像处理功能,提升最终画质信噪比和用户体验。可以理解,在本实现方式中,所述第一像素、所述第二像素和所述第三像素分别为对应红色感光像素、绿色感光像素、蓝色感光像素,也就是,由所述第一像素、第二像素和所述第三像素构成的像素组为三通道像素组。

    作为另一种可能的是方式,每个所述像素组可以包括第一像素、第二像素、第三像素,所述第二像素包括第一子像素和第二子像素,相应的,所述放大器可以包括第一放大器、第二放大器、第三放大器,所述第二放大器包括第一子放大器和第二子放大器。

    其中,所述第一放大器的输入端与所述第一像素的输出端连接、输出端与所述第一像素所在的列线连接;所述第一子放大器的输入端与所述第一子像素的输出端连接、输出端与所述第一子像素所在的列线连接;所述第二子放大器的输入端与所述第二子像素的输出端连接、输出端与所述第二子像素所在的列线连接;所述第三放大器的输入端与所述第三像素的输出端连接、输出端与所述第三像素所在的列线连接。可以理解,在本实现方式中,所述第一像素和所述第三像素分别对应红色感光像素和蓝色感光像素,所述第一子像素和所述第二子像素均对应绿色感光像素,也就是,由所述第一像素、第一子像素、第二子像素和所述第三像素构成的像素组为四通道像素组。

    示例性的,请结合参阅图2,在此以四通道像素组为例,对所述图像传感器中的放大器的连接方式进行说明。其中,假设像素组20中包括的第一像素为红色感光像素(r),第一子像素、第二子像素均为绿色感光像素(gr、gb),第三像素为蓝色感光像素(b),那么,所述r像素的输出与第一放大器11的输入端连接,其输出经过第一放大器放大后再接回r像素所在的列线,所述gr像素的输出与第一子放大器12的输入端连接,其输出经过第一子放大器放大后再接回gr像素所在的列线,所述gb像素的输出与第二子放大器13的输入端连接,其输出经过第二子放大器放大后再接回gb像素所在的列线,所述b像素的输出与第三放大器14的输入端连接,其输出经过第三放大器放大后再接回b像素所在的列线,最后通过列放大器30完成后续的列放大(列放大,指的是图像传感器中所有信号的放大,此列放大器只能整体的放大所有信号,而无法单独放大某个通道)和模数转换器(adc)转换。在此情况下,所述第一放大器、第一子放大器、第二子放大器、第三放大器分别控制不同颜色对应的像素通道,使得图像传感器拥有可以实现亮度均匀性处理等图像处理功能。

    关于前述第一放大器、第二放大器(或第一子放大器、第二子放大器)、第三放大器的放大倍数,可根据实际需求进行设定,下面结合不同的示例进行说明。

    示例1,考虑到当isp通过lensshading模块时,由于lensshading的特性导致的成像亮度从中心到四角越来越暗,因此,本实施例通过计算出补偿lensshading所需的亮度增益矩阵,再将该亮度增益矩阵映射到各所述放大器里,以实现图像传感器端的lensshading补偿功能。也就是,在本实施例中,各所述放大器的放大倍数可根据亮度增益矩阵确定,所述亮度增益矩阵是通过图像处理器(isp)对由所述图像传感器输出的raw图进行亮度均匀性计算得到。由此,可实现图像传感器端的lensshading补偿功能,以从更前端减少噪声分量,避免了isp端的lensshading补偿处理,抑制图像噪声,提升最终画质信噪比和用户体验。

    一种实现方式中,前述实现过程可以包括:首先通过图像传感器获取第一raw图;再将所述第一raw图输入isp处理模块,并利用亮度均匀性算法对所述第一raw图进行处理,得到亮度增益矩阵,然后设置所述亮度增益矩阵为所述图像传感器中的各放大器的放大倍数,最后再次利用图像传感器获取第二raw图,那么,所述第二raw图为经过亮度均匀性处理后的图像,也即,实现图像传感器端的自动亮度均匀性处理功能。当环境发生变化时,可重复上述步骤,即可完成图像传感器的亮度均匀性处理的动态刷新。

    示例2,如果所述第一子像素和所述第二子像素均为绿色感光像素(如gr、gb),所述第一子放大器的放大倍数不同于所述第二子放大器的放大倍数。例如,如果将gr通道和gb通道分别用不同放大倍数处理的话,虽然牺牲图像传感器的分辨率,但可以提升图像传感器的动态范围。可以理解,图像传感器中的gr通道和gb通道的信号越接近,图像传感器的分辨率越高,由图像传感器输出的图像信号的画质越好。

    其中,所述第一子放大器的放大倍数不同于所述第二子放大器的放大倍数可以包括:所述第一子放大器的放大倍数与所述第二子放大器的放大倍数之间呈倍数关系(倍数差异)。例如,可将gr通道和gb通道对应的第一子放大器的放大倍数和第二子放大器的放大倍数设置为整数倍差异,如2倍、3倍、4倍……,在此不做限制,由此,有效提升图像传感器的动态范围。

    应注意,所述倍数关系可根据目标拍摄场景确定,所述目标拍摄场景包括人像拍摄场景和/或天空拍摄场景等,本实施例对此不做限制。

    例如,在此以人脸天空场景为例,在用户使用手机等智能产品上的前置相机自拍时,经常会遇到的人脸天空场景,通常来说gb通道需要使用1xgain才能保证天空曝光正常,而人脸部分就会欠曝。此时如果gr通道和gb通道可以支持不同放大倍数处理的话,如天空部分(即天空场景)使用gr通道的1xgain(1倍增益),而人脸部分可以使用gb通道的4xgain(1倍增益)来处理,也就是,所述第一子放大器的放大倍数与所述第二子放大器的放大倍数之间呈4倍关系,由此,可以使得天空部分和人脸部分均处于正常曝光状态,改善图像传感器输出图像的画质,确保用户体验。

    需要说明的是,在前述给出的各实现方式中,多个目标放大器的放大倍数相同或不同,所述多个目标放大器对应相同颜色的像素,所述目标放大器可以为所述第一放大器、所述第二放大器(包括第一子放大器或第二子放大器)或所述第三放大器。例如,以所述第一放大器为例,多个第一放大器的放大倍数可以相同,也可以不同,具体可根据实际需求进行设定,本实施例对此不做限制。

    在前述各实现方式给出的图像传感器的基础上,作为一种可能的实现方式中,所述图像传感器还可包括微型镜头(micro-lens)和彩色滤光片(colorfilter),micro-lens(微型镜片/透镜)用来将光线像素阵列中的各光电二极管,而colorfilter是对入射的光线进行滤波,只允许通过该colorfilter颜色所对应的波段光线,光电二极管受到光照就会产生电荷,将光线转换成电信号。

    进一步,本申请一示例性实施例还提供一种摄像模组,该摄像模组包括前述实施例提供的图像传感器,所述摄像模组中的镜片组与所述图像传感器对应设置,从而使得通过镜片组的光线到达所述图像传感器。可以理解的是,由于本实施例中包括的所述图像传感器与前述实施例中提供的图像传感器具有相同或相似的技术特征,为避免重复,在此不再赘述。

    示例性,如图3所示,所述摄像模组还可包括如保护膜201,镜头(lens)202,音圈马达(voicecoilmotor)203,支撑部件204,红外滤光片(irfilter)205以及本申请提供的图像传感器206,软板(fpc)207,以及连接部件208。

    其中,摄像模组的工作流程可以包括以下(1)-(4)。

    (1)镜头用来聚光和对焦,镜头被音圈马达所包裹固定,音圈马达上下端和弹片链接。对焦时,通过通电让马达产生电磁力,该力最终与弹片的弹力保持平衡,马达的位置可以通过通电的大小来控制,进而通过马达将镜头推到合焦位置。

    音圈马达包括上盖、上弹簧片、下弹簧片、外壳、线圈、磁石、移动部件、底座和端子。其中,上盖起保护马达的作用;上弹簧片,发生形变时对马达产生作用力,和下弹簧片之和平衡电磁力;外壳为马达固定部分的主要框架,具有导磁作用,能够提高磁石的有效利用率;线圈通电流时,在磁石的磁场作用下产生向上的推力,带动移动部分的其他部件一起运动;磁石产生磁场,使通电线圈在其磁场作用下产生电磁力,让移动部件载体带着镜头一起运动;下弹簧片形变时对马达产生作用力,和上弹簧片之和平衡电磁力;底座与马达直接和软板组装;手机通过端子给马达供电。

    (2)图像传感器206感光

    景物光线投射向图像传感器206中的彩色滤光片(irfilter),通过irfilter滤除不必要的光线,以防止图像传感器206产生伪色/波纹,以提高其有效分辨率和色彩还原性,通过irfilter后的光线就可以被图像传感器206感知。

    图像传感器206感光后将光信号转换为电信号,经过放大并被adc转换为数字信号,形成raw图输出给图像处理器isp。

    (3)图像处理并反馈给sensor处理

    对(2)中得到的raw图,通过自动曝光(ae)、自动对焦(af)、awb、ob、lenshading等isp算法模块处理,得到为了获取正确亮度均匀性处理所需的亮度增益矩阵,然后将亮度增益矩阵设置为图像传感器206上的r通道(对应第一放大大器)、gr通道(对应第一子放大器)、gb通道(对应第二子放大器)、b通道(对应第三放大器)的放大增益(也即放大倍数),即完成图像传感器206端的亮度均匀性处理功能设置。当环境发生变化时,重复上述步骤,即可完成图像传感器206的亮度均匀性处理的动态刷新。

    此外,如果将gr通道(对应第一子放大大器)和gb通道(对应第二子放大大器)的放大倍数设置为倍数差异,也可提升sensor的动态范围。

    (4)图像处理并压缩存储

    由图像传感器206输出的raw图再进入isp处理,经锐化、降噪、色彩校准等操作后压缩为jpeg图像存储或送给显示器。

    本申请一示例性实施例还提供一种电子设备,所述电子设备包括前述实施例提供的图像传感器206,所述由于本实施例中包括所述图像传感器206与前述各实施例提供的图像传感器206具有相同或相似的技术特征,为避免重复,在此不再赘述。

    在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

    尽管已经示出和描述了本申请的实施例,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。


    技术特征:

    1.一种图像传感器,其特征在于,包括像素阵列和多个放大器,所述像素阵列包括沿行方向和/或列方向排列的多个像素组,每个所述像素组中包括多个不同颜色的像素,各所述放大器与各所述像素一一对应;

    其中,目标放大器的输入端与目标像素的输出端连接,所述目标放大器的输出端与所述目标像素所在的列线连接,所述目标放大器为所述多个放大器中的任意一个,所述目标像素为所述目标放大器对应的像素。

    2.如权利要求1所述的图像传感器,其特征在于,所述多个放大器包括第一放大器、第二放大器、第三放大器,每个所述像素组中包括第一像素、第二像素和第三像素;

    所述第一放大器的输入端与所述第一像素的输出端连接、输出端与所述第一像素所在的列线连接;

    所述第二放大器的输入端与所述第二像素的输出端连接、输出端与所述第二像素所在的列线连接;

    所述第三放大器的输入端与所述第三像素的输出端连接、输出端与所述第三像素所在的列线连接。

    3.如权利要求2所述的图像传感器,其特征在于,所述第二像素包括第一子像素和第二子像素,所述第二放大器包括第一子放大器和第二子放大器;

    所述第一子放大器的输入端与所述第一子像素的输出端连接、输出端与所述第一子像素所在的列线连接;

    所述第二子放大器的输入端与所述第二子像素的输出端连接、输出端与所述第二子像素所在的列线连接。

    4.如权利要求3所述的图像传感器,其特征在于,所述第一子像素和所述第二子像素均为绿色感光像素,所述第一子放大器的放大倍数不同于所述第二子放大器的放大倍数。

    5.如权利要求4所述的图像传感器,其特征在于,所述第一子放大器的放大倍数不同于所述第二子放大器的放大倍数,包括:所述第一子放大器的放大倍数与所述第二子放大器的放大倍数之间呈倍数关系。

    6.如权利要求5所述的图像传感器,其特征在于,所述倍数关系根据目标拍摄场景确定,所述目标拍摄场景包括人像拍摄场景和/或天空拍摄场景。

    7.如权利要求1-3中任一项所述的图像传感器,其特征在于,多个目标放大器的放大倍数相同,所述多个目标放大器对应相同颜色的像素。

    8.如权利要求1-3中任一项所述的图像传感器,其特征在于,各所述放大器的放大倍数根据亮度增益矩阵确定,所述亮度增益矩阵是通过图像处理器isp对由所述图像传感器输出的raw图进行亮度均匀性计算得到。

    9.如权利要求1-3中任一项所述的图像传感器,其特征在于,各所述放大器的放大倍数可调。

    10.一种摄像模组,其特征在于,包括权利要求1-9中任一项所述的图像传感器,所述摄像模组中的镜片组与所述图像传感器对应设置。

    11.一种电子设备,其特征在于,所述电子设备包括权利要求1-9中任一项所述的图像传感器。

    技术总结
    本申请公开了一种图像传感器、摄像模组和电子设备,涉及图像处理技术领域。所述图像传感器包括像素阵列和多个放大器,所述像素阵列包括沿行方向和/或列方向排列的多个像素组,每个所述像素组中包括多个不同颜色的像素,各所述放大器与各所述像素一一对应;其中,目标放大器的输入端与目标像素的输出端连接,所述目标放大器的输出端与所述目标像素所在的列线连接,所述目标放大器为所述多个放大器中的任意一个,所述目标像素为所述目标放大器对应的像素。

    技术研发人员:李沛德;胡孔明
    受保护的技术使用者:维沃移动通信有限公司
    技术研发日:2020.11.30
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-6989.html

    最新回复(0)