一种图像的反畸变方法、装置、电子设备及汽车与流程

    专利2022-07-08  112


    本发明涉及汽车电子技术领域,特别是涉及一种图像的反畸变方法、装置、电子设备及汽车。



    背景技术:

    a柱,英文名是a-pillar,是车辆左前方和右前方连接车顶和前舱的连接柱,在发动机舱和驾驶舱之间,左右后视镜的上方。由于a柱在发动机舱和驾驶舱之间,左右后视镜的上方,会遮挡驾驶者的一部分转弯视界,尤其是左转弯,行驶过程中由a柱对驾驶员视野的遮挡形成的的视野盲区,称为a柱盲区。

    由于a柱的截面积过小会导致车身强度不足,太大又会影响驾驶员视野。为了解决这个问题,通过增强现实技术(augmentedreality,ar)在a柱外部则安装摄像头,在a柱内部安装显示屏,通过将摄像头画面传输到a柱内部,最终实现了a柱部分的透明化,并且既保持了传统a柱的牢固性,又能让驾驶员的视线能清晰地穿透它看清路况。

    为了解决汽车a柱引起的视野死角问题,需要将a柱透明化处理,由于镂空的方式虽然可以保证a柱的透明,但是a柱强度会大大降低从而降低安全性,因此在a柱上加装显示屏从而使其透明化的方案更为可行。现在的显示屏幕几乎都是手机平板类似的板状平面屏幕,这种屏幕在透明a柱上使用的问题在于特定角度下可以满足需求,一旦视角发生变动视线不再与屏幕垂直,那么屏幕与视线之间会产生夹角,也就是说从倾斜的角度看屏幕。这时屏幕的可视视野会变小从而影响a柱的透明效果,同时图像也会由于观看角度的原因发生变形和错位。采用柔性屏的柱状结构则可以解决上述问题,由于柔性屏的柔软可变形可以贴合在柱状结构上形成柱状结构。柱状结构在不同角度对应的过轴心的平面大小不会发生多大改变,同时从圆柱同轴的柱面上的点朝圆柱轴方向观察,无论旋转的角度如何都可以认为柱面产生的畸变是均匀一致的。这种a柱的显示面本身在变换观察角度时也不会产生更多的视野死角。

    目前,a柱的图像呈现相对于真实场景会产生一定的畸变,导致图像失真,而如何对a柱呈现的视频图像进行反畸变,使得图像效果更稳定,是本发明需要解决的问题。



    技术实现要素:

    本发明实施例旨在提供一种图像的畸变矫正方法、车机及汽车,其解决了目前a柱呈现的图像效果不稳定的技术问题,提高a柱的图像呈现效果。

    为解决上述技术问题,本发明实施例提供以下技术方案:

    第一方面,本发明实施例提供一种图像的反畸变方法,应用于汽车,所述汽车设置有a柱以及摄像头,所述a柱设置有显示屏,所述方法包括:

    实时获取摄像头采集到的原始图像;

    实时获取驾驶员当前的眼椭圆坐标,根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数;

    确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;

    根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;

    将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;

    将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。

    在一些实施例中,所述根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数,包括:

    建立空间坐标系,将所述眼椭圆坐标确定为空间坐标原点;

    确定所述显示屏的每一角点的坐标位置信息;

    根据所述眼椭圆坐标与每一角点的坐标位置信息,确定每一像素点的偏移参数,其中,所述像素点的偏移量为横向位移像素值。

    在一些实施例中,所述根据所述眼椭圆坐标与每一角点的坐标位置信息,确定每一像素点的偏移参数,包括:

    确定所述显示屏的轴线的最近点和最远点对应的夹角;

    根据所述轴线的最近点和最远点对应的夹角,确定轴线上的每一像素点的偏移参数;

    根据所述轴线上的每一像素点的偏移参数,确定非轴线上的每一像素点的偏移参数。

    在一些实施例中,所述显示屏为曲面显示屏,所述根据所述轴线的最近点和最远点对应的夹角,确定轴线上的每一像素点的偏移参数,包括:

    假设所述空间坐标原点为e点,所述显示屏的上角点为u点,坐标位置为u(x1,y1,z1),下角点为d点,坐标位置为d(x2,y2,z2),前角点为f点,坐标位置为(x3,y3,z3),后角点为b点,坐标位置为(x4,y4,z4),所述曲面显示屏形成的柱面的弧半径为r,分辨率为h*w,其中,h为长度方向对应的像素数量,w为宽度方向对应的像素数量,所述显示屏的一个像素的长度、宽度分别为a、b,则所述曲面显示屏的显示区域的大小为ah*bw;

    则线段df或线段ub所在的弧对应的夹角为180*bw/πr,假设df线段中点为ub线段的中点为假设弧df上的中点为o,弧ub上的中点为o’,其中,点m到点o与点m’到点o’的距离相等,即mo=m’o’=r(1-180*bw/2πr),其中,线段mm’为显示屏的轴线;

    假设过点m与点m’的直线的向量为(xm,ym,zm),其中,

    其中,e点到直线mm’的距离d为

    其中,e点到m’点的距离为

    假设e点到直线mm’的距离为l,则

    假设线段em’与直线mm’的夹角为θ,θ的取值范围为(0,90),则

    其中,线段em与直线mm’的夹角为90-θ,则e点到m点的连线在曲面上的交点在长度方向上发生的位移为r(1-cos(180*bw/2πr))*tan(90-θ);

    则确定线段oo’上的每一像素点的偏移参数为r(1-cos(180*bw/2πr))*tan(90-θ)/a。

    在一些实施例中,所述根据所述轴线上的每一像素点的偏移参数,确定非轴线上的每一像素点的偏移参数,包括:

    确定非轴线上的每一像素点的偏移参数为:

    r(1-cos(180*bw/2πr))*tan(90-θ)/a*sin((180/w)*n),其中,r为所述曲面显示屏形成的柱面的弧半径,b为所述显示屏的一个像素的宽度,w为宽度方向对应的像素数量,θ为线段em’与直线mm’的夹角,n为某一像素点对应的像素数量。

    在一些实施例中,在实时获取驾驶员当前的眼椭圆坐标的步骤之前,所述方法还包括:

    对所述原始图像进行像素点采集,确定多个采集点。

    在一些实施例中,所述对所述原始图像进行像素点采集,确定采集点,包括:

    对所述原始图像的每一行以及每一列的像素点,每间隔预设数量的像素点取一像素点作为采集点,以确定多个采集点。

    在一些实施例中,所述确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像,包括:

    确定所述裁剪区域的裁剪原点、裁剪宽度以及裁剪长度,以确定所述原始图像中的裁剪区域;

    根据原始图像的原始宽度、原始长度以及所述裁剪宽度、裁剪长度,确定所述裁剪区域与原始图像的映射关系;

    根据所述映射关系,遍历所述裁剪区域内的每一像素点的映射坐标。

    在一些实施例中,所述方法还包括:

    根据所述裁剪区域内的每一像素点的映射坐标,确定每一像素点的偏移参数。

    在一些实施例中,所述根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    确定所述原始图像映射到所述裁剪区域的移动位移,构造形变函数;

    根据所述每一像素点的偏移参数,结合所述形变函数,确定每一像素点的横向位移;

    根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像。

    在一些实施例中,所述根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    根据所述横向位移,确定每一像素点的映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息;

    根据每一映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息,插值确定裁剪区域中的其他像素点的坐标位置信息,以确定反畸变处理后的裁剪区域图像。

    第二方面,本发明实施例提供一种图像的反畸变装置,应用于汽车,所述汽车设置有a柱以及摄像头,所述a柱设置有显示屏,所述装置包括:

    原始图像获取单元,用于实时获取摄像头采集到的原始图像;

    眼椭圆坐标获取单元,用于实时获取驾驶员当前的眼椭圆坐标;

    偏移参数确定单元,用于根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数;

    裁剪区域确定单元,用于确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;

    反畸变处理单元,用于根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;

    图像放大单元,用于将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;

    图像显示单元,用于将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。

    在一些实施例中,所述根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数,包括:

    建立空间坐标系,将所述眼椭圆坐标确定为空间坐标原点;

    确定所述显示屏的每一角点的坐标位置信息;

    根据所述眼椭圆坐标与每一角点的坐标位置信息,确定每一像素点的偏移参数,其中,所述像素点的偏移参数包括所述像素点的偏移量,所述像素点的偏移量为横向位移像素值。

    在一些实施例中,在实时获取驾驶员当前的眼椭圆坐标的步骤之前,所述方法还包括:

    对所述原始图像进行像素点采集,确定多个采集点。

    在一些实施例中,所述对所述原始图像进行像素点采集,确定采集点,包括:

    对所述原始图像的每一行以及每一列的像素点,每间隔预设数量的像素点取一像素点作为采集点,以确定多个采集点。

    在一些实施例中,所述确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像,包括:

    确定所述裁剪区域的裁剪原点、裁剪宽度以及裁剪长度,以确定所述原始图像中的裁剪区域;

    根据原始图像的原始宽度、原始长度以及所述裁剪宽度、裁剪长度,确定所述裁剪区域与原始图像的映射关系;

    根据所述映射关系,遍历所述裁剪区域内的每一像素点的映射坐标。

    在一些实施例中,所述方法还包括:

    根据所述裁剪区域内的每一像素点的映射坐标,确定每一像素点的偏移参数。

    在一些实施例中,所述根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    确定所述原始图像映射到所述裁剪区域的移动位移,构造形变函数;

    根据所述每一像素点的偏移参数,结合所述形变函数,确定每一像素点的横向位移;

    根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像。

    在一些实施例中,所述根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    根据所述横向位移,确定每一像素点的映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息;

    根据每一映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息,插值确定裁剪区域中的其他像素点的坐标位置信息,以确定反畸变处理后的裁剪区域图像。

    第三方面,本发明实施例提供一种电子设备,包括:

    至少一个处理器;以及,

    与所述至少一个处理器通信连接的存储器;其中,

    所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的图像的反畸变方法。

    第四方面,本发明实施例提供一种汽车,包括:

    摄像头,用于采集原始图像;

    如上所述的电子设备,用于接收摄像头发送的原始图像以生成反畸变处理后的原始图像;

    a柱,用于接收电子设备发送的反畸变处理后的原始图像,其中,所述a柱设置有显示屏,用于显示所述反畸变处理后的原始图像。

    第五方面,本发明实施例还提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使电子设备能够执行如上所述的图像的反畸变方法。

    本发明实施例的有益效果是:区别于现有技术的情况下,本发明实施例提供的一种图像的反畸变方法,应用于汽车,所述汽车设置有a柱以及摄像头,所述a柱设置有显示屏,所述方法包括:实时获取摄像头采集到的原始图像;实时获取驾驶员当前的眼椭圆坐标,根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数;确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。通过实时获取驾驶员当前的眼椭圆坐标,结合a柱的显示屏的位置信息,确定原始图像中的像素点的偏移参数,并通过裁剪原始图像进行反畸变处理,以得到反畸变处理后的原始图像并进行图像显示,本发明实施例能够解决目前a柱呈现的图像效果不稳定的技术问题,提高a柱的图像呈现效果。

    附图说明

    一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。

    图1是本发明实施例提供的一种汽车的硬件架构示意图;

    图2是本发明实施例提供的一种原始图像的示意图;

    图3是本发明实施例提供的一种逆向弯曲的原始图像的示意图;

    图4是本发明实施例提供的一种图像的反畸变方法的流程示意图;

    图5是图4中的步骤s20的细化流程图;

    图6是本发明实施例提供的一种曲面显示屏的示意图;

    图7是本发明实施例提供的另一种曲面显示屏的示意图;

    图8a是本发明实施例提供的一种透明a柱的示意图;

    图8b是本发明实施例提供的一种曲面显示屏的显示效果的示意图;

    图9是本发明实施例提供的一种图像的显示效果的示意图;

    图10是本发明实施例提供的一种将图像映射到裁剪区域的示意图;

    图11是图4中的步骤s30的细化流程图;

    图12是图4中的步骤s40的细化流程图;

    图13是本发明实施例提供的一种sin图像的示意图;

    图14是本发明实施例提供的一种arctan图像的示意图;

    图15是图12中的步骤s43的细化流程图;

    图16a是本发明实施例提供的一种原始图像未被挤压之前的示意图;

    图16b是本发明实施例提供的一种原始图像被挤压之后的示意图;

    图17是本发明实施例提供的另一种sin图像的示意图;

    图18是本发明实施例提供的一种反畸变处理后的裁剪区域图像的示意图;

    图19是本发明实施例提供的一种图像的反畸变装置的结构示意图;

    图20为本发明各个实施例的一种电子设备的硬件结构示意图。

    具体实施方式

    为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

    需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。再者,本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。

    对本发明进行详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。

    (1)眼椭圆坐标,指的是驾驶员的眼球所在的位置,即视点,由于人的身材大小不同,不同的驾驶员以正常驾驶姿态坐在驾驶椅上,他们的眼睹位置显然是不同的。运用统计的观点和方法研究驾驶g的视点分布规律,发现车辆驾驶员的视点分布图形是呈椭圆状,故称为驾驶员眼椭圆。

    (2)驾驶员监控系统(drivermonitoringsystem,dms),驾驶员监控系统通过眼动追踪,可以实时提供驾驶员的眼球的位置坐标数据,即眼椭圆坐标。

    目前,随着增强现实技术(augmentedreality,ar)的发展,汽车的a柱也随之产生,而a柱的目的是为了是驾驶员能够更好地对车外的驾驶环境进行了解,而现有的a柱的显示图像的视觉误差往往较大,导致驾驶员在a柱处看到的驾驶环境与真实环境存在一定的差异,容易影响驾驶员的判断。

    由于畸变会随视场增大而迅速增大,虽然并不影响图像清晰度,但是光学系统的畸变却直接影响成像的几何位置精度由于畸变的存在,空间的一条直线在像方就变成了一条曲线,造成了图像的失真。在视场比较小的光学系统中畸变不显著,但大视场光学系统就必须采取措施来消除畸变带来的影响。畸变的存在不利于图像的辨认、分析和判断。若摄像机成像后图像畸变较大,则换算为空间距离后将是个不小的误差,这在高精度三维立体测量、视觉检测、运动测量中是不允许的。为了提高图像检测、模式匹配等定量分析的准确性,必须对这一类畸变进行矫正,而且矫正精度将直接影响定量分析的精度。由一幅变形图像恢复其原貌,从而使图像可识别性大大提高。

    基于此,本发明提出一种图像的反畸变方法,以提高a柱的图像呈现效果。

    在本发明实施例中,所述图像的反畸变方法,应用于汽车,具体的,应用于汽车的电子设备,所述图像的反畸变方法的执行主体为所述汽车的电子设备的一个或多个处理器。

    请参阅图1,图1是本发明实施例提供的一种汽车的硬件架构示意图;

    如图1所示,该汽车100包括:摄像头10、电子设备20以及a柱30,其中,所述a柱30包括一显示屏31,所述摄像头10以及所述a柱均通信连接所述电子设备20。

    具体的,所述摄像头10设置于所述汽车100的外部,通信连接所述电子设备20,用于实时采集车外的原始图像,并将所述原始图像发送到所述电子设备20。

    具体的,所述电子设备20,分别与所述摄像头10以及所述a柱30通信连接,例如:电子设备20与所述摄像头10以及所述a柱30通过线缆或无线连接,例如:通过2g、3g、4g、5g、局域网、蓝牙等方式进行通信连接,用于接收摄像头10采集到的原始图像,并对所述原始图像进行反畸变处理,以得到反畸变处理后的原始图像,并将所述反畸变处理后的原始图像发送到所述a柱30的显示屏31,以使所述显示屏31显示所述反畸变处理后的原始图像,在本发明实施例中,所述电子设备20包括但不限于:

    (1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类电子设备包括:智能手机(例如iphone)、多媒体手机、功能性手机,以及低端手机等。

    (2)移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类电子设备包括:pda、mid和umpc设备等,例如ipad。

    (3)便携式娱乐设备:这类设备可以显示和播放视频内容,一般也具备移动上网特性。该类设备包括:视频播放器,掌上游戏机,以及智能玩具和便携式车载导航设备。

    (4)其他具有视频播放功能和上网功能的电子设备。

    具体的,所述a柱30内部安装有显示屏31,在本发明实施例中,所述显示屏为柔性显示屏,通过将摄像头10获取的原始图像传输到a柱内部的柔性显示屏,从而实现a柱部分的透明化。

    柱状透明a柱虽然保持了传统a柱的牢固性,又能让驾驶员的视线能清晰地穿透它看清路况,但是由于柱状显示的显示屏是弯曲状态而不是平面状态,那么在柱状显示平面图时,进入视野的平面图会发生严重的弯曲也就是说,输出到屏幕上的直线看到的效果是弯曲的。为了解决这个问题那么就需要在原始的图像做一个方向相反的弯曲,从而保证显示出来的结果是直线。

    请参阅图2,图2是本发明实施例提供的一种原始图像的示意图;

    如图2所示,该原始图像为棋盘格图像,通常情况下平面的棋盘格橫平竖直,原始平面上的像素点的直线呈现一种线性关系。

    请再参阅图3,图3是本发明实施例提供的一种逆向弯曲的原始图像的示意图;

    由于汽车的a柱设置的显示屏一般为弯曲的,在将显示屏进行弯曲之后由于屏幕上的像素点到人眼的距离不再符合线性关系,因此,显示屏上的直线就发生了弯曲,那么当原始图像输入到曲面的显示屏之后,进入视野的平面图会发生严重的弯曲,也就是说,输出到显示屏上的直线看到的效果是弯曲的,因此,为了解决弯曲的问题,就需要在原始图像上进行一个方向相反的弯曲,即逆向弯曲,从而保证显示的效果是直线的,如图3所示中的图像即为经过逆向弯曲的原始图像。

    在本发明实施例中,所述a柱设置的显示屏为柱状曲面,柱状曲面这里指的是整个显示屏幕所平铺的对象,也可以理解为显示屏幕粘贴在了一个柱体上,这里也可以不是柱体可以是一面是平面一面是弧或者两面都是平面(这时就是一个三角体)。如果面为其他形式而非柱体,那么需要知道该面的空间位置函数。柱面则符合正弦余弦函数,而平面则符合线性函数,在知道面的相似函数的情况下可以得到该面上像素点位置的函数从而计算出空间位置。

    下面以本发明实施例中的a柱的显示屏为曲面为例,进行解释说明。

    请参阅图4,图4是本发明实施例提供的一种图像的反畸变方法的流程示意图;

    如图4所示,该图像的反畸变方法,应用于汽车,其中,所述汽车包括电子设备,所述电子设备用于执行本发明中的图像的反畸变方法,所述汽车设置有a柱以及摄像头,所述a柱设置有显示屏,所述显示屏设置于所述a柱的内侧,所述显示屏为柔性显示屏,其中,所述a柱为透明a柱,所述方法包括:

    步骤s10:实时获取摄像头采集到的原始图像;

    具体的,所述摄像头为车外摄像头,用于获取a柱所在位置对应的环境的图像,即实时采集原始图像,所述摄像头将实时采集到的原始图像发送到所述电子设备,以使所述电子设备实时获取摄像头采集到的原始图像。

    步骤s20:实时获取驾驶员当前的眼椭圆坐标,根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数;

    在本发明实施例中,在实时获取驾驶员当前的眼椭圆坐标的步骤之前,所述方法还包括:

    对所述原始图像进行像素点采集,确定多个采集点。具体的,所述对所述原始图像进行像素点采集,确定采集点,包括:

    对所述原始图像的每一行以及每一列的像素点,每间隔预设数量的像素点取一像素点作为采集点,以确定多个采集点。

    具体的,由于本发明所做的反畸变效果处理是配合驾驶员监控系统(drivermonitoringsystem,dms)使用的,因此需要每帧检测新的人眼位置绘制新的图表,所以速率是需要必要考虑的因素,这里采用的办法是每隔2^n次方采集一个点进行计算移动,再在最终结果进行插值。

    具体的,对所述原始图像的每一行以及每一列的像素点,每间隔预设数量的像素点取一像素点作为采集点,以确定多个采集点,在本发明实施例中,所述预设数量为2^n次方个像素点,其中,n为正整数。

    在本发明实施例中,为了保证原始图像不丢失,所述方法还包括:将所述原始图像的长度和宽度方向上的像素数量均增加预设数量的像素点,以满足采集点的要求,例如:先将图像的长宽都增加2^n–1个像素获得(原始宽度的像素数量 2^n–1)*(原始高度的像素数量 2^n–1)的矩阵,最终获得的采集点数满足要求。

    具体的,所述汽车设置有驾驶员监控系统(drivermonitoringsystem,dms),驾驶员监控系统通过眼动追踪,可以实时提供驾驶员的眼球的位置坐标数据,即眼椭圆坐标,通过dms系统能够实时获取驾驶员当前的眼椭圆坐标。

    请再参阅图5,图5是图4中的步骤s20的细化流程图;

    如图5所示,该步骤s20:根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数,包括:

    步骤s21:建立空间坐标系,将所述眼椭圆坐标确定为空间坐标原点;

    具体的,将实时获取到的眼椭圆坐标确定为空间坐标原点,建立空间坐标系,其中,所述空间坐标系与世界坐标系的x轴、y轴以及z轴的方向相同。

    步骤s22:确定所述显示屏的每一角点的坐标位置信息;

    具体的,所述显示屏为曲面显示屏,所述角点指的是所述曲面显示屏的四个角所在的位置,请参阅图6,图6是本发明实施例提供的一种曲面显示屏的示意图;

    如图6所示,点u、f、b、d为所述显示屏的角点,其中,假设驾驶员的眼睛所在位置,即眼椭圆坐标为空间坐标原点,其命名为e,屏幕的四个角点分别被命名为上角点(u)、下角点(d)、前角点(f)以及后角点(b)便于描述,其中,显示屏的四个角点均在同一平面。

    步骤s23:根据所述眼椭圆坐标与每一角点的坐标位置信息,确定每一像素点的偏移参数,其中,所述像素点的偏移参数包括所述像素点的偏移量,所述像素点的偏移量为横向位移像素值。

    具体的,假设上角点u(x1,y1,z1),下角点d(x2,y2,z2),前角点f(x3,y3,z3),后角点b(x4,y4,z4),并且,显示屏形成的柱面的弧半径为r,显示屏的分辨率为h*w(h、w均为整数),显示屏一个像素的边长为a(这里假设像素单元格都是正方形,如果像素单位不为正方形,则设定为a,b,其中,b=δa,δ是b转换为a的比例系数。)那么显示区域的大小为ah*bw。

    具体的,所述根据所述眼椭圆坐标与每一角点的坐标位置信息,确定每一像素点的偏移参数,包括:

    确定所述显示屏的轴线的最近点和最远点对应的夹角;

    具体的,线段mm’为所述显示屏的轴线,所述轴线的最近点为m’点,所述轴线的最远点为m点,假设轴线的最远点对应的夹角为θ,即线段em与直线mm’的夹角为θ,则轴线的最近点对应的夹角为(90-θ),即线段em’与直线mm’的夹角为(90-θ)。

    根据所述轴线的最近点和最远点对应的夹角,确定轴线上的每一像素点的偏移参数;

    根据所述轴线上的每一像素点的偏移参数,确定非轴线上的每一像素点的偏移参数。

    具体的,所述根据所述轴线的最近点和最远点对应的夹角,确定轴线上的每一像素点的偏移参数,包括:

    假设所述空间坐标原点为e点,所述显示屏的上角点为u点,坐标位置为u(x1,y1,z1),下角点为d点,坐标位置为d(x2,y2,z2),前角点为f点,坐标位置为(x3,y3,z3),后角点为b点,坐标位置为(x4,y4,z4),所述曲面显示屏形成的柱面的弧半径为r,分辨率为h*w,其中,h为长度方向对应的像素数量,w为宽度方向对应的像素数量,所述显示屏的一个像素的长度、宽度分别为a、b,则所述曲面显示屏的显示区域的大小为ah*bw;

    则线段df或线段ub所在的弧对应的夹角为180*bw/πr,假设df线段中点为ub线段的中点为假设弧df上的中点为o,弧ub上的中点为o’,其中,点m到点o与点m’到点o’的距离相等,即mo=m’o’=r(1-180*bw/2πr),其中,线段mm’为显示屏的轴线;

    假设过点m与点m’的直线的向量为(xm,ym,zm),其中,

    其中,e点到直线mm’的距离d为

    其中,e点到m’点的距离为

    假设e点到直线mm’的距离为l,则

    假设线段em’与直线mm’的夹角为θ,θ的取值范围为(0,90),则

    其中,线段em与直线mm’的夹角为90-θ,则e点到m点的连线在曲面上的交点在长度方向上发生的位移为r(1-cos(180*bw/2πr))*tan(90-θ);

    则确定线段oo’上的每一像素点的偏移参数为r(1-cos(180*bw/2πr))*tan(90-θ)/a。

    其中,线段oo’上的每一像素点均对应一个夹角,即em’与直线mm’的夹角θ,而显然对于同一块屏幕而言短边上的像素个数是不变的,也就是与uf/db平行方向上的每行像素对应的正弦值都是不变的。虽然正弦值不变但是θ是变化的,也就是说uf/db平行方向上的每行像素并不是固定值,而是由e与dfub所在平面的夹角决定(也就是90-θ)。因此,通过确定线段oo’上的每一像素点对应的偏移量,结合与uf/db平行方向上的每行像素对应的正弦值,可以确定所述显示屏上的每一像素点的偏移量。

    具体的,所述根据所述轴线上的每一像素点的偏移参数,确定非轴线上的每一像素点的偏移参数,包括:

    确定非轴线上的每一像素点的偏移参数为:

    r(1-cos(180*bw/2πr))*tan(90-θ)/a*sin((180/w)*n),其中,r为所述曲面显示屏形成的柱面的弧半径,b为所述显示屏的一个像素的宽度,w为宽度方向对应的像素数量,θ为线段em’与直线mm’的夹角,n为某一像素点对应的像素数量。

    可以理解的是,由于轴线与非轴线之间的距离呈现一定的规律,即中心一行与其余行的距离呈现规律变换,因此可以通过拟合的方式确定其余行的偏移参数,其中,拟合为正弦函数,即根据非轴线上的像素点与轴线上的像素点的位置关系,确定非轴线上的每一像素点的偏移参数,即确定非轴线上的每一像素点的偏移参数为:

    r(1-cos(180*bw/2πr))*tan(90-θ)/a*sin((180/w)*n),其中,r为所述曲面显示屏形成的柱面的弧半径,b为所述显示屏的一个像素的宽度,w为宽度方向对应的像素数量,θ为线段em’与直线mm’的夹角,n为某一像素点对应的像素数量。

    请再参阅图7,图7是本发明实施例提供的另一种曲面显示屏的示意图;

    假定长边是ah,短边是bw。长边不发生弯曲,短边发生弯曲。短边(bw)的圆弧所在的圆的半径为r。那么弯曲的短边对应的弧度(也就是df/ub所在的弧所在的圆上该端弧所对应的夹角)为180*bw/πr。

    假设df线段中点为ub线段的中点为假设弧df上的中点为o,ub弧上的中点为o’。

    其中,点m到点o与点m’到点o’的距离相等,即mo=m’o’=r(1-180*bw/2πr)。

    其中,过点m与点m’的直线的向量可以表示为在此将其简写为(xm,ym,zm)。

    其中,e点到直线mm’的距离d为

    其中,e点到m’点的距离为

    其中,e点到直线mm’的距离为l,即由e做一条垂直于直线mm’,交点也是垂足为l,则el=l,由直角三角形勾股定理,可得:

    其中,计算e点与m’点的连线与直线mm’的夹角,即em’与直线mm’的夹角,可以通过arcsin函数获得,假设em’与直线mm’的夹角为θ,则

    由于参考点是沿着m-m’运动的,也就是说夹角的最大值是在m点处,最小值在m’点处,由正弦函数进行模拟,可以认为em与直线mm’的夹角为90-θ。

    其中,从e点到m点的连线在曲面上的交点在长边(距离为ah)的方向上发生的位移为r(1-180*bw/2πr)*tan(90-θ),因此,长边(距离为ah)的方向上发生的位移(mm)再将该值转化为像素数量就可以得到平移像素个数的具体结果为r(1-cos(180*bw/2πr))*tan(90-θ)/a。

    可以理解的是,由于夹角的最大值是在m点处,最小值在m’点处,因此r(1-180*bw/2πr)*tan(90-θ)/a为最远距离,拟合为正弦函数就是最高位的1。从最高位到uf和db的结果是对称的就类似正弦的0值。从1到0符合正弦函数。因此从oo’到uf/db的值可以按照其短边(bw)的像素个数对应出正弦值,具体的,所述根据所述轴线上的每一像素点的偏移参数,确定非轴线上的每一像素点的偏移参数,包括:

    确定非轴线上的每一像素点的偏移参数为:

    r(1-cos(180*bw/2πr))*tan(90-θ)/a*sin((180/w)*n),其中,r为所述曲面显示屏形成的柱面的弧半径,b为所述显示屏的一个像素的宽度,w为宽度方向对应的像素数量,θ为线段em’与直线mm’的夹角,n为某一像素点对应的像素数量,可以理解的是,每一像素点均对应一个像素数量n,并且n的取值范围为(0,w)。举例说明:假设宽度方向,即bw方向上有w个像素,那么最高点sin90的时候正好为第n个像素且n=m/2个像素的时候,此时转换公式为r(1-cos(180*bw/2πr))*tan(90-θ)/a*sin90。通过确定非轴线上的每一像素点对应的像素数量,从而确定非轴线上的每一像素点的偏移参数。

    可以理解的是,对于同一个显示屏而言,短边上的像素个数是不变的,也就是与uf/db平行方向上的每行像素对应的正弦值都是不变的。但是,em’与直线mm’的夹角θ是变化的,也就是说uf/db平行方向上的每行像素并不是固定值,而是由e点与dfub所在平面的夹角决定(也就是90-θ)。

    步骤s30:确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;

    可以理解的是,由于摄像头采集范围过大,例如:摄像头采集的原始图像的大小为:1920*1080,所以需要取原始图像中的某一部分放大至整个屏幕,而反畸变算法是针对的透明a柱的曲面屏所做的反畸变校正,所以反畸变算法只针对原始图像中的某一部分。

    请一并参阅图8a和图8b,图8a是本发明实施例提供的一种透明a柱的示意图,图8b是本发明实施例提供的一种曲面显示屏的显示效果的示意图;

    如图8a所示,在透明a柱处的曲面显示屏显示,如图8b所示,可以看见格子墙面呈现明显畸变效果,其中包括形变以及局部放大和局部挤压,该图像的(0,0)点位于右下。

    请再参阅图9,图9是本发明实施例提供的一种图像的显示效果的示意图;

    若要使画面呈现正常显示,需对图像进行反向畸变,需呈现的效果如图9所示,(0,0)点位于左上位置。

    请再参阅图10,图10是本发明实施例提供的一种将图像映射到裁剪区域的示意图;

    其中,如图9所示的图像需先进行中间挤压,再进行形变,才可以达到目标效果。又因为只需裁剪中间某一部分放大到整体屏幕,所以需要把对整体屏幕所做的反畸变处理映射到该区域内,以便放大至全屏时,能对屏幕做反畸变处理,显示的效果如图10所示。

    请再参阅图11,图11是图4中的步骤s30的细化流程图;

    如图11所示,该步骤s30:确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像,包括:

    步骤s31:确定所述裁剪区域的裁剪原点、裁剪宽度以及裁剪长度,以确定所述原始图像中的裁剪区域;

    步骤s32:根据原始图像的原始宽度、原始长度以及所述裁剪宽度、裁剪长度,确定所述裁剪区域与原始图像的映射关系;

    具体的,根据所述原始图像的图像大小与裁剪区域的图像大小的比例,结合所述原始图像与裁剪区域的位置关系,确定所述裁剪区域与原始图像的映射关系。

    步骤s33:根据所述映射关系,遍历所述裁剪区域内的每一像素点的映射坐标。

    具体的,根据所述映射关系,基于所述裁剪区域内的每一像素点的坐标位置信息,确定每一像素点的映射坐标。

    在本发明实施例中,所述方法还包括:

    根据所述裁剪区域内的每一像素点的映射坐标,确定每一像素点的偏移参数。

    可以理解的是,所述映射坐标与所述原始图像的坐标对应,通过确定原始图像中对应坐标的像素点的偏移参数,从而确定每一映射坐标的偏移参数,从而确定每一像素点的偏移参数。

    步骤s40:根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;

    具体的,请再参阅图12,图12是图4中的步骤s40的细化流程图;

    如图12所示,该步骤s40:根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    步骤s41:确定所述原始图像映射到所述裁剪区域的移动位移,构造形变函数;

    具体的,当所述原始图像被挤压到所述裁剪区域时,所述原始图像中的像素点会产生一定的移动位移,因此,需要确定所述原始图像映射到所述裁剪区域的移动位移。

    步骤s42:根据所述每一像素点的偏移参数,结合所述形变函数,确定每一像素点的横向位移;

    步骤s43:根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像。

    请再参阅图15,图15是图12中的步骤s43的细化流程图;

    如图15所示,该步骤s43:根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    步骤s431:根据所述横向位移,确定每一像素点的映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息;

    步骤s432:根据每一映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息,插值确定裁剪区域中的其他像素点的坐标位置信息,以确定反畸变处理后的裁剪区域图像。

    具体的,下面举例说明反畸变的具体处理过程:

    (1)输入的图像大小为imgwidth*imgheight,由于需要对图像的宽高都每隔2^n次方进行采集,得到horgridnum=imgwidth/2^n,vergridnum=imgheight/2^n,为了保证原始图像不丢失,所以先将原始图像的长宽都增加2^n–1个像素点,从而获得(imgwidth 2^n–1)*(imgheight 2^n–1)的矩阵,最终获得的采集点的数量为horgridnum*vergridnum。

    (2)得到裁剪的裁剪原点的坐标为(a1,a2),裁剪的范围为cutwidth*cutheight,该裁剪区域可以表示为(a1,a2,cutwidth,cutheight),对裁剪区域内的坐标点的x、y坐标减去(a1,a2)使图像左上角的点归0,然后根据原始图像的长宽imgwidth、imgheight与裁剪图像的长宽cutwidth、cutheight的比率,从而得出裁剪区域到原始图像的映射关系。

    (3)遍历该区域内的点horgridnum*vergridnum,得到每个点的映射坐标为:

    remapx=imgwidth/cutwidth*(x–a1);

    remapy=imgheight/cutheight*(y–a2);

    即得到每个点的映射坐标(remapx,remapy),之后的形变计算则通过所述映射坐标来进行计算。

    (4)根据dms系统得出偏移参数amplitude;

    (5)通过计算将原始图像映射到裁剪区域需移动的移动位移,构造形变函数,由于原始图像是以y值进行移动来达到形变效果,以中心位置作为基准,从0到imgheight,距离原图中心点y值(center.y)的位移是由负到正的,观察图像可知,若要使两边有放大的效果,则需要在原图该位置尽可能的重复采集像素,同理,中间狭窄则是因为采集的像素少,以至看起来有缩小的效果,所以0到imgheight到中心点y值的距离表示可以用sin函数标识,请参阅图13,图13是本发明实施例提供的一种sin图像的示意图;

    如图13所示,0到imgheight到中心点y值的距离表示可以用sin函数标识,其范围为(-π/2,π/2):

    可以立即的是,要使两端分布密集,中间稀疏的话,其x的变化函数可采用arctan函数,请参阅图14,图14是本发明实施例提供的一种arctan图像的示意图;

    如图14所示,x越小或x越大,其y值变化越小:

    综上所述,构造的形变函数如下:

    theta=arctan(((remapy-center.y)/imgheight));

    srcy=center.y amgnitude*sin(theta);

    其中,srcy为形变之后的像素点的y轴坐标,amplitude为偏移参数,theta为像素点对应的夹角。

    请再一并参阅图16a和图16b,图16a是本发明实施例提供的一种原始图像未被挤压之前的示意图;图16b是本发明实施例提供的一种原始图像被挤压之后的示意图;

    如图16a所示,原始图像未被挤压之前呈现像素点的宽高一致,而如图16b所示,原始图像在被挤压之后,部分像素点的宽高呈现明显不一致的情形。

    (6)根据amplitude进行形变,图像呈现y方向的sin或cos函数波形显示,设x方向的位移delta=asin(n2πt φ) b,因要取的位置为无偏移的sin函数正方向上的大于等于0的部分;

    请再参阅图17,图17是本发明实施例提供的另一种sin图像的示意图;

    如图17所示,可知φ、b=0,此处只取原图的半个周期,所以最后得出公式为:delta=asin(nπt),而根据dms得出形变位移amplitude则赋值给a作为幅度值,即a=amplitude,t=1,而自变量取y值与imgheight的比值。

    delta=amplitude*sin((remapy/imgheight)*π),其中,delta为像素点的横向位移。

    (7)对映射进原图的采集点做了形变位移之后,区域内的点也对应映射做出了相应的位移,然后采用图像插值算法对裁剪区域中的其他像素点的坐标位置信息进行插值。

    具体的,对裁剪区域中的其他像素点的坐标进行插值。具体的,通过图像插值算法,对裁剪区域中的其他像素点的坐标进行插值,以确定反畸变处理后的裁剪区域图像。

    在本发明实施例中,所述图像插值算法包括但不限于:最近点插值法、双线性插值法、三次卷积法,优选地,本发明实施例通过双线性插值法进行插值。其中,双线性插值法是计算机视觉图像处理中常用的插值算法,其兼顾了插值精度要求和算法简洁性要求,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在两个方向分别进行一次线性插值。其原理是待插点像素值取原图像中与其相邻的4个点像素值的水平、垂直两个方向上的线性内插,即根据待采样点与周围4个邻点的距离确定相应的权重,从而计算出待采样点的像素值,例如:所述双线性插值为:f(i u,j v)=(1-u)(1-v)f(i,j) (1-u)vf(i,j 1) u(1-v)f(i 1,j) uvf(i 1,j 1)。

    请再参阅图18,图18是本发明实施例提供的一种反畸变处理后的裁剪区域图像的示意图。

    如图18所示,该反畸变处理后的裁剪区域图像的显示效果。

    步骤s50:将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;

    步骤s60:将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。

    在本发明实施例中,通过提供一种图像的反畸变方法,应用于汽车,所述汽车设置有a柱以及摄像头,所述a柱设置有显示屏,所述方法包括:实时获取摄像头采集到的原始图像;实时获取驾驶员当前的眼椭圆坐标,根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数;确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。通过实时获取驾驶员当前的眼椭圆坐标,结合a柱的显示屏的位置信息,确定原始图像中的像素点的偏移参数,并通过裁剪原始图像进行反畸变处理,以得到反畸变处理后的原始图像并进行图像显示,本发明实施例能够解决目前a柱呈现的图像效果不稳定的技术问题,提高a柱的图像呈现效果。

    请再参阅图19,图19是本发明实施例提供的一种图像的反畸变装置的结构示意图;其中,该图像的反畸变装置190,应用于汽车,所述汽车设置有a柱以及摄像头,所述a柱设置有显示屏,所述装置包括:

    原始图像获取单元191,用于实时获取摄像头采集到的原始图像;

    眼椭圆坐标获取单元192,用于实时获取驾驶员当前的眼椭圆坐标;

    偏移参数确定单元193,用于根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数;

    裁剪区域确定单元194,用于确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;

    反畸变处理单元195,用于根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;

    图像放大单元196,用于将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;

    图像显示单元197,用于将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。

    在本发明实施例中,所述偏移参数确定单元193,具体用于:

    建立空间坐标系,将所述眼椭圆坐标确定为空间坐标原点;

    确定所述显示屏的每一角点的坐标位置信息;

    根据所述眼椭圆坐标与每一角点的坐标位置信息,确定每一像素点的偏移参数,其中,所述像素点的偏移参数包括所述像素点的偏移量,所述像素点的偏移量为横向位移像素值。

    在本发明实施例中,所述根据所述眼椭圆坐标与每一角点的坐标位置信息,确定每一像素点的偏移参数,包括:

    确定所述显示屏的轴线的最近点和最远点对应的夹角;

    根据所述轴线的最近点和最远点对应的夹角,确定轴线上的每一像素点的偏移参数;

    根据所述轴线上的每一像素点的偏移参数,确定非轴线上的每一像素点的偏移参数。

    在本发明实施例中,所述显示屏为曲面显示屏,所述根据所述轴线的最近点和最远点对应的夹角,确定轴线上的每一像素点的偏移参数,包括:

    假设所述空间坐标原点为e点,所述显示屏的上角点为u点,坐标位置为u(x1,y1,z1),下角点为d点,坐标位置为d(x2,y2,z2),前角点为f点,坐标位置为(x3,y3,z3),后角点为b点,坐标位置为(x4,y4,z4),所述曲面显示屏形成的柱面的弧半径为r,分辨率为h*w,其中,h为长度方向对应的像素数量,w为宽度方向对应的像素数量,所述显示屏的一个像素的长度、宽度分别为a、b,则所述曲面显示屏的显示区域的大小为ah*bw;

    则线段df或线段ub所在的弧对应的夹角为180*bw/πr,假设df线段中点为ub线段的中点为假设弧df上的中点为o,弧ub上的中点为o’,其中,点m到点o与点m’到点o’的距离相等,即mo=m’o’=r(1-180*bw/2πr),其中,线段mm’为显示屏的轴线;

    假设过点m与点m’的直线的向量为(xm,ym,zm),其中,

    其中,e点到直线mm’的距离d为

    其中,e点到m’点的距离为

    假设e点到直线mm’的距离为l,则

    假设线段em’与直线mm’的夹角为θ,θ的取值范围为(0,90),则

    其中,线段em与直线mm’的夹角为90-θ,则e点到m点的连线在曲面上的交点在长度方向上发生的位移为r(1-cos(180*bw/2πr))*tan(90-θ);

    则确定线段oo’上的每一像素点的偏移参数为r(1-cos(180*bw/2πr))*tan(90-θ)/a。

    在本发明实施例中,所述根据所述轴线上的每一像素点的偏移参数,确定非轴线上的每一像素点的偏移参数,包括:

    确定非轴线上的每一像素点的偏移参数为:

    r(1-cos(180*bw/2πr))*tan(90-θ)/a*sin((180/w)*n),其中,r为所述曲面显示屏形成的柱面的弧半径,b为所述显示屏的一个像素的宽度,w为宽度方向对应的像素数量,θ为线段em’与直线mm’的夹角,n为某一像素点对应的像素数量。

    在本发明实施例中,在实时获取驾驶员当前的眼椭圆坐标的步骤之前,所述装置还包括:

    采集点确定单元(图未示),用于对所述原始图像进行像素点采集,确定多个采集点。

    在本发明实施例中,所述采集点确定单元,具体用于:

    对所述原始图像的每一行以及每一列的像素点,每间隔预设数量的像素点取一像素点作为采集点,以确定多个采集点。

    在本发明实施例中,所述确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像,包括:

    确定所述裁剪区域的裁剪原点、裁剪宽度以及裁剪长度,以确定所述原始图像中的裁剪区域;

    根据原始图像的原始宽度、原始长度以及所述裁剪宽度、裁剪长度,确定所述裁剪区域与原始图像的映射关系;

    根据所述映射关系,遍历所述裁剪区域内的每一像素点的映射坐标。

    在本发明实施例中,所述装置还包括:

    裁剪区域偏移参数单元(图未示),用于根据所述裁剪区域内的每一像素点的映射坐标,确定每一像素点的偏移参数。

    在本发明实施例中,所述根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    确定所述原始图像映射到所述裁剪区域的移动位移,构造形变函数;

    根据所述每一像素点的偏移参数,结合所述形变函数,确定每一像素点的横向位移;

    根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像。

    在本发明实施例中,所述根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    根据所述横向位移,确定每一像素点的映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息;

    根据每一映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息,插值确定裁剪区域中的其他像素点的坐标位置信息,以确定反畸变处理后的裁剪区域图像。

    在本发明实施例中,通过提供一种图像的反畸变装置的结构示意图;其中,该图像的反畸变装置,应用于汽车,所述汽车设置有a柱以及摄像头,所述a柱设置有显示屏,所述装置包括:原始图像获取单元,用于实时获取摄像头采集到的原始图像;眼椭圆坐标获取单元,用于实时获取驾驶员当前的眼椭圆坐标;偏移参数确定单元,用于根据所述眼椭圆坐标与显示屏的位置信息,确定偏移参数;裁剪区域确定单元,用于确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;反畸变处理单元,用于根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;图像放大单元,用于将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;图像显示单元,用于将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。通过实时获取驾驶员当前的眼椭圆坐标,结合a柱的显示屏的位置信息,确定原始图像中的像素点的偏移参数,并通过裁剪原始图像进行反畸变处理,以得到反畸变处理后的原始图像并进行图像显示,本发明实施例能够解决目前a柱呈现的图像效果不稳定的技术问题,提高a柱的图像呈现效果。

    请参阅图20,图20为本发明各个实施例的一种电子设备的硬件结构示意图;

    如图20所示,该电子设备200包括但不限于:射频单元201、网络模块202、音频输出单元203、输入单元204、传感器205、显示单元206、用户输入单元207、接口单元208、存储器209、处理器2010、以及电源2011等部件,所述电子设备200还包括摄像头。本领域技术人员可以理解,图20中示出的电子设备的结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于电视机、手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

    处理器2010,用于实时获取摄像头采集到的原始图像;实时获取驾驶员当前的眼椭圆坐标,根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数;确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。

    在本发明实施例中,通过实时获取驾驶员当前的眼椭圆坐标,结合a柱的显示屏的位置信息,确定原始图像中的像素点的偏移参数,并通过裁剪原始图像进行反畸变处理,以得到反畸变处理后的原始图像并进行图像显示,本发明实施例能够解决目前a柱呈现的图像效果不稳定的技术问题,提高a柱的图像呈现效果。

    应当理解的是,本发明实施例中,射频单元201可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器2010处理;另外,将上行的数据发送给基站。通常,射频单元201包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元201还可以通过无线通信系统与网络和其他设备通信。

    电子设备200通过网络模块202为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

    音频输出单元203可以将射频单元201或网络模块202接收的或者在存储器209中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元203还可以提供与电子设备200执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元203包括扬声器、蜂鸣器以及受话器等。

    输入单元204用于接收音频或视频信号。输入单元204可以包括图形处理器(graphicsprocessingunit,gpu)2041和麦克风2042,图形处理器2041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的目标图像进行处理。处理后的图像帧可以显示在显示单元206上。经图形处理器2041处理后的图像帧可以存储在存储器209(或其它存储介质)中或者经由射频单元201或网络模块202进行发送。麦克风2042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元201发送到移动通信基站的格式输出。

    电子设备200还包括至少一种传感器205,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板2061的亮度,接近传感器可在电子设备200移动到耳边时,关闭显示面板2061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器205还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。

    显示单元206用于显示由用户输入的信息或提供给用户的信息。显示单元206可包括显示面板2061,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板2061。

    用户输入单元207可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元207包括触控面板2071以及其他输入设备2072。触控面板2071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板2071上或在触控面板2071附近的操作)。触控面板2071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器2010,接收处理器2010发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板2071。除了触控面板2071,用户输入单元207还可以包括其他输入设备2072。具体地,其他输入设备2072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。

    进一步的,触控面板2071可覆盖在显示面板2061上,当触控面板2071检测到在其上或附近的触摸操作后,传送给处理器2010以确定触摸事件的类型,随后处理器2010根据触摸事件的类型在显示面板2061上提供相应的视觉输出。虽然在图20中,触控面板2071与显示面板2061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板2071与显示面板2061集成而实现电子设备的输入和输出功能,具体此处不做限定。

    接口单元208为外部装置与电子设备200连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元208可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备200内的一个或多个元件或者可以用于在电子设备200和外部装置之间传输数据。

    存储器209可用于存储软件程序以及各种数据。存储器209可主要包括存储程序区和存储数据区,其中,存储程序区可存储至少一个功能所需的应用程序2091(比如声音播放功能、图像播放功能等)以及操作系统2092等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器209可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

    处理器2010是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器209内的软件程序和/或模块,以及调用存储在存储器209内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器2010可包括一个或多个处理单元;优选的,处理器2010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器2010中。

    电子设备200还可以包括给各个部件供电的电源2011(比如电池),优选的,电源2011可以通过电源管理系统与处理器2010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

    另外,电子设备200包括一些未示出的功能模块,在此不再赘述。

    优选的,本发明实施例还提供一种电子设备,包括处理器2010,存储器209,存储在存储器209上并可在所述处理器2010上运行的计算机程序,该计算机程序被处理器2010执行时实现上述图像的反畸变方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

    本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被一个或多个处理器执行时实现上述图像的反畸变方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等。

    需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

    以上所描述的装置或设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的,作为模块单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

    通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是移动终端,个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

    最后应说明的是:以上结合附图描述的实施例仅用以说明本发明的技术方案,本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。


    技术特征:

    1.一种图像的反畸变方法,应用于汽车,其特征在于,所述汽车设置有a柱以及摄像头,所述a柱设置有显示屏,所述方法包括:

    实时获取摄像头采集到的原始图像;实时获取驾驶员当前的眼椭圆坐标,根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数;

    确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;

    根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;

    将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;

    将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。

    2.根据权利要求1所述的方法,其特征在于,所述根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数,包括:

    建立空间坐标系,将所述眼椭圆坐标确定为空间坐标原点;

    确定所述显示屏的每一角点的坐标位置信息;

    根据所述眼椭圆坐标与每一角点的坐标位置信息,确定每一像素点的偏移参数,其中,所述像素点的偏移参数包括所述像素点的偏移量,所述像素点的偏移量为横向位移像素值。

    3.根据权利要求2所述的方法,其特征在于,所述根据所述眼椭圆坐标与每一角点的坐标位置信息,确定每一像素点的偏移参数,包括:

    确定所述显示屏的轴线的最近点和最远点对应的夹角;

    根据所述轴线的最近点和最远点对应的夹角,确定轴线上的每一像素点的偏移参数;

    根据所述轴线上的每一像素点的偏移参数,确定非轴线上的每一像素点的偏移参数。

    4.根据权利要求3所述的方法,其特征在于,所述显示屏为曲面显示屏,所述根据所述轴线的最近点和最远点对应的夹角,确定轴线上的每一像素点的偏移参数,包括:

    假设所述空间坐标原点为e点,所述显示屏的上角点为u点,坐标位置为u(x1,y1,z1),下角点为d点,坐标位置为d(x2,y2,z2),前角点为f点,坐标位置为(x3,y3,z3),后角点为b点,坐标位置为(x4,y4,z4),所述曲面显示屏形成的柱面的弧半径为r,分辨率为h*w,其中,h为长度方向对应的像素数量,w为宽度方向对应的像素数量,所述显示屏的一个像素的长度、宽度分别为a、b,则所述曲面显示屏的显示区域的大小为ah*bw;

    则线段df或线段ub所在的弧对应的夹角为180*bw/πr,假设df线段中点为ub线段的中点为假设弧df上的中点为o,弧ub上的中点为o’,其中,点m到点o与点m’到点o’的距离相等,即mo=m’o’=r(1-180*bw/2πr),其中,线段mm’为显示屏的轴线;

    假设过点m与点m’的直线的向量为(xm,ym,zm),其中,

    其中,e点到直线mm’的距离d为

    其中,e点到m’点的距离为

    假设e点到直线mm’的距离为l,则

    假设线段em’与直线mm’的夹角为θ,θ的取值范围为(0,90),则

    其中,线段em与直线mm’的夹角为90-θ,则e点到m点的连线在曲面上的交点在长度方向上发生的位移为r(1-cos(180*bw/2πr))*tan(90-θ);

    则确定线段oo’上的每一像素点的偏移参数为r(1-cos(180*bw/2πr))*tan(90-θ)/a。

    5.根据权利要求4所述的方法,其特征在于,所述根据所述轴线上的每一像素点的偏移参数,确定非轴线上的每一像素点的偏移参数,包括:

    确定非轴线上的每一像素点的偏移参数为:

    r(1-cos(180*bw/2πr))*tan(90-θ)/a*sin((180/w)*n),其中,r为所述曲面显示屏形成的柱面的弧半径,b为所述显示屏的一个像素的宽度,w为宽度方向对应的像素数量,θ为线段em’与直线mm’的夹角,n为某一像素点对应的像素数量。

    6.根据权利要求1所述的方法,其特征在于,在实时获取驾驶员当前的眼椭圆坐标的步骤之前,所述方法还包括:

    对所述原始图像进行像素点采集,确定多个采集点。

    7.根据权利要求6所述的方法,其特征在于,所述对所述原始图像进行像素点采集,确定采集点,包括:

    对所述原始图像的每一行以及每一列的像素点,每间隔预设数量的像素点取一像素点作为采集点,以确定多个采集点。

    8.根据权利要求1所述的方法,其特征在于,所述确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像,包括:

    确定所述裁剪区域的裁剪原点、裁剪宽度以及裁剪长度,以确定所述原始图像中的裁剪区域;

    根据原始图像的原始宽度、原始长度以及所述裁剪宽度、裁剪长度,确定所述裁剪区域与原始图像的映射关系;

    根据所述映射关系,遍历所述裁剪区域内的每一像素点的映射坐标。

    9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

    根据所述裁剪区域内的每一像素点的映射坐标,确定每一像素点的偏移参数。

    10.根据权利要求9所述的方法,其特征在于,所述根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    确定所述原始图像映射到所述裁剪区域的移动位移,构造形变函数;

    根据所述每一像素点的偏移参数,结合所述形变函数,确定每一像素点的横向位移;

    根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像。

    11.根据权利要求10所述的方法,其特征在于,所述根据所述横向位移,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像,包括:

    根据所述横向位移,确定每一像素点的映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息;

    根据每一映射坐标在反畸变处理后的裁剪区域图像中的坐标位置信息,插值确定裁剪区域中的其他像素点的坐标位置信息,以确定反畸变处理后的裁剪区域图像。

    12.一种图像的反畸变装置,应用于汽车,其特征在于,所述汽车设置有a柱以及摄像头,所述a柱设置有显示屏,所述装置包括:

    原始图像获取单元,用于实时获取摄像头采集到的原始图像;

    眼椭圆坐标获取单元,用于实时获取驾驶员当前的眼椭圆坐标;

    偏移参数确定单元,用于根据所述眼椭圆坐标与显示屏的位置信息,确定所述原始图像的每一像素点的偏移参数;

    裁剪区域确定单元,用于确定所述原始图像中的裁剪区域,将所述原始图像映射到所述裁剪区域,以确定裁剪区域图像;

    反畸变处理单元,用于根据所述偏移参数,对所述裁剪区域图像进行反畸变处理,确定反畸变处理后的裁剪区域图像;

    图像放大单元,用于将所述反畸变处理后的裁剪区域图像放大到所述原始图像,生成反畸变处理后的原始图像;

    图像显示单元,用于将所述反畸变处理后的原始图像发送到所述a柱的显示屏,以使所述显示屏进行图像显示。

    13.一种电子设备,其特征在于,包括:

    至少一个处理器;以及,

    与所述至少一个处理器通信连接的存储器;其中,

    所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11任一项所述的图像的反畸变方法。

    14.一种汽车,其特征在于,包括:

    摄像头,用于采集原始图像;

    如权利要求13所述的电子设备,用于接收摄像头发送的原始图像以生成反畸变处理后的原始图像;

    a柱,用于接收电子设备发送的反畸变处理后的原始图像,其中,所述a柱设置有显示屏,用于显示所述反畸变处理后的原始图像。

    技术总结
    本发明实施例涉及汽车电子技术领域,公开了一种图像的反畸变方法、装置、电子设备及汽车,其中,该图像的反畸变方法应用于汽车,所述汽车设置有A柱以及摄像头,所述A柱设置有显示屏,所述图像的反畸变方法通过实时获取驾驶员当前的眼椭圆坐标,结合A柱的显示屏的位置信息,确定原始图像中的像素点的偏移参数,并通过裁剪原始图像进行反畸变处理,以得到反畸变处理后的原始图像并进行图像显示,本发明实施例能够解决目前A柱呈现的图像效果不稳定的技术问题,提高A柱的图像呈现效果。

    技术研发人员:付楠;彭俐思;康栋
    受保护的技术使用者:深圳疆程技术有限公司
    技术研发日:2020.12.23
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-16645.html

    最新回复(0)