光学传感装置及方法与流程

    专利2022-07-07  140


    分案信息

    本申请是基于“2018年03月21日申请的、申请号为201810234354.0、名称为光学传感装置、方法及光学侦测模块”的中国专利申请所进行的分案,并将其全部内容通过引用结合在本申请中。

    本申请涉及一种多重自由度的运动的机制,特别涉及一种能够估计多重自由度的运动的光学传感装置及方法。



    背景技术:

    一般来说,现有的追踪解决方案,例如是光学鼠标,典型上只追踪二维自由度的运动(沿着x轴与y轴变化的平移移动),而这样的追踪解决方案对于使用在三自由度的运动估计系统中,可以被扩展成追踪x-y平面沿着z轴的旋转运动;再者,其他的现有追踪解决方案可能额外采用了包含经由飞行时间测距或结构光操作/系统的一深度传感技术,通过这个额外采用的深度传感技术,可以达到追踪在z轴上的变化的平移移动数值、沿着x轴的旋转运动以及沿着y轴的旋转运动,然而,以上的技术是采用不同且非常复杂的处理方法或算法来追踪估计以得到上述的移动、旋转及深度传感的数值,所以实作上的系统均是非常复杂的。

    此外,另外的现有追踪解决方案也可能采用了立体摄像(stereoscopicimaging)的技术来侦测六自由度的运动,然而,这样的现有追踪解决方案除了需要采用复杂的摄像处理与比对操作外,也无可避免地需要采用两个图像传感器并将其间隔一定以上的位置距离才可运作。再者,其他现有的追踪解决方案采用了对象侦测及追踪的技术来侦测六自由度的运动,其原理是通过识别一个对象及追踪对象的运动,而这样的技术除了会增加计算复杂度之外,其缺点是容易发生当该对象移动至传感器的视场角外时会有追踪不到的状况。



    技术实现要素:

    因此,本申请的目的之一在于公开一种新的光学传感装置及方法,以解决上述的问题。

    根据本申请的实施例,系公开了一种能够估计多重自由度的运动的光学传感装置。光学传感装置包含一图像传感器、一镜头及一处理器,图像传感器具有包括多个图像区域的像素数组并用来感测及获取图帧,镜头用来改变所述图帧的多个部份图像的多个光学放大率,产生有多个不同视场角的多个重构后图像,所述图帧的所述多个部份图像分别对应于所述多个图像区域,以及处理器是耦接于所述镜头,并用来估计及得到所述多个重构后图像的运动结果,以估计所述光学传感装置的所述运动。

    根据本申请的实施例,另外公开了一种能够估计光学传感装置的多重自由度的运动的方法。该方法包含:提供图像传感器,所述图像传感器具有包括多个图像区域的像素数组以感测并获取图帧;提供并使用镜头来改变所述图帧的多个部份图像的多个光学放大率,产生具有多个不同视场角的多个重构后图像,所述图帧的所述多个部份图像分别对应于所述多个图像区域;以及估计并得到所述多个重构后图像的运动结果,以估计所述光学传感装置的所述多重自由度的运动。

    根据本申请的实施例,另外公开了一种能够估计多重自由度的运动的光学传感装置。光学传感装置包含一光学侦测模块及一处理器,光学侦测模块用来获取多个图帧,每一图帧包括多个子图像,所述每一图帧中至少有两个子图像的主要坐标轴具有不同方向,处理器耦接于所述光学侦测模块,并用来基于两个图帧中分别的至少两个子图像的变化,得到所述光学侦测模块的运动。

    根据本申请的实施例,另外公开了一种用来在多重自由度的运动装置中获取多个图帧的光学侦测模块,所述多重自由度的运动装置用来基于所述获取的多个图帧来估计出运动,所述光学侦测模块包含一图像数组,该图像数组至少被分割为两个区块以得到一个所获取的图帧中的两个子图像,其中所述两个区块的主要坐标轴具有不同方向。

    根据本申请的实施例的内容,相比于前述现有的追踪解决方案,本申请较有潜力及可能性可以同时实现在空间上更紧密及所需较少计算量的技术方案。在实施例中,采用了一个多区域景像处理技术并搭配单一类型的处理引擎来计算六自由度运动的运动数值,其区别性的特征优点在于因为是采用互相关计算来侦测六自由度的所有运动,所以可以达到较不复杂的实现或较少计算量,并且由于本申请的技术是追踪整个景像并非只是追踪特定的对象,所以不会有容易发生当对象移动至传感器的视场角外时追踪不到的状况,再者,因为不需要如现有技术一样将多个图像传感器间隔一定以上的位置距离才可运作,所以在实现装置时装置的空间设计可更为紧密,此外,因为只需要一套简单的硬件/光机设置就可以实现,所以也有较有成本经济的效益。

    附图说明

    图1是本申请实施例能够估计光学传感装置的多重自由度运动的方法流程图;

    图2是光学传感装置的实施例的方块图;

    图3是搭配有五个图像区域z1-z5的像素数组的实施例示意图;

    图4是搭配有五个图像区域z1-z5的像素数组的另一实施例示意图;

    图5是搭配有两个图像区域z1-z2的像素数组的实施例示意图;

    图6是搭配有三个图像区域z1-z3的像素数组的实施例示意图;

    图7是搭配有9个图像区域z1-z9的像素数组的实施例示意图;

    图8是采用该鱼眼类型镜头来改变分别对应于图3的图像区域z1-z5的五个部份图像的光学放大率的实施例示意图;

    图9是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的一范例示意图;

    图10是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图11是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图12是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图13是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图14是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图15是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图16是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图17是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图18是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图19是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图20是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图21是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图22是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图;

    图23是本申请实施例另一光学传感装置的方块示意图;

    图24是本申请实施例光学侦测模块/电路的方块示意图。

    其中,附图标记说明如下:

    200、2300光学传感装置

    205图像传感器

    205a像素数组

    210镜头

    215、2310处理器

    2305、2400光学侦测模块

    2405图像数组

    具体实施方式

    本申请旨在于公开一种追踪一个对象的多重自由度的运动的方法,例如,本申请是追踪对象的六自由度运动,也就是,沿着x轴、y轴、z轴的三个平移运动以及沿着x轴、y轴、z轴的三个旋转运动。

    请搭配参照图1与图2,图1是本申请实施例能够估计光学传感装置的多重自由度运动的方法流程图,所述的方法是应用在光学传感器的装置,例如是穿戴式电子装置、头盔装置、虚拟现实头盔显示设备等等(但不限定),在其他实施例,所述光学传感装置也可以是一个无人驾驶航空器装置(unmannedaerialvehicle(uav)device)或无人飞机系统装置(unmannedaircraftsystem(uas)device),图2是光学传感装置200的实施例的方块图,倘若可达到相同的结果,并不需要一定照图1所示之流程中的步骤顺序来进行,且图1所示之步骤不一定要连续进行,亦即其他步骤亦可插入其中;本发明的方法的流程步骤详述如下:

    步骤105:开始;

    步骤110:使用光学传感装置200,感测并获取具有多个部份图像的一或多个图帧;

    步骤115:改变一或多个图帧的多个部份图像的多个光学放大率(opticalmagnification),产生具有多个不同视场角(fieldofview,fov)的多个重构后图像;

    步骤120:估计多个重构后图像的多个运动结果,以估计光学传感装置200的多重自由度的运动;以及

    步骤125:结束。

    上述多重自由度的运动例如是六自由度运动(six-degrees-of-freedom(6-dof)motion)或三自由度的运动(three-degrees-of-freedom(3-dof)motion),这并非本申请的限制,例如,光学传感装置200可用来侦测或感测光学传感装置200本身分别沿着多个主要坐标轴的移动、旋转及其他类型的运动等,实作上,光学传感装置200本身实现具有上述的方法并能够估计本身的六自由度的运动,光学传感装置包含有具有一像素数组(pixelarray)205a的一图像传感器205、一镜头210以及一处理器215。

    像素数组205a具有多个图像区域,每一个图像区域具有多个传感像素单元并用来感测及获取一或多个图帧,例如,在优选实施例,像素数组205a的多个传感像素单元分别被分类或分组为如图3所示的五个图像区域z1-z5,图3是搭配有五个图像区域z1-z5的像素数组205a的实施例示意图,在像素数组的基底的像素区300内,图像区域z5代表一个中央正方形区域,而图像区域z1-z4分别代表不同的长方形区域,例如左上方图像区域z1、右上方图像区域z2、左下方图像区域z4以及右下方图像区域z3。

    另外,在其他实施例,像素数组205a也可以被设计为具有如图4所示的五个图像区域,图4是搭配有五个图像区域z1-z5的像素数组205a的另一实施例示意图,在像素数组的基底的像素区400内,每一个图像区域z1-z5是分别位于不同位置的正方形区域,也就是,五个图像区域z1-z5具有一个中央图像区域以及多个周边的图像区域,例如四个周边的图像区域(但非本申请的限制)。

    另外,在其他实施例,像素数组205a也可以被设计为具有如图5所示的多个图像区域,图5是搭配有两个图像区域z1-z2的像素数组205a的实施例示意图,在像素数组的基底的像素区500内,两个图像区域z1、z2均是正方形区域,例如是左上方图像区域z1与右下方图像区域z2;而这并非本申请的限制,上述多个图像区域也可以意指为包括从图帧内的一左上方图像区域、一右上方图像区域、一左下方图像区域以及一右下方图像区域中所选出的至少两个图像区域。

    另外,在其他实施例,像素数组205a也可以设计为具有如图6所示的三个图像区域,图6是搭配有三个图像区域z1-z3的像素数组205a的实施例示意图,在像素数组的基底的像素区600内,三个图像区域z1-z3分别为正方形的图像区域,例如是左上方图像区域z1、右上方图像区域z2以及左下方图像区域z3。

    另外,在其他实施例,像素数组205a的多个传感像素分别被分类或分组为如图7所示的9个图像区域,图7是搭配有9个图像区域z1-z9的像素数组205a的实施例示意图,在像素数组的基底的像素区700内,如图7所示,9个图像区域z1-z9均分别是正方形图像区域并形成一个九宫格,如前所述,像素数组205a可以设置为具有至少两个图像区域,而该至少两个图像区域可以具有不同大小及/或不同形状的图像区域。

    上述多个图像区域,例如图3所示的区域z1-z5分别对应于一个图帧区域的五个部份图像,在步骤115,对于产生所获取的每一个图帧来说,镜头210被设置用来改变该图帧的多个部份图像的多个光学放大率以产生具有多个不同视场角的多个重构后图像,而该图帧的多个部份图像则分别有关于上述的多个图像区域,实作上,镜头210可以与搭配有桶形失真(barreldistortion)功能的一鱼眼类型(fisheye)镜头使用以改变图帧的多个部份图像的多个光学放大率。

    图8是采用该鱼眼类型镜头来改变分别对应于图3的图像区域z1-z5的五个部份图像的光学放大率的实施例示意图,如图8所示,在图像区域z1-z5的多个图像分别被搭配有不同的光学放大率的鱼眼类型镜头所处理,以产生对应的具有多个不同视场角的多个重构后图像,仿真在光学传感装置200的视角所看到的多个三维空间图像,应注意,镜头210也可以和其他不同类型的镜头来搭配使用及/或镜头210本身也是可选的(optional),此外,其他实施例中,镜头210也可以采用多个子镜头单元来实现。

    在步骤120,耦接至镜头210的处理器215被设置用来估计并得到上述多个重构后图像中每一重构后图像的运动结果,以估计光学传感装置200的六自由度运动,多个重构后图像分别对应于多个不同的运动方向,处理器215可以根据与至少一个重构后图像有关的至少一个运动方向,来产生光学传感装置200的运动结果,具体来说,以六自由度运动的例子来看,处理器215用来通过参考如图8所示的所有多个重构后图像的多个运动结果(多个运动方向及/或多个运动矢量的大小),先将光学传感装置200的六自由度运动初步分类为一种特别运动类型(或移动型样),接着基于所述多个运动结果并通过参考该特别运动类型,估计出光学传感装置200的六自由度运动;处理器215被安排用来通过参考与所有多个重构后图像的多个运动结果有关的一或多个运动方向及/或运动大小,判断出该特别运动类型,此外,每一个重构后图像的对应的运动方向和运动矢量均可以通过采用光流侦测机制来算出或估计出。

    例如,当用户头部穿戴上光学传感装置200时,光学传感装置200能够通过感测产生多个重构后图像并侦测多个重构后图像的运动来侦测出光学传感装置200的移动或运动(例如六自由度运动),以监控或侦测/感测用户头部的移动或运动,具体来说,对于图3的五个图像区域z1-z5的例子来看,镜头210用来产生分别对应于图像区域z1-z5的多个重构后图像,而处理器215用来侦测每一个重构后图像的移动或运动,分别产生五个运动结果(五个运动矢量),应注意,多个重构后图像的多个运动结果的数量系取决于图像区域的数量,然而上述例子并非是本申请的限制,在其他例子中,如果图像区域的数量等于9,也就是如图7所示的九宫格,则多个重构后图像的多个运动结果的数量会等于9。

    在另一实施例,处理器215用来通过参考多个重构后图像的多个运动结果的多个运动方向/大小,先将光学传感装置200的六自由度运动初步分类为一种特别运动类型(或移动型样),而在通过参考与所有多个重构后图像的多个运动结果有关的多个运动方向/大小来判断出该特别运动类型之后,处理器215接着通过参考该特别运动类型与该多个运动结果,精确地计算光学传感装置200的六自由度运动。在其他实施例,处理器215也可以直接基于该多个运动结果而精确地计算出光学传感装置200的六自由度运动,不需要先将光学传感装置200的六自由度运动初步地分类为一种特别运动类型。

    应注意,上述六自由度运动的特别运动类型可以指的是包括向左运动、向右运动、向上运动、向下运动、滚转运动(rollmovement)、偏航运动(yawmovement)以及俯仰运动(pitchmovement)中的至少一个运动类型及/或其任意的组合,而这些变型均并非是本申请的限制。

    图9是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的一范例示意图,在这个例子以及后续的例子,光学传感装置200可以被置放于用户的前额,但这并非是本申请的限制。如图9所示,处理器215可以判断或侦测出图像区域z1-z4的多个图像具有相同的移动大小但分别具有不同的移动方向(向左、向上、向右、向下)并且图像区域z5的图像不具有任何移动(没有任何移动方向),处理器215接着可以判断出用户头部正相应地向前移动,例如,处理器215可以计算出图像区域z1-z5的多个运动以得到多个运动结果dx1-dx5及dy1-dy5,其可分别被下述等式所表示:

    dx1=(rz2-rz1)×tan(α2);dy1=0;

    dx2=0;dy2=(rz2-rz1)×tan(α2);

    dx3=(rz2-rz1)×tan(α2);dy3=0;

    dx4=0;dy4=(rz2-rz1)×tan(α2);

    dx5=0;dy5=0;

    其中dx1及dy1(一运动矢量的x轴分量及y轴分量)所表示是图像区域z1的图像的移动方向及移动距离大小,dx2及dy2(另一运动矢量的x轴分量及y轴分量)所表示是图像区域z2的图像的移动方向及移动距离大小,dx3及dy3(另一运动矢量的x轴分量及y轴分量)所表示是图像区域z3的图像的移动方向及移动距离大小,dx4及dy4(另一运动矢量的x轴分量及y轴分量)所表示是图像区域z4的图像的移动方向及移动距离大小,dx5及dy5(另一运动矢量的x轴分量及y轴分量)所表示是图像区域z5的图像的移动方向及移动距离大小,α2所表示是图像区域z5的锥面可视角度(viewingconeangle),rz1及rz2是指被进行估计的该六自由度运动的真实/实际运动或移动的参数,更精确地说是指估计光学传感装置200沿着z轴实际上从一位置值rz1移动至另一位置值rz2的状况,例如rz1的值可以大于rz2的值。

    在这个例子,所显示是图像区域z1-z4的多个图像具有相同的移动大小但分别具有不同的移动方向(向左、向上、向右、向下)并且图像区域z5的图像不具有任何移动(没有任何移动方向),如果侦测到这种情况,处理器215可以判断出用户头部是相应地往前移动,并接着将该六自由度运动的一运动类型先初步分类为一向前移动类型或一向前移动型样,接着,处理器215会基于上述至少一个等式、dx1-dx5与dy1-dy5的值以及锥面可视角度α2的值,来计算或算出rz1及rz2的值,而在算出rz1及rz2的值之后,处理器215就可以估计出该六自由度运动的向前移动距离,得到光学传感装置200的精确的六自由度运动结果。

    此外,另一实施例,处理器215也可以直接根据基于所有多个图像区域所计算出的多个运动方向,判断用户的动作或行为状态(例如向前/向后移动、跳跃、蹲下或旋转及其他动作行为等等),而不必要算出其实际的移动或实际的移动距离。再者,处理器215也是可以另外参考上述实际的移动或实际的移动距离以辅助判断用户的动作或行为状态,例如,处理器215可以通过计算上述多个图像区域的图像的实际的移动或实际的移动距离,得到实际的移动或实际的移动距离。

    此外,图10显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图10所示,处理器215可以侦测或判断出图像区域z1-z4的图像分别具有不同的移动方向(向右、向下、向左、向上)以及均具有相同的移动距离大小,并且图像区域z5的图像不具有任何移动(没有移动方向),接着,处理器215可以判断出用户头部是相应地向后移动,例如,处理器215可以计算出图像区域z1-z5的多个移动,以得到上述的多个运动结果,图像区域z1-z5的移动可由下列等式表示:

    dx1=(rz2-rz1)×tan(α2);dy1=0;

    dx2=0;dy2=(rz2-rz1)×tan(α2);

    dx3=(rz2-rz1)×tan(α2);dy3=0;

    dx4=0;dy4=(rz2-rz1)×tan(α2);

    dx5=0;dy5=0;

    在这个例子中显示了图像区域z1-z4的多个图像分别具有不同的移动方向(向右、向下、向左、向上)及具有相同移动距离大小,图像区域z5的图像不具有任何移动(没有移动方向),因此,如果侦测到这种情况,处理器215可以判定用户头部正相应地往后移动,并接着将六自由度运动的运动类型分类为一向后运动类型或一向后移动型样,处理器215会基于上述至少一个等式、dx1-dx5与dy1-dy5的值及锥面可视角度α2的值,来计算或算出rz1及rz2的值,而在算出rz1及rz2的值之后,处理器215就可以估计出该六自由度运动的向后移动距离,得到光学传感装置200的精确的六自由度运动结果。

    图11显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图11所示,处理器215可以侦测或判断出图像区域z1-z5的图像均具有相同的移动方向(向右移动),接着,处理器215可以判断出用户头部是相应地向左移动,例如,处理器215可以计算出图像区域z1-z5的多个移动,以得到上述的多个运动结果,图像区域z1-z5的移动可由下列等式表示:

    dx1=(x2-x1)×m2;dy1=0;

    dx2=(x2-x1)×m2;dy2=0;

    dx3=(x2-x1)×m2;dy3=0;

    dx4=(x2-x1)×m2;dy4=0;

    dx5=(x2-x1)×m1;dy5=0;

    其中参数m1表示为对于图像区域z5以一对象在一特定距离下镜头210的光学放大率,参数m2表示为对于图像区域z1-z4以一对象在一特定距离下镜头210的光学放大率,由于鱼眼镜头的桶形失真特性,m1的值可以设计大于m2的值,然而这也是可调整的,此外,参数x1及x2的值代表被进行估计的该六自由度运动的真实/实际运动或移动的参数,更精确地说是指估计光学传感装置200沿着x轴实际上从一位置值x1移动至另一位置值x2的情形,例如x1的值可以大于x2的值。

    在这个例子中显示了图像区域z1-z5的图像具有相同的移动方向(均向右),如此,一旦侦测到这样的情况,处理器215可以判定用户头部正相应地向左移动,接着将六自由度运动的运动类型分类为一向左运动类型或一向左运动型样,处理器215会基于上述至少一个等式及dx1-dx5与dy1-dy5的值,计算出参数x1及x2的值,而在算出x1及x2的值之后,处理器215就可以估计出该六自由度运动的向左移动距离,得到光学传感装置200的精确的六自由度运动结果。

    图12显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图12所示,处理器215可以侦测或判断出图像区域z1-z5的图像均具有相同的移动方向(向左移动),接着,处理器215可以判断出用户头部是相应地向右移动,例如,处理器215可以计算出图像区域z1-z5的多个移动,以得到上述的多个运动结果,图像区域z1-z5的移动可由下列等式表示:

    dx1=(x2-x1)×m2;dy1=0;

    dx2=(x2-x1)×m2;dy2=0;

    dx3=(x2-x1)×m2;dy3=0;

    dx4=(x2-x1)×m2;dy4=0;

    dx5=(x2-x1)×m1;dy5=0;

    在这个例子中显示了图像区域z1-z5的图像具有相同的移动方向(均向左),如此,一旦侦测到这样的情况,处理器215可以判定用户头部正相应地向右移动,接着将六自由度运动的运动类型分类为一向右运动类型或一向右运动型样,处理器215会基于上述至少一个等式及dx1-dx5与dy1-dy5的值,计算出参数x1及x2的值,而在算出x1及x2的值之后,处理器215就可以估计出该六自由度运动的向右移动距离,得到光学传感装置200的精确的六自由度运动结果。

    图13、图14分别显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的两范例示意图。如图13所示,处理器215可以侦测或判断图像区域z1-z5的图像具有相同的移动方向(向下移动),接着判定用户头部正相应地向上移动,在这个例子中显示出图像区域z1-z5具有相同的移动方向(向下),因此,当侦测到这样的情况,处理器215可以判定用户头部正相应地向上移动,并接着将六自由度运动的运动类型分类为一向上运动类型或一向上移动型样,处理器215会基于上述估计出的运动类型及运动/移动的距离大小来计算出相应的实际运动参数,最后处理器215可以估计出六自由度运动的移动距离和方向,得到光学传感装置200的精确的六自由度运动结果。

    如图14所示,处理器215可以侦测或判断图像区域z1-z5的图像具有相同的移动方向(向上移动),接着判定用户头部正相应地向下移动,在这个例子中显示出图像区域z1-z5具有相同的移动方向(向上),因此,当侦测到这样的情况,处理器215可以判定用户头部正相应地向下移动,并接着将六自由度运动的运动类型分类为一向下运动类型或一向下移动型样,处理器215会基于上述估计出的运动类型及运动/移动的距离大小来计算出相应的实际的运动参数,最后处理器215可以估计出六自由度运动的移动距离和方向,得到光学传感装置200的精确的六自由度运动结果。

    图15显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图15所示,处理器215可以侦测或判断出图像区域z1-z4的图像分别具有不同的多个移动方向(向上、向右、向下、向左)以及图像区域z5的图像不具有任何移动(没有移动方向),接着,处理器215可以判定用户头部以头部为中枢点相应地具有向左翼滚转的移动(positiverollmotion),在这个例子中显示了图像区域z1-z4的图像具有不同的多个移动方向(分别为向上、向右、向下、向左)以及图像区域z5的图像不具有任何的运动(没有移动方向),如此,当侦测到这样的情况,处理器215可以判定用户头部以头部为中枢点相应地具有向左翼滚转的移动,并接着将六自由度运动的运动类型分类为一左翼滚转运动类型或一左翼滚转移动型样,处理器215会基于所估计出的左翼滚转运动类型及图像区域z1-z5的图像的多个移动方向/矢量,来计算出实际的运动参数,而在算出实际的运动参数之后,处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。

    图16是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图16所示,处理器215可以侦测或判断出图像区域z1-z4的图像分别具有不同的多个移动方向(向上、向右、向下、向右)以及图像区域z5的图像具有向右的移动方向,接着,处理器215可以判定用户头部是以在y轴上的一个偏移中枢点相应地具有向左翼滚转的移动(positiverollmotion),在这个例子中显示了图像区域z1-z4的图像具有不同的多个移动方向(分别为向上、向右、向下、向右)以及图像区域z5的图像具有向右的移动方向,如此,当侦测到这样的情况,处理器215可以判定用户头部是以在y轴上的一个偏移中枢点相应地具有向左翼滚转的移动,并接着将六自由度运动的运动类型分类为在y轴上的一个偏移中枢点进行左翼滚转的运动类型或在y轴上的一个偏移中枢点进行左翼滚转的移动型样,处理器215会基于所估计出的运动类型及图像区域z1-z5的图像的多个移动方向/矢量,来计算出实际的运动参数,而在算出实际的运动参数之后,处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。

    图17是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图17所示,处理器215可以侦测或判断出图像区域z1、z3的图像具有相同的移动方向(向右移动)并且图像区域z2、z4、z5均不具有任何移动方向,处理器215接着可以判断用户头部相应地具有一左翼偏航的运动(positiveyawmotion),在这个例子中,图像区域z1、z3的图像具有相同的移动方向(向右移动),而图像区域z2、z4、z5均不具有任何移动方向,因此,如果侦测到这样的情况,处理器215可以判定用户头部相应地具有一左翼偏航的运动,而接着将六自由度运动的运动类型分类为一左翼偏航的运动类型或移动型样,处理器215会基于所估计出的运动类型及图像区域z1-z5的图像的多个移动方向/矢量,来计算出实际的运动参数,而在算出实际的运动参数之后,处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。

    图18是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图18所示,处理器215可以侦测或判断出图像区域z1、z3的图像具有多个运动矢量并具有单一的移动方向(向右移动),并且侦测出图像区域z2、z4、z5的图像具有多个运动矢量而具有二维的移动方向,处理器215接着可以判断用户头部相应地具有以在x轴上的一偏移中枢点进行一左翼偏航运动,在这个例子中,图像区域z1、z3的图像具有多个运动矢量并具有单一的移动方向(向右移动),以及图像区域z2、z4、z5的图像具有多个运动矢量而具有二维的移动方向,因此,如果侦测到这样的情况,处理器215可以判定用户头部相应地具有以在x轴上的一偏移中枢点进行一左翼偏航运动,而接着将六自由度运动的运动类型分类为在x轴上的一偏移中枢点进行一左翼偏航运动的运动类型或移动型样,处理器215会基于所估计出的运动类型及图像区域z1-z5的图像的多个移动方向/矢量,来计算出实际的运动参数,而在算出实际的运动参数之后,处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。

    图19是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图19所示,处理器215可以侦测或判断出图像区域z1-z4的图像具有相同的运动矢量并具有二维的移动方向,以及侦测出图像区域z5的图像不具有任何运动(运动矢量为零),处理器215接着可以判断用户头部相应地具有在用户前额作为一中央中枢点进行一向上俯仰的运动(positivepitchmotion),在这个例子中,图像区域z1-z4的图像具有相同的运动矢量并具有二维的移动方向,而图像区域z5的图像不具有任何运动(运动矢量为零),因此,如果侦测到这样的情况,处理器215可以判定用户头部相应地具有在用户前额作为一中央中枢点进行一向上俯仰的运动,而接着将六自由度运动的运动类型分类为以一中央中枢点进行一向上俯仰运动的运动类型或移动型样,处理器215会基于所估计出的运动类型及图像区域z1-z5的图像的多个移动方向/矢量,来计算出实际的运动参数,而在算出实际的运动参数之后,处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。

    图20是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图19所示,处理器215可以侦测或判断出图像区域z1、z2、z3的图像具有相同的运动矢量并具有二维的移动方向,以及侦测出图像区域z4、z5的图像具有不同的运动矢量并具有二维移动方向,处理器215接着可以判断用户头部相应地具有在z轴上的一偏移中枢点进行一向上俯仰的运动,在这个例子中,图像区域z1、z2、z3的图像具有相同的运动矢量并具有二维的移动方向,而图像区域z4、z5的图像具有不同的运动矢量并具有二维移动方向,因此,如果侦测到这样的情况,处理器215可以判定用户头部相应地具有在z轴上的一偏移中枢点进行一向上俯仰的运动,而接着将六自由度运动的运动类型分类为以z轴上的一偏移中枢点进行一向上俯仰运动的运动类型或移动型样,处理器215会基于所估计出的运动类型及图像区域z1-z5的图像的多个移动方向/矢量,来计算出实际的运动参数,而在算出实际的运动参数之后,处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。

    再者,上述的运动类型也可能是上述向左运动、向右运动、向上运动、向下运动、滚转运动、偏航运动及上述俯仰运动中的任两个移动类型或运动类型的组合,例如,图21显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图21所示,处理器215可以侦测或判断出图像区域z1-z5的图像具有多个运动矢量及单一维度的移动方向,其中图像区域z1、z3的图像具有相同的运动矢量,而图像区域z2、z4的图像具有相同的运动矢量(不同于图像区域z1、z3的图像的运动矢量),以及图像区域z5的图像的运动矢量也不同于其他图像区域z1-z4的任一图像的运动矢量,处理器215可以判断用户头部相应地具有以用户前额作为一中央中枢点同时进行向左移动及左翼偏航的运动(leftandpositiveyawmotion)。

    在这个例子中,图像区域z1-z5的图像具有多个运动矢量及单一维度的移动方向,图像区域z1、z3的图像具有相同的运动矢量,而图像区域z2、z4的图像具有相同的运动矢量(不同于图像区域z1、z3的图像的运动矢量),以及图像区域z5的图像的运动矢量也不同于其他图像区域z1-z4的任一图像的运动矢量,因此,如果侦测到这样的情况,处理器215可以判定用户头部相应地具有以用户前额作为一中央中枢点同时进行向左移动及左翼偏航的运动,而接着将六自由度运动的运动类型分类为以一中央中枢点同时进行向左移动及左翼偏航运动的运动类型或移动型样,处理器215会基于所估计出的运动类型及图像区域z1-z5的图像的多个移动方向/矢量,来计算出实际的运动参数,而在算出实际的运动参数之后,处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。

    再者,图22显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图,如图22所示,处理器215可以侦测或判断出图像区域z1、z3的图像具有多个运动矢量及均具有单一维度的移动方向,而图像区域z2、z4、z5的图像具有多个运动矢量及均具有二维的移动方向,其中图像区域z2、z4的图像具有相同的运动矢量,图像区域z1、z3、z5的图像具有不同的运动矢量,处理器215可以判断用户头部相应地具有以在x轴上的一偏移中枢点同时进行向左移动及左翼偏航运动的运动类型,并接着基于所估计出的运动类型及图像区域z1-z5的图像的多个移动方向/矢量,来计算出实际的运动参数,而在算出实际的运动参数之后,处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。

    再者,上述的一个图帧的多个部份图像可被视为是该图帧的多个子图像,图23是本申请一实施例基于上述原则所实现的光学传感装置2300的方块示意图,光学传感装置2300能够用来估计多重自由度的运动并包括有一光学侦测模块/电路2305以及一处理器2310,光学侦测模块2305用来获取多个图帧,其中每一图帧包括有多个子图像,而每一图帧中至少有两个子图像的主要坐标轴具有不同移动方向,处理器2310耦接至光学侦测模块2305,并用来基于两个图帧中的该至少两个多个子图像的变异(例如多个运动矢量)来得到光学侦测模块2305的运动结果。

    再者,本申请的实施例也提供并采用了一个光学侦测模块/电路的设计以获取并产生多个图像/图帧给一个可估计多重自由度的运动的装置,多个图像/图帧中每一个均具有至少两个子图像,使得可估计出多重自由度的运动的装置可基于所获取的多个图帧而估计出运动结果,图24是本申请一实施例基于上述原则所实现的光学侦测模块/电路2400的方块示意图,光学侦测模块/电路2400用来获取被使用在一个可估计多重自由度的运动的装置中的多个图像/图帧,该可估计多重自由度的运动的装置例如是虚拟现实头盔装置或无人机装置,使得该可估计多重自由度的运动的装置可基于所获取的多个图帧而估计出运动结果,光学侦测模块/电路2400包含一图像数组2405,图像数组2405被画分为n个区块以得到n个子图像,例如画分为至少两个区块以得到一个所获取图帧中的至少两个子图像,其中该至少两个区块的主要坐标轴具有不同移动方向。

    以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。


    技术特征:

    1.一种能够估计多重自由度的运动的光学传感装置,包含:

    一光学侦测模块,用来获取多个图帧,每一图帧包括多个图像区域,所述每一图帧中至少有两个图像区域的主要坐标轴具有不同方向;以及

    一处理器,耦接于所述光学侦测模块,用来基于两个图帧中分别的至少两个图像区域的变化,得到所述光学侦测模块的运动。

    2.如权利要求1所述的光学传感装置,其特征在于,所述光学侦测模块包含一图像数组,所述图像数组至少被分割为两个区块,所述两个区块的主要坐标轴具有不同方向,以得到一个所获取的图帧中的、主要坐标轴具有不同方向的两个图像区域。

    3.如权利要求1所述的光学传感装置,其特征在于,所述多个图像区域具有从所述图帧内的左上方图像区域、右上方图像区域、左下方图像区域与右下方图像区域所选出的两个图像区域。

    4.如权利要求1所述的光学传感装置,其特征在于,所述多个图像区域具有中央图像区域以及多个周边的图像区域。

    5.如权利要求4所述的光学传感装置,其特征在于,所述多个周边的图像区域具有四个图像区域。

    6.如权利要求4所述的光学传感装置,其特征在于,所述多个周边的图像区域具有八个图像区域,以及所述中央图像区域及所述八个图像区域形成九宫格。

    7.如权利要求1所述的光学传感装置,其特征在于,所述光学传感装置还包括鱼眼类型镜头,所述鱼眼类型镜头用以改变所述图帧的所述多个图像区域的多个光学放大率。

    8.如权利要求1所述的光学传感装置,其特征在于,所述处理器用来根据所有所述多个图帧中的多个图像区域的变化,初步分类所述光学传感装置的所述多重自由度的运动为一种特别运动类型。

    9.如权利要求8所述的光学传感装置,其特征在于,所述处理器用来通过参考与所有所述多个图帧中的多个图像区域的变化有关的多个方向,判断出所述特别运动类型。

    10.如权利要求8所述的光学传感装置,其特征在于,所述特别运动类型包括向左运动、向右运动、向上运动、向下运动、滚转运动、偏航运动以及俯仰运动中的至少一种运动方式。

    11.如权利要求8所述的光学传感装置,其特征在于,所述处理器通过参考所述特别运动类型并基于所有所述多个图帧中的多个图像区域的变化来估计所述多重自由度的运动。

    12.如权利要求10所述的光学传感装置,其特征在于,所述特别运动类型包含所述向左运动、所述向右运动、所述向上运动、所述向下运动、所述滚转运动、所述偏航运动以及所述俯仰运动中两种运动方式的组合。

    13.如权利要求1所述的光学传感装置,其特征在于,所述多个图帧分别对应于多个运动方向,以及所述处理器用来根据与图帧有关的运动方向,产生所述光学传感装置的所述运动。

    14.一种能够估计光学传感装置的多重自由度的运动的方法,包含:

    提供光学侦测模块,所述光学侦测模块用来获取多个图帧,每一图帧包括多个图像区域,所述每一图帧中至少有两个图像区域的主要坐标轴具有不同方向;以及

    估计并得到所述多个图帧的运动结果,以估计所述光学传感装置的所述多重自由度的运动。

    15.如权利要求14所述的方法,其特征在于,所述多个图像区域具有从所述图帧内的左上方图像区域、右上方图像区域、左下方图像区域与右下方图像区域所选出的两个图像区域。

    16.如权利要求14所述的方法,其特征在于,所述多个图像区域具有中央图像区域以及多个周边的图像区域。

    17.如权利要求16所述的方法,其特征在于,所述多个周边的图像区域具有四个图像区域。

    18.如权利要求16所述的方法,其特征在于,所述多个周边的图像区域具有八个图像区域,以及所述中央图像区域及所述八个图像区域形成九宫格。

    19.如权利要求14所述的方法,其特征在于,还包含:

    提供并使用搭配有鱼眼类型镜头,以改变所述图帧的所述多个图像区域的多个光学放大率。

    20.如权利要求14所述的方法,其特征在于,估计所述光学传感装置的所述多重自由度的运动的步骤包含:

    根据所有所述多个图帧中的多个图像区域的变化,初步分类所述光学传感装置的所述多重自由度的运动为一种特别运动类型。

    21.如权利要求20所述的方法,其特征在于,初步分类的步骤包含:

    通过参考与所有所述多个图帧中的多个图像区域的变化有关的多个方向,判断出所述特别运动类型。

    22.如权利要求20所述的方法,其特征在于,所述特别运动类型包括向左运动、向右运动、向上运动、向下运动、滚转运动、偏航运动以及俯仰运动中的至少一种运动方式。

    23.如权利要求19所述的方法,其特征在于,估计所述光学传感装置的所述多重自由度的运动的步骤另包含:

    通过参考所述特别运动类型并基于所有所述多个图帧中的多个图像区域的变化来估计所述多重自由度的运动。

    24.如权利要求22所述的方法,其特征在于,所述特别运动类型包含所述向左运动、所述向右运动、所述向上运动、所述向下运动、所述滚转运动、所述偏航运动以及所述俯仰运动中两种运动方式的组合。

    25.如权利要求14所述的方法,其特征在于,所述多个图帧分别对应于多个运动方向,以及估计所述光学传感装置的所述多重自由度的运动的步骤包含:

    根据与图帧有关的运动方向,产生所述光学传感装置的所述多重自由度的运动。

    技术总结
    本发明公开了一种能够估计光学传感装置的多重自由度的运动的方法,包含:提供图像传感器,所述图像传感器具有包括多个图像区域的像素数组以感测并获取图帧;提供并使用镜头来改变所述图帧的多个部份图像的多个光学放大率,产生具有多个不同视场角的多个重构后图像,所述图帧的所述多个部份图像分别对应于所述多个图像区域;以及估计并得到所述多个重构后图像的运动结果,以估计所述光学传感装置的所述多重自由度的运动。本申请较有潜力及可能性可以同时实现在空间上更紧密及所需较少计算量。

    技术研发人员:李世民
    受保护的技术使用者:原相科技股份有限公司
    技术研发日:2018.03.21
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-6884.html

    最新回复(0)