本申请是申请日为2016年1月21日，申请号为201680010419.2，发明名称为“用于adas的相机聚焦”(变更后的名称为“相机生产方法和高级驾驶辅助系统”)的申请的分案申请。
相关申请的交叉引用
本申请要求2015年1月22日提交的美国临时申请第62/106,328号的权益，该申请的全部内容通过引用并入本文。
背景
基于相机的高级驾驶辅助系统(adas)是众所周知的、广泛使用的，批量生产的机器视觉系统对于各种应用是有用的。这样的应用可以包括例如车道偏离报警、车道保持、车辆检测、前向碰撞和自适应巡航控制以及其他已知的驾驶辅助应用。随着adas应用的进步，对adas中使用的镜头的径向畸变的建模提出更高的要求。
brown在1971年描述了在光度测定中建模镜头畸变的重要性，其中描述了畸变模型(参见duanec.brown，closerangecameracalibration，photogrametricengineering，1971年)。存在用于确定相机在生产后的径向畸变参数的各种已知方法。例如，wang等人在2009年描述了一种用于校准包括径向畸变的中心的镜头畸变参数的有效的生产后的方法(参见aiqiwang、tainshiangqiu和longtanshao在2009年的asimplemethodofradialdistortioncorrectionwithcenterofdistortionestimation，j.math.imagingvis.)。他们使用直线的图像，并因此在生产后需要用于每个相机的单独的校准步骤。stein的方法(cvpr1997)可以被用于使用点对应来在线校准镜头畸变，但是该方法需要对四个参数(包括k1、k2和径向畸变的中心)的非线性优化，这可能导致稳定性问题(参见，gideonp.stein在1997年的lensdistortioncalibrationusingpointcorrespondence，inproc.cvpr)。
在某种程度上，标称镜头值可被用于对畸变建模，但这可能导致不准确的测量结果，因为径向畸变的中心可能会发生相当大的变化。一种已知的替代方案是设计具有最小畸变的镜头，因此可以使用针孔相机模型来精确地对镜头建模。然而，最小化这种设计中的畸变通常会以镜头mtf、f#、尺寸和镜头价格为代价，并可能导致次优性能。
具有机械或电子聚焦的相机系统可以减少或消除在制造期间精确聚焦的需求。然而，机械聚焦在adas系统中是不常见的，其中高可靠性和长的使用时间使机械系统不切实际。数字聚焦技术诸如在某些智能相机中使用的技术通常需要高分辨率和小像素尺寸，并且通常不能提供adas所需的光敏感度。因此，特别是对于adas中的相机，在制造期间经常需要某种形式的镜头聚焦。
还已知的是，在大多数情况下，相机通常被聚焦在无穷远处。然而，在实践中，通常不可能将聚焦目标定位到足够远以在无限远处给出理想的聚焦。典型的解决方案是使用准直镜头，其中目标被放置在与准直镜头的焦距对应的焦距处。这种已知的方法通常需要非常高质量的准直镜头来填充宽的fov。这种已知的方法通常还需要目标和相机相对于准直器的精确定位。此外，准直器的镜头畸变可能与相机镜头的镜头畸变组合，从而使得难以仅估计相机镜头的参数。
公开概述
本文公开了用于相机生产的方法和系统，其中镜头聚焦过程可以将径向畸变的中心的位置设置到可能对于这种类型的所有制造的相机是共同的固定位置。该技术非常适合生产adas相机。根据本文公开的一个实施例，相机可被制造成使得径向畸变的中心处于图像中的设定点，并且优选地在图像的中心。一旦已知径向畸变的中心，k1和k2的标称值就可以提供对实际径向畸变的良好估计。如果需要更高的精度，也可以使用几种已知的方法(包括stein在1997年公开的方法)，但是通过较少的未知参数，解决方案可能趋于更稳定。
在多相机系统中，如果相机中的至少一个已根据本公开针对镜头畸变被良好校准，则可以以直接和稳定的方式在线校准其他镜头。
在许多高端adas多相机系统中，存在具有40到70度之间的水平视场(hfov)的主相机。该相机可以支持许多单独的相机adas功能，并且通常具有与单目adas系统共享的规格。其他相机可能具有明显更宽或更窄的fov。可以制造具有已知的径向畸变中心的主相机，并制造具有较不严格的制造公差的其他一个相机或多个相机。
所提出的解决方案将聚焦和校准目标定位在离镜头的有限距离(例如，0.5m)处。相机通过在五个自由度(三个平移度和两个旋转度，镜头旋转不变)中调整镜头的位置来聚焦到该距离。在实现最佳聚焦之后，镜头移动固定的距离，以在无限远处给出最佳聚焦。由于没有准直镜头，聚焦在校准目标处的畸变是仅由相机镜头引起的。将在下面的章节中更详细地描述该过程。
本申请还包括以下内容：
1)一种方法，包括：
使用位于离镜头的第一距离处的目标来沿着多个轴定位所述镜头和图像传感器，以建立所述镜头和所述图像传感器之间的第一相对位置，以及
对于位于离所述镜头的第二距离的对象，按预定量来修改所述镜头和所述图像传感器之间的所述第一相对位置，所述第二距离大于所述第一距离。
2)如1)所述的方法，其中，沿着多个轴定位所述镜头和所述图像传感器包括调整所述镜头和所述图像传感器之间的相对取向和调整所述镜头和所述图像传感器之间的相对距离中的至少一个。
3)如1)所述的方法，其中，沿着多个轴定位所述镜头和所述图像传感器包括以三个平移度中的至少一个和至少两个旋转度来调整所述镜头和所述图像传感器之间的所述第一相对位置。
4)如1)所述的方法，其中，所述图像传感器包括像素行和像素列，其中，x表示平行于所述像素行的轴，其中，y表示平行于所述像素列的轴，其中，z表示垂直于所述图像传感器的轴，其中，θx表示围绕所述x的旋转，其中，θy表示围绕所述y的旋转，并且其中，沿着多个轴定位所述镜头和所述图像传感器包括沿着所述θx和所述θy调整镜头取向和沿着所述z调整所述镜头和所述图像传感器之间的距离的至少一个。
5)如1)所述的方法，包括检测与所述镜头相关联的径向畸变的中心并将所述镜头和所述图像传感器定位成使得所述径向畸变的中心和与所述图像传感器相关联的指定点重合。
6)如5)所述的方法，其中，所述图像传感器具有中心，并且其中，所述指定点与所述图像传感器的中心重合。
7)如1)所述的方法，包括在按预定量修改所述镜头和所述图像传感器之间的所述第一相对位置之后，固定所述镜头和所述图像传感器的相对位置。
8)一种高级驾驶辅助系统，包括：
镜头，
图像传感器，所述镜头和所述图像传感器相对于彼此定位，所述相对于彼此定位由以下动作建立：
使用位于离所述镜头的第一距离处的目标来沿着多个轴定位所述镜头和所述图像传感器，以建立所述镜头和所述图像传感器之间的第一相对位置，以及
对于位于离所述镜头的第二距离的对象，按预定量来修改所述镜头和所述图像传感器之间的所述第一相对位置，所述第二距离大于所述第一距离。
9)如8)所述的系统，其中，沿着多个轴定位所述镜头和所述图像传感器包括调整所述镜头和所述图像传感器之间的相对取向和调整所述镜头和所述图像传感器之间的相对距离中的至少一个。
10)如8)所述的系统，其中，沿着多个轴定位所述镜头和所述图像传感器包括以三个平移度中的至少一个和至少两个旋转度来调整所述镜头和所述图像传感器之间的所述第一相对位置。
11)如8)所述的系统，其中，所述图像传感器包括像素行和像素列，其中，x表示平行于所述像素行的轴，其中，y表示平行于所述像素列的轴，其中，z表示垂直于所述图像传感器的轴，其中，θx表示围绕所述x的旋转，其中，θy表示围绕所述y的旋转，并且其中，沿着多个轴定位所述镜头和所述图像传感器包括沿着所述θx和所述θy调整镜头取向和沿着所述z调整所述镜头和所述图像传感器之间的距离的至少一个。
12)如8)所述的系统，包括检测与所述镜头相关联的径向畸变的中心，并将所述镜头和所述图像传感器定位成使得所述径向畸变的中心和与所述图像传感器相关联的指定点重合。
13)如12)所述的系统，其中，所述图像传感器具有中心，并且其中，所述指定点与所述图像传感器的中心重合。
14)如8)所述的系统，其中，在按预定量修改所述镜头和所述图像传感器之间的所述第一相对位置之后，所述镜头和所述图像传感器的相对位置被固定。
15)如1)所述的方法，其中，所述目标包括图案，所述图案反转与所述镜头相关联的径向畸变，使得所述图案上的大体上弯曲的线在所述图像传感器处呈现为大体上直的线。
16)如8)所述的系统，其中，所述目标包括图案，所述图案反转与所述镜头相关联的径向畸变，使得所述图案上的大体上弯曲的线在所述图像传感器处呈现为大体上直的线。
附图简述
图1示出了一个实施例中的相机镜头和图像传感器的相对位置的一个示例。
详细描述
在示例的以下描述中，参照形成其一部分的附图，并且在附图中，通过图示示出了可以被实践的具体示例。将理解，其他示例可以被使用，并且结构改变可以被作出而不偏离公开的示例的范围。此外，虽然提供了其中可以实践本公开的示例背景，但是它们并不意味着将本公开的范围限制于这些背景。
相机制造通常涉及对包括镜头和图像传感器的组件的生产。由相机进行的高质量图像的生成通常取决于相对于彼此被最佳地定位的镜头和图像传感器。术语“对准”通常被用于描述优化相机镜头和图像传感器之间的相对位置。
可以通过对镜头和图像传感器的相对位置的主动控制来对准相机。对准过程可以使用改变镜头和图像传感器的相对位置的电动致动器，包括自动地决定何时达到期望的相对位置。
参考图1所示的示例，可以依据正交轴x、y、z来描述在该示例中的镜头和图像传感器之间的相对运动，其中：
x表示平行于图像传感器像素行的轴；
y表示平行于图像传感器像素列的轴；
z表示垂直于图像传感器平面的轴；
θx表示围绕x轴的旋转；
θy表示围绕y轴的旋转；
在一个实施例中，可以使用计算机控制的定位电动机来相对于处于固定位置的相机镜头定位图像传感器(以及可选地，相机壳体)。在替代实施例中，镜头可以相对于固定在一个位置的图像传感器(以及可选地，相机壳体)移动。在一个实施例中，聚焦和校准目标可以包括具有不是直的但被设计为在图像中看起来几乎直的线的棋盘图案。
在无中间光学器件的情况下的对远距离的多轴对准
在一个示例中，相机镜头可以最初使用定位在离镜头的第一相对短的距离(例如，第一距离可以约为0.85m)上的聚焦和校准目标来沿着多个轴对准。可以调整沿着θx和θy轴的镜头取向以及沿着z轴的镜头和图像传感器之间的距离，以在整个视场上实现最佳聚焦。可以检测径向畸变的中心，并且可以对准镜头和图像传感器，使得径向畸变的中心与指定的点重合。在优选实施例中，指定的点与图像传感器的中心重合。
接下来，为了将对准改变为对于在第二较远距离处的对象是最佳的对准，可以按预定量修改沿着z轴的相机镜头和图像传感器的相对位置。在一个示例中，预定量可以取决于(1)被聚焦的镜头，(2)近目标距离和(3)最佳对象平面的期望距离。例如，在使用具有5.47mm的有效焦距(efl)的sunny4067镜头的实施例中，沿z轴的修改为35um。
一旦镜头和图像传感器对准，则可以通过任何数量的已知方法来可选地将镜头固定在相对于相机支架的位置上。例如，镜头可以被粘合到支架中的适当位置。
在一个实施例中，聚焦和校准目标可以优选地覆盖整个图像，使得可以为整个视场确定最佳聚焦。在一个实施例中，聚焦和校准目标可以是已经被弯曲以匹配镜头的径向畸变的棋盘图案。在该实施例中，聚焦和校准目标线是弯曲的，使得它们在图像中看起来几乎是直的。该技术可以简化在图像中找到网格图案的任务。此外，由于角几乎是直角，所以它可以实现图像中正方形的角的更精确的定位。诸如sfrmat2的mtf计算算法通常需要倾斜线，因此根据本实施例的聚焦和校准目标具有小的旋转，并且边缘既不完全是水平的也不是垂直的。由于棋盘线几乎是直的，所以该角度在图像上几乎是均匀的，提高了sfrmat2的可靠性和均匀性。
可以使用例如以正方形中的一个上的白点的形式的基准点，以帮助将图像中的点正确地识别为校准目标的聚焦中的相应点。然后可以根据相应的目标和图像坐标来确定径向畸变的中心。从目标平面到图像的映射可以被表征为单应性。与单应性的偏差是由径向畸变引起的，并且用于径向畸变中心的闭合形式的解决方案在本领域中是已知的。
在上述实施例中，镜头和图像传感器可以最初使用位于离镜头的第一相对短距离处的目标来对准。然后可以按预定量改变镜头和图像传感器之间的相对间距。这种技术可以帮助消除对中间光学器件(例如，准直器)的需求，否则这些光学器件将被定位在相机镜头和目标之间，以便将近目标成像到远距离，从而使相机聚焦到远距离。中间光学器件可能会将像差引入到反馈机制中，并且使其难以确定径向畸变的中心。中间光学器件还可能需要相对于目标、图像传感器和镜头的高定位精度。本文公开的实施例有助于消除与使用中间光学器件相关联的缺点。
在上述实施例中，可以对准镜头和图像传感器，使得径向畸变的中心与图像传感器的中心重合。由于x和y反馈与镜头直接相关，而不与由其他x和y反馈方法所使用的目标的图像相关，所以这种技术可以省去对于目标相对于被聚焦的相机的x和y中的位置精度的要求。这种技术还可以允许简单而准确的图像畸变校正，而无需使用复杂的目标和过程来校准相机。
在实践中，使相机壳体的轴与图像坐标系对准经常是有用的。例如，如果壳体是矩形，如果壳体的背面平行于目标平面，并且如果相机位于垂直于目标平面并穿过基准点的线上，那么基准点应该出现在图像的中心。然而，如关于上述一些实施例所述，可能已经将镜头安装在相机中，使得径向畸变的中心与图像中心重合。如果镜头被制造成非常高的公差并且图像传感器非常精确地安装在壳体中，则两个标准将很好地重合。然而，这种制造公差可能倾向于使单元非常昂贵。
一个选项将是选择一个或另一个标准。替代(且在一些情况下优选的)选项将是将相机壳体安装到镜头上，使得径向畸变的中心位于图像的中心处，然后将镜头从其支架脱离并旋转组装的单元，使得基准点与图像的中心重合。然后，该单元可以被粘合到与目标对准的外壳体中(即，具有平行于目标平面的背面的外壳体)。
外壳体不需要是以矩形外壳的形式。例如，它可以仅包括背面，或者它可以仅包括一个或更多个侧面，或者可以包括背面和一个或更多个侧面的组合。外壳体的形状不需要是矩形的，而是可以假定使相机能够定向到目标的任何形状。可选地，可以围绕z轴添加附加的旋转轴，并且可以添加第二基准点，使得可以消除图像和外壳体之间的滚动。
虽然已经参考附图描述了本文所描述的示例，但是应当注意，各种改变和修改对于本领域技术人员将变得明显。这样的改变和修改被理解为包括在由所附权利要求限定的公开的示例的范围内。
1.一种相机，包括：
具有径向畸变的镜头；
具有传感器的平面的图像传感器；以及
保持所述镜头和所述图像传感器之间位置的壳体，其中，所述位置基于：
基于所述径向畸变的所述镜头和所述图像传感器的布置；
所述镜头对所述图像传感器的对准以聚焦在目标上；以及
在所述对准之后，沿着垂直于所述图像传感器的所述平面的轴，按预定量对所述镜头和所述图像传感器之间的距离的调整，所述调整将所述镜头和所述图像传感器聚焦在无限远处。
2.根据权利要求1所述的相机，其中，为了进行所述镜头的所述布置，使所述镜头在垂直轴、围绕所述垂直轴的垂直旋转、水平轴或围绕所述水平轴的水平旋转中的至少一个内移动，直到所述径向畸变的中心与所述图像传感器的指定位置重合，所述垂直轴和所述水平轴两者平行于所述图像传感器的所述平面。
3.根据权利要求2所述的相机，其中，所述指定位置在所述图像传感器的中心。
4.根据权利要求2所述的相机，其中，所述目标包括基于所述径向畸变的特征。
5.根据权利要求4所述的相机，其中，所述特征是线的变换，当经受所述径向畸变时，被所述图像传感器感知为所述线。
6.根据权利要求2所述的相机，其中，所述镜头被布置为使得所述径向畸变的所述中心与所述目标的中心重合。
7.根据权利要求6所述的相机，其中，所述镜头被固定至所述壳体，并且其中，为了使所述镜头在所述垂直轴、围绕所述垂直轴的所述垂直旋转、所述水平轴或围绕所述水平轴的所述水平旋转中的至少一个内移动，直到所述径向畸变的所述中心与所述图像传感器的所述指定位置重合，所述镜头：
从所述壳体脱离；
相对于所述壳体移动；以及
当所述径向畸变的所述中心与所述图像传感器的所述指定位置重合时，重新固定至所述壳体。
8.根据权利要求6所述的相机，其中，所述目标包括基准点，并且其中，所述镜头被布置为基于所述基准点使得所述径向畸变的所述中心与所述目标的所述中心重合。
9.根据权利要求1所述的相机，其中，通过所述镜头沿着垂直于所述图像传感器的所述平面的所述轴移动直到整个目标在聚焦中，所述镜头基于所述目标与所述图像传感器对准。
10.根据权利要求1所述的相机，其中，所述预定量基于所述镜头的有效焦距。
11.一种方法，包括：
基于镜头的径向畸变布置所述镜头和图像传感器；
将所述镜头对准所述图像传感器以聚焦在目标上；以及
在对准之后，沿着垂直于所述图像传感器的平面的轴，按预定量来调整所述镜头和所述图像传感器之间的距离，以将所述镜头和所述图像传感器聚焦在无限远处。
12.根据权利要求11所述的方法，其中，布置所述镜头包括使所述镜头在垂直轴、围绕所述垂直轴的垂直旋转、水平轴或围绕所述水平轴的水平旋转中的至少一个内移动，直到所述径向畸变的中心与所述图像传感器的指定位置重合，所述垂直轴和所述水平轴两者平行于所述图像传感器的所述平面。
13.根据权利要求12所述的方法，其中，所述指定位置在所述图像传感器的中心。
14.根据权利要求12所述的方法，其中，所述目标包括基于所述径向畸变的特征。
15.根据权利要求14所述的方法，其中，所述特征是线的变换，当经受所述径向畸变时，被所述图像传感器感知为所述线。
16.根据权利要求12所述的方法，其中布置所述镜头包括布置所述镜头以使得所述径向畸变的所述中心与所述目标的中心重合。
17.根据权利要求16所述的方法，其中，所述镜头被固定至保持所述图像传感器的壳体，并且其中，使所述镜头在所述垂直轴、围绕所述垂直轴的所述垂直旋转、所述水平轴或围绕所述水平轴的所述水平旋转中的至少一个内移动，直到所述径向畸变的所述中心与所述图像传感器的所述指定位置重合，包括：
使所述镜头从所述壳体脱离；
使所述镜头相对于所述壳体移动；以及
当所述径向畸变的所述中心与所述图像传感器的所述指定位置重合时，使所述镜头重新固定至所述壳体。
18.根据权利要求16所述的方法，其中，所述目标包括基准点，并且其中，基于所述基准点来布置所述镜头，使得所述径向畸变的所述中心与所述目标的所述中心重合。
19.根据权利要求11所述的方法，其中，基于所述目标将所述镜头与所述图像传感器对准包括：使所述镜头沿着垂直于所述图像传感器的所述平面的所述轴移动直到整个目标在聚焦中。
20.根据权利要求11所述的方法，其中，所述预定量基于所述镜头的有效焦距。
技术总结