一种大尺寸物体测量机器人标定系统及方法与流程

    专利2022-07-08  136


    本发明创造属于物体测量机器人领域,尤其是涉及一种大尺寸物体测量机器人标定系统及方法。



    背景技术:

    在现有技术中,利用手眼标定方法对测量机器人进行实时标定,保证测量物体时的准确度和精确度,手眼标定中的体系关系转化主要是机器座、机械臂、机械臂末端的摄像头以及待测物体之间的关系,但是此种方式弊端在于如测量大尺寸物体时就会发生机器座不能仅仅处于一个固定位置,进而产生位移,此时整体已经构建起来的体系关系就会发生变化,从而重新进行关系测算,不利于测量效率。



    技术实现要素:

    有鉴于此,本发明创造旨在提出一种大尺寸物体测量机器人标定系统及方法,以解决在观测获取大尺寸物体时测量机器人的手眼标定观测摄像头超出范围后重新调整整体机器人所在位置而使得整体标定转化关系发生变化的问题。

    为达到上述目的,本发明创造的技术方案是这样实现的:

    一种大尺寸物体测量机器人标定系统,其包括机械臂、位于机械臂末端的测量摄像机、标定板、跟踪摄像机和靶标;

    在机械臂上设有用于标定的靶标,所述靶标位置与测量摄像机相对固定;

    在测量摄像机可测量位置处放置有标定板;

    对应靶标位置设置跟踪摄像机,所述跟踪摄像机与标定板位置相对固定。

    进一步的,所述标定板上设置有用于确定标定板位姿的球体。

    进一步的,所述靶标设置在机械臂末端。

    进一步的,所述靶标设置在机械臂末端并罩在测量摄像机外部。

    进一步的,所述机械臂搭载在自动导引运输装置上。

    进一步的,所述标定板为具有均匀网格的板材,所述标定板上设置有用于确定标定板位姿的球体。

    进一步的,测量摄像机为双目相机的镜头,跟踪摄像机为单目相机的镜头。

    一种大尺寸物体测量机器人标定方法,以跟踪摄像机所在位置建立世界坐标系,标定板自身建立标定坐标系,测量摄像机所在位置建立测量坐标系;

    首先,将标定板放置在测量摄像机可测量范围内,用测量摄像机拍摄标定板的图像并标定测量摄像机外参数,计算测量坐标系与标定坐标系之间的转化关系b;

    其次,标定板与跟踪摄像机之间的位置关系相对固定,标定坐标系与世界坐标系之间的转化关系为c,靶标与测量摄像机之间的位置关系相对固定,其两者之间的转化关系为x;

    而后,在标定板上标定三个特征角点,并以其中一特征点为起点,沿标定板所在平面的水平和垂直方向平移至另外两个特征点,利用测量摄像机得到标定板上三个特征角点的坐标,通过平面公式表示为标定坐标;

    此时跟踪摄像机会测量到靶标随着测量摄像机测量移动而发生的位置变化,靶标与跟踪摄像机之间的转化关系为a;

    最后,根据靶标与跟踪摄像机之间的转化关系为a和测量坐标系与标定坐标系之间的转化关系b计算得到靶标与测量摄像机之间的转化关系x。

    进一步的,选择为起点的特征角位于标定板的左上角点,另外两个特征点分别分布在该起点特征点的横轴和纵轴方向上。

    进一步的,靶标与测量摄像机之间的转化关系通过转换矩阵进行表示,转换矩阵包括旋转矩阵和平移矩阵。

    进一步的,计算得到靶标与测量摄像机之间的转化关系x利用tsai、park或者horaud非线性优化方法。

    进一步的,标定坐标系与世界坐标系之间的转化关系为c=axb;

    分别测量两次不同标定板中的特征角点,即可得到c=a1xb1=a2xb2(1);

    根据公式一进行变换得到公式二:a-12a1x=xb2b-11(2);

    通过公式二最终即可得到公式三ax=xb(3);

    利用公式三选择tsai、park或者horaud非线性优化中的一种计算方式即可得到x。

    进一步的,所述标定板上固定有用于确定标定板位姿的三个球体;

    设三个球体的球心分别为o、x、y,其中ox与oy相互垂直,喷涂显影剂后用测量摄像机进行扫描,获取标定板在测量区域的点云数据;

    将点云数据导入geomagic软件,通过拟合可以得到三个球体的球心坐标;计算时作为作为两者做叉乘运算得到则以o点为原点建立空间坐标系,归一化后标定板的位姿坐标表示为:

    进一步的,考虑到手动在标定板上设置球体时,可能无法严格意义上保证球心之间连线相互垂直,所以需要从算法上进行改善。计算时,先通过o点和x点得到ox直线方程,再计算三维空间中点y到直线ox的垂足o’,将o’作为新的原点代入上面以o点为原点建立空间坐标系的计算过程,从而保证得到的相互垂直。

    相对于现有技术,本发明创造所述的一种大尺寸物体测量机器人标定系统及方法具有以下优势:

    本发明所述的标定系统及方法可以有效解决机器人发生位移时体系关系发生变化的问题,由于采用的是跟踪摄像机与标定板之间的相对固定位置关系,以及靶标与测量摄像机之间的固定位置关系,从而得到整个体系之间的转化关系,那么即便机器人发生位移,机器臂也发生位移,跟踪摄像机与靶标之间的位置以及靶标与测量摄像机之间的位置均不会发生改变,也就避免了重新构建模型,建立体系关系的问题。

    标定系统的结构配合关系也是为了实现上述目的而进行的创新。

    附图说明

    构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解,本发明创造的示意性实施例及其说明用于解释本发明创造,并不构成对本发明创造的不当限定。在附图中:

    图1为本发明创造实施例所述的大尺寸物体测量机器人标定系统示意图;

    图2为本发明创造实施例所述的标定板结构示意图;

    图3为本发明创造实施例所述的使用不同计算法则得到的x数据图;

    图4为本发明创造实施例所述的tsai计算法正向验证数据;

    图5为本发明创造实施例所述的park计算法正向验证数据;

    图6为本发明创造实施例所述的horaud非线性计算法正向验证数据。

    附图标记说明:

    1-机械臂;2-靶标(跟踪立体靶标);3-测量摄像机(双目测量系统);4-标定板;5-跟踪摄像机(单目跟踪系统);6-agv。

    具体实施方式

    需要说明的是,在不冲突的情况下,本发明创造中的实施例及实施例中的特征可以相互组合。

    在本发明创造的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明创造和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明创造的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中,除非另有说明,“多个”的含义是两个或两个以上。

    在本发明创造的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明创造中的具体含义。

    下面将参考附图并结合实施例来详细说明本发明创造。

    如图1所示,一种大尺寸物体测量机器人标定系统,其包括机械臂、位于机械臂末端的测量摄像机、标定板、跟踪摄像机和靶标;

    在机械臂上设有用于标定的靶标,该靶标带有特征光源,用于引导测量空间外跟踪摄像机进行实时的高精度跟踪,所述靶标位置与测量摄像机相对固定;

    在测量摄像机可测量位置处放置有标定板;

    对应靶标位置设置跟踪摄像机,所述跟踪摄像机与标定板位置相对固定。

    所述靶标设置在机械臂末端。

    所述靶标设置在机械臂末端并罩在测量摄像机外部。

    所述机械臂搭载在自动导引运输装置上。

    所述标定板为具有均匀网格的板材,所述标定板上设置有用于确定标定板位姿的球体。

    测量摄像机为双目相机的镜头,跟踪摄像机为单目相机的镜头。

    这里面使用到的靶标带有特征光源。

    一种大尺寸物体测量机器人标定方法,以跟踪摄像机所在位置建立世界坐标系,标定板自身建立标定坐标系,测量摄像机所在位置建立测量坐标系;

    首先,将标定板放置在测量摄像机可测量范围内,用测量摄像机拍摄标定板的图像并标定测量摄像机外参数,计算测量坐标系与标定坐标系之间的转化关系b;

    其次,标定板与跟踪摄像机之间的位置关系相对固定,标定坐标系与世界坐标系之间的转化关系为c,靶标与测量摄像机之间的位置关系相对固定,其两者之间的转化关系为x;

    而后,在标定板上标定三个特征角点,并以其中一特征角点为起点平移至另外两个特征角点,利用测量摄像机得到标定板上三个特征角点的坐标,即为标定位姿坐标;优选的,选择为起点的特征角位于标定板的左上角点,另外两个特征点分别分布在该起点特征点的横轴和纵轴方向上。

    上述标定板的三个特征角点可使用球体来替代,所述标定板上固定有用于确定标定板位姿的三个球体;

    设三个球体的球心分别为o、x、y,其中ox与oy相互垂直,喷涂显影剂后用测量摄像机进行扫描,获取标定板在测量区域的点云数据;

    将点云数据导入geomagic软件,通过拟合可以得到三个球体的球心坐标;计算时作为作为两者做叉乘运算得到则以o点为原点建立空间坐标系,归一化后标定板的位姿坐标表示为:

    考虑到手动在标定板上设置球体时,可能无法严格意义上保证连线相互垂直,所以需要从算法上进行改善。计算时,先通过o点和x点得到ox直线方程,再计算三维空间中点y到直线ox的垂足o’,将o’作为新的原点代入上面以o点为原点建立空间坐标系的计算过程,o’是y到ox的垂足,从而保证得到的相互垂直。

    在求解靶标与跟踪摄像机的坐标转换关系a时,通过靶标具有跟踪特性的系统可以得到跟踪摄像机视野范围内特征光源的空间坐标,结合靶标本身几何信息,可以生成若干(五个)特征坐标,它们不属于同一条直线上,相对位置保持不变,反映了靶标上若干固定位置的空间信息,而通过其中三点即可确定一个平面。从五个特征坐标中取第一、第三、第五个点分别作为o点、x点、y点,通过作垂线求解新原点o’的过程与上述求解过程相同,然后代入公式四得到平面位姿。

    此时跟踪摄像机会测量到靶标随着测量摄像机测量移动而发生的位置变化,靶标与跟踪摄像机之间的转化关系为a;

    最后,根据靶标与跟踪摄像机之间的转化关系为a和测量坐标系与标定坐标系之间的转化关系b计算得到靶标与测量摄像机之间的转化关系x。

    进一步的,靶标与测量摄像机之间的转化关系通过转换矩阵进行表示,转换矩阵包括旋转矩阵和平移矩阵。

    标定坐标系与世界坐标系之间的转化关系为c=axb;

    分别测量两次不同标定板中的特征角点,即可得到c=a1xb1=a2xb2(1);

    根据公式一进行变换得到公式二:a-12a1x=xb2b-11(2);

    通过公式二最终即可得到公式三ax=xb(3);

    利用公式三选择tsai、park或者horaud非线性优化中的一种计算方式即可得到x。

    所以整个系统的总输入有:

    a.测量摄像头扫描标定板上球体的点云数据;

    b.跟踪摄像头拍摄计算得到的靶标特征坐标数据。

    在实际操作中,一般控制机械臂处于不同位姿,且使得测量摄像机距离标定板在15-20cm范围内,采集尽量多的数据进行运算,最后得到标定结果:测量摄像机与靶标的转换关系x。

    以下根据上述标定系统和方法进行了测试:

    采集25组数据,通过以上方法得到x:

    使用到的a和b的原始数据为:

    a:

    (-249.119,-155.5,-2194.6,2.72931,0.154059,1.0178)

    (-255.275,-162.08,-2188.33,2.73864,0.0226353,1.00797)

    (-224.049,-151.8,-2208.1,2.7674,0.054264,0.981255)

    (-233.228,-175.208,-2204.53,2.77525,0.0401564,1.01978)

    (-242.129,-170.803,-2198.15,2.81669,-0.0923144,1.00188)

    (-235.485,-205.62,-2204.29,2.80227,-0.0362794,1.09935)

    (-222.104,-234.773,-2203.49,2.76769,-0.0651197,1.14381)

    (-232.961,-226.251,-2202.89,2.78914,-0.0501141,1.12289)

    (-250.105,-241.107,-2200.45,2.78997,0.0391188,1.18609)

    (-217.59,-220.16,-2205.34,2.74616,0.00487982,1.1274)

    (-228.4,-216.244,-2200.57,2.74293,0.0112139,1.10965)

    (-223.256,-194.942,-2205.93,2.80418,-0.0802178,1.03031)

    (-225.983,-194.729,-2207.89,2.79995,-0.0299896,1.05124)

    (-231.145,-185.862,-2205.39,2.79681,-0.0223874,1.03211)

    (-262.358,-209.881,-2192.82,2.80617,-0.0409582,1.08005)

    (-241.618,-168.949,-2200.77,2.79227,-0.012515,1.00713)

    (-244.826,-140.769,-2198.45,2.784,0.00380255,0.963694)

    (-242.858,-163.032,-2192.87,2.78534,-0.0924753,0.971789)

    (-241.932,-169.892,-2192.03,2.85125,-0.206489,0.941597)

    (-258.284,-236.123,-2192.25,2.75213,0.0811373,1.19797)

    (-257.817,-243.797,-2191.12,2.76458,-0.00696951,1.1838)

    (-228.185,-203.903,-2206.48,2.81209,-0.0661415,1.05754)

    (-243.717,-242.558,-2193.93,2.76267,-0.0617222,1.18015)

    (-242.443,-210.405,-2197.84,2.8502,-0.162345,1.03323)

    (-237.182,-201.028,-2203.69,2.8049,-0.031385,1.09078)

    b:

    (2.41443,10.0263,12.537,-2.73121,0.0346019,0.135299)

    (-19.858,8.33435,26.0713,-2.78504,0.00383825,0.0182654)

    (-3.56683,17.2936,-13.1544,-2.7541,0.0477044,0.0236884)

    (-1.89506,8.5899,-7.10183,-2.79282,0.0465785,0.0288767)

    (-10.9836,19.1067,8.60899,-2.85466,0.038089,-0.0990194)

    (-6.08487,18.0986,-3.35111,-2.9051,0.0398001,-0.000176845)

    (-30.6047,7.66991,-10.2564,-2.9448,-0.00393609,0.0077181)

    (-15.7978,7.37001,-4.12555,-2.93102,0.0188592,0.00496809)

    (8.78833,8.65665,7.50175,-2.93733,0.0477622,0.109139)

    (-26.6947,8.45436,-16.8058,-2.89409,-0.000181277,0.0622487)

    (-24.9422,3.1222,-6.10112,-2.87606,-0.00188493,0.0590472)

    (-18.2345,8.32819,-14.15,-2.87044,0.0291788,-0.0713766)

    (-7.48607,11.1637,-14.6905,-2.85809,0.045585,-0.0184219)

    (-6.07472,10.4402,-8.89074,-2.84058,0.0454651,-0.0214184)

    (0.0823308,2.80114,22.8256,-2.89505,0.0479746,-0.0137122)

    (-3.54736,13.4576,4.06262,-2.81275,0.0479031,-0.0246217)

    (-1.87846,20.0242,12.0477,-2.76861,0.0488939,-0.0309691)

    (-26.1375,11.8175,14.4944,-2.81907,0.0101279,-0.1064)

    (-26.9216,13.3171,13.7284,-2.86782,0.0248272,-0.226782)

    (-0.499099,10.5112,21.1122,-2.92192,0.0239664,0.15989)

    (-12.3309,5.68545,24.3061,-2.94947,0.0145466,0.0766553)

    (-9.99808,8.36407,-11.8923,-2.88191,0.0472496,-0.0475475)

    (-28.4675,11.6342,14.3228,-2.97517,-0.0124624,0.0320702)

    (-15.4347,3.83026,6.05243,-2.92713,0.0425821,-0.147098)

    (-3.30233,18.8737,-2.47899,-2.89404,0.0463091,-0.000612122)

    使用不同计算法则得到的x数据具有差别,具体试验情况如图3所示:

    1、使用tsai法计算ax=xb时:

    (190.956,296.117,227.682,0.0447631,0.664481,1.24442);

    2、使用park法计算ax=xb时:

    (190.951,296.153,227.587,0.0447069,0.663769,1.24614);

    3、使用horaud法计算ax=xb时:

    (190.951,296.153,227.588,0.0446995,0.663769,1.24614)。

    正向验证:将得到的标定结果x代入原始数据a和b中,计算c=axb的值,由于标定过程中标定板与跟踪摄像机的空间相对位置保持不变,故c的值越接近说明得到的x越精确。正向验证的结果如图4-6,可以看到平移参数误差均在1mm内,旋转参数误差在0.01mm内。

    以上所述仅为本发明创造的较佳实施例而已,并不用以限制本发明创造,凡在本发明创造的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明创造的保护范围之内。


    技术特征:

    1.一种大尺寸物体测量机器人标定系统,其特征在于:包括机械臂、位于机械臂末端的测量摄像机、标定板、跟踪摄像机和靶标;

    在机械臂上设有用于标定的靶标,所述靶标位置与测量摄像机相对固定;

    在测量摄像机可测量位置处放置有标定板;

    对应靶标位置设置跟踪摄像机,所述跟踪摄像机与标定板位置相对固定。

    2.根据权利要求1所述的一种大尺寸物体测量机器人标定系统,其特征在于:所述标定板上设置有用于确定标定板位姿的球体。

    3.根据权利要求1所述的一种大尺寸物体测量机器人标定系统,其特征在于:所述靶标设置在机械臂末端并罩在测量摄像机外部。

    4.根据权利要求1所述的一种大尺寸物体测量机器人标定系统,其特征在于:所述机械臂搭载在自动导引运输装置上。

    5.一种利用权利要求1的机器人标定系统的标定方法,其特征在于:以跟踪摄像机所在位置建立世界坐标系,标定板自身建立标定坐标系,测量摄像机所在位置建立测量坐标系;

    首先,将标定板放置在测量摄像机可测量范围内,用测量摄像机拍摄标定板的图像并标定测量摄像机外参数,计算测量坐标系与标定坐标系之间的转化关系b;

    其次,标定板与跟踪摄像机之间的位置关系相对固定,标定坐标系与世界坐标系之间的转化关系为c,靶标与测量摄像机之间的位置关系相对固定,其两者之间的转化关系为x;

    而后,在标定板上设置三个特征点,并以其中一特征点为起点,沿标定板所在平面的水平和垂直方向平移至另外两个特征点,利用测量摄像机得到标定板上三个特征点的坐标,通过平面公式表示为标定位姿坐标;

    此时跟踪摄像机会测量到靶标随着测量摄像机测量移动而发生的位置变化,靶标与跟踪摄像机之间的转化关系为a;

    最后,根据靶标与跟踪摄像机之间的转化关系为a和测量坐标系与标定坐标系之间的转化关系b计算得到靶标与测量摄像机之间的转化关系x。

    6.根据权利要求5所述的一种大尺寸物体测量机器人标定方法,其特征在于:选择为起点的特征角位于标定板的左上角点,另外两个特征点分别分布在该起点特征点的横轴和纵轴方向上。

    7.根据权利要求5所述的一种大尺寸物体测量机器人标定方法,其特征在于:靶标与测量摄像机之间的转化关系通过转换矩阵进行表示,转换矩阵包括旋转矩阵和平移矩阵。

    8.根据权利要求5所述的一种大尺寸物体测量机器人标定方法,其特征在于:计算得到靶标与测量摄像机之间的转化关系x利用tsai、park或者horaud非线性优化方法。

    9.根据权利要求5所述的一种大尺寸物体测量机器人标定方法,其特征在于:标定坐标系与世界坐标系之间的转化关系为c=axb;

    分别测量两次不同视角下标定板中的特征角点,即可得到c=a1xb1=a2xb2(1);

    根据公式一进行变换得到公式二:a-12a1x=xb2b-11(2);

    通过公式二最终即可得到公式三ax=xb(3);

    利用公式三选择tsai、park或者horaud非线性优化中的一种计算方式即可得到x。

    10.根据权利要求5所述的一种大尺寸物体测量机器人标定方法,其特征在于:所述标定板上固定有用于确定标定板位姿的三个球体;

    设三个球体的球心分别为o、x、y,其中ox与oy相互垂直,喷涂显影剂后用测量摄像机进行扫描,获取标定板在测量区域的点云数据;

    将点云数据导入geomagic软件,通过拟合可以得到三个球体的球心坐标;计算时作为作为两者做叉乘运算得到则以o点为原点建立空间坐标系,归一化后标定板的位姿坐标表示为:

    技术总结
    本发明创造提供了一种大尺寸物体测量机器人标定系统及方法,包括机械臂、位于机械臂末端的测量摄像机、标定板、跟踪摄像机和靶标;利用标定系统设计标定方法进行建立体系关系。本发明所述的标定系统及方法可以有效解决机器人发生位移时体系关系发生变化的问题,由于采用的是跟踪摄像机与标定板的位置相对固定,以及靶标与测量摄像机之间的位置相对固定,从而得到整个体系之间的转化关系,那么即便机器人发生位移,机器臂也发生位移,跟踪摄像机与靶标之间的位置以及靶标与测量摄像机之间的位置均不会发生改变,也就避免了重新构建模型,建立体系关系的问题。

    技术研发人员:齐立哲;梅祯;刘归香
    受保护的技术使用者:复旦大学
    技术研发日:2020.11.13
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-16142.html

    最新回复(0)