本发明属于视觉定位技术领域，具体涉及一种基于圆检测的蓝宝石晶片定位跟踪方法。
背景技术：
现有蓝宝石晶片厚度检测由人工完成，利用传感器测量陶瓷盘上每一片蓝宝石晶片的厚度，然后手动记录数据在表格中，效率低下，而且容易统计出错。在此背景下，提出借助自动化和视觉定位技术实现定位检测，从而提高工厂的自动化程度，降低劳动成本与人工劳动强度。视觉检测系统主要功能包括：1、识别陶瓷盘背面二维码，用于定位角度，进行蓝宝石晶片排序；2、检测各个型号陶瓷盘上的蓝宝石晶片位置，并将其发送给机器人进行定位。机器人移动到相应的蓝宝石晶片位置，利用接触式传感器，测量出当前蓝宝石晶片的厚度。
技术实现要素：
为了替代现有人工检测，本发明提出了一种基于圆检测的蓝宝石晶片定位跟踪方法，该方法能够快速精确地将机械手定位至目标位置，实现蓝宝石晶片精确的厚度测量。避免了人工繁琐的测量步骤，实现了自动化测量。
一种基于圆检测的蓝宝石晶片定位跟踪方法，包括以下步骤：
(1)采集单张标定板图像和对应的机器人末端夹具位置信息进行标定，得到相机坐标系与机器人坐标系间的关系矩阵；
(2)视觉检测系统采集单张陶瓷盘图像并对其进行处理，检测出所有蓝宝石晶片和陶瓷盘；
(3)视觉检测系统计算得到蓝宝石晶片的数量、位置及角度信息；
(4)通过坐标变换得到蓝宝石晶片在机器人坐标系下的位置信息，实现机器人对蓝宝石晶片的定位，然后进行精确厚度测量。
所述的步骤(1)的具体步骤为：
(1-1)将工业相机安装在陶瓷盘上方的支架上，保证通过以太网接口能将陶瓷盘图像传入视觉控制系统，同时保证能通过以太网接口将蓝宝石晶片信息发送给机器人；
(1-2)将标定板固定在陶瓷盘上方，使得相机能够采集到清晰的标定板图像；
(1-3)机器人控制末端夹具中心点按顺序运动到预设点位置，记录此时的机器人末端夹具中心点坐标与标定板图像点坐标；
(1-4)视觉标定系统进行九点标定，得到相机坐标系与机器人坐标系间的关系矩阵。
相机坐标系下坐标点与机器人坐标系下坐标点间的关系可以用下式表示：
其中，(x，y)为目标点在机器人坐标系下坐标，(u，v)为目标点在相机坐标下坐标点，通过仿射变换矩阵来建立两坐标系间的旋转、平移、缩放等关系。利用矩阵奇异值分解法最小化投影误差可以求得仿射变换矩阵。
所述的步骤(2)的具体步骤为：
(2-1)通过相机采集单张陶瓷盘图像，并将图像通过以太网接口传入视觉控制系统中；
(2-2)对陶瓷盘图像进行gamma(伽马)校正处理；
(2-3)用canny算子对陶瓷盘图像进行边缘检测；
(2-4)检测出陶瓷盘图像中的所有蓝宝石晶片。
所述步骤(2-2)的具体步骤为：
伽马校正是通过对图像亮度进行非线性变换，检出图像的深色部分和浅色部分，并使两者在图像中的比例增大，从而提高图像对比度效果。伽马校正公式可以表示为：
s＝crγ
其中，c、γ是正常数，r是输入亮度值，s是输出亮度值。具体步骤为：
(2-2-1)归一化：将像素值转换为0～1之间的实数；
(2-2-2)预补偿：求出像素归一化后的数以1/γ为指数的对应值；
(2-2-3)反归一化：将经过预补偿的实数值反变换为0～255之间的整数值。
所述的步骤(2-3)的具体步骤为：
(2-3-1)使用高斯滤波平滑图像，高斯函数的公式为：
其中，n表示高斯滤波器窗口大小，σ为高斯函数的标准偏差，决定了高斯函数的宽度，(u，v)为像素坐标点。
(2-3-2)对平滑后的图像使用sobel算子计算水平方向梯度gu和垂直方向梯度gv，得出每个像素的梯度大小为
(2-3-3)对梯度幅值进行非极大值抑制；
(2-3-4)双阈值检测，设置两个阈值tmin和tmax，梯度值大于tmax的边缘像素点标记为强边缘像素，梯度值大于tmin小于tmax，标记为弱边缘像素，梯度值小于tmin的边缘像素点被抑制；
(2-3-5)抑制孤立低阈值点，搜索弱边缘像素的八邻域像素，若其中一个为强边缘像素，则该弱边缘点保留为真实边界，否则被抑制。
所述步骤(2-4)的具体步骤为：
(2-4-1)用边界检测算法edpf检测边界片段，提取完整圆；
(2-4-2)转换剩余的边界片段为直线段；
(2-4-3)通过结合直线段检测圆弧，将具有同样转向且相邻线段间角度在阈值范围内的直线段组成一个候选圆的圆弧段；
(2-4-4)聚类具有相似半径和相近圆心的圆为一个候选圆，用helmholtz判据剔除不合理的候选圆。
所述步骤(3)的具体步骤为：
(3-1)对检测出的蓝宝石晶片按半径进行筛选，得到14片蓝宝石晶片与陶瓷盘中心点坐标信息；
(3-2)计算蓝宝石晶片中心点与陶瓷盘中心点之间的距离，根据距离值区分内部4片与外部10片蓝宝石晶片；
(3-3)分别计算内部4片与外部10片蓝宝石晶片的间隔距离，以及内部4片和外部10片蓝宝石晶片至陶瓷盘中心点的距离，根据距离偏差值验证检测的正确性；
(3-4)计算得到陶瓷盘背面二维码的角度以及蓝宝石晶片的角度信息，按角度对蓝宝石晶片进行排序。
所述步骤(3-4)的具体步骤为：
(3-4-1)采用zbar算法提取陶瓷盘背面二维码信息；
(3-4-2)确定二维码两个角标的位置信息，根据其位置坐标计算角度；
(3-4-3)根据陶瓷盘中心点与各个蓝宝石晶片的中心点，计算得出各个蓝宝石晶片的角度值a1；
(3-4-4)蓝宝石晶片角度a1减去二维码角度，得到各个蓝宝石晶片相对于二维码的角度值a2；
(3-4-5)对a2进行排序，将处于90°～180°的第一片蓝宝石晶片记为第一片，后续的蓝宝石晶片依次排序。
所述的步骤(4)的具体步骤为：
(4-1)通过坐标变换计算得到各个蓝宝石晶片中心点位置在机器人坐标系下的坐标；
(4-2)将所有蓝宝石晶片的坐标与角度信息，组成工件数据信息(x，y，a)，通过以太网接口发送给机器人；
(4-3)机器人控制末端夹具运动到各个蓝宝石片的正上方，采用测距传感器对各个蓝宝石晶片的厚度进行精确测量。
本发明基于圆检测的蓝宝石晶片定位跟踪方法，具有以下优点：
(1)机器人利用视觉引导，能够较高精度地移动到指定位置，具有较高的柔性；
(2)本发明结合视觉定位和自动化测量，实现了自动化检测，有着人工检测无法比拟的优点，效率高，出错率低；
(3)本发明实现了每片蓝宝石晶片的信息跟踪，为后期构建数字化车间奠定了基础。
附图说明
图1为本发明中获取的蓝宝石晶片原图；
图2为本发明中蓝宝石及陶瓷盘示意图；
图3为本发明中蓝宝石晶片定位算法流程图；
图4为本发明方法的流程图；
图5为本发明中蓝宝石晶片数据结果图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及实施方式对本发明的技术方案进行详细说明。
实施例1
如图1所示，本发明基于圆检测的蓝宝石晶片定位跟踪对象为一块陶瓷盘以及其上方的内部4片外部10片蓝宝石晶片。
图2所示为本发明基于圆检测的蓝宝石晶片定位跟踪及蓝宝石片排序示意图。
图3所示为本发明基于圆检测的蓝宝石晶片定位跟踪算法流程图。
图4所示为本发明基于圆检测的蓝宝石晶片定位跟踪方法流程图，具体包括：s01，标定：采集单张标定板图像和对应的机器人末端夹具位置信息进行标定，得到相机坐标系与机器人坐标系间的关系矩阵；
s01的具体步骤为：
s01-1，将工业相机安装在陶瓷盘上方的支架上，保证通过以太网接口能将陶瓷盘图像传入视觉控制系统，同时保证能通过以太网接口将蓝宝石晶片信息发送给机器人；
s01-2，将标定板固定在陶瓷盘上方，使得相机能够采集到清晰的标定板图像；
s01-3，机器人控制末端夹具中心点按顺序运动到预设点位置，记录此时的机器人末端夹具中心点坐标与标定板图像点坐标；
s01-4，视觉标定系统进行九点标定，得到相机坐标系与机器人坐标系间的关系矩阵；
相机坐标系下坐标点与机器人坐标系下坐标点间的关系可以用下式表示：
其中，(x，y)为目标点在机器人坐标系下坐标，(u，v)为目标点在相机坐标下坐标点，通过仿射变换矩阵来建立两坐标系间的旋转、平移、缩放等关系。利用矩阵奇异值分解法最小化投影误差可以求得仿射变换矩阵。
s02，图像处理：视觉检测系统采集单张陶瓷盘图像并对其进行处理，检测出所有蓝宝石晶片和陶瓷盘；
s02的具体步骤为：
s02-1，通过相机采集单张陶瓷盘图像，并将图像通过以太网接口传入视觉控制系统中；
s02-2，对陶瓷盘图像进行gamma校正处理；
s02-2的具体过程为：
伽马校正是通过对图像亮度进行非线性变换，检出图像的深色部分和浅色部分，并使两者在图像中的比例增大，从而提高图像对比度效果。伽马校正公式可以表示为：
s＝crγ
其中，c、γ是正常数，r是输入亮度值，s是输出亮度值。具体步骤为：
s02-2-1，归一化：将像素值转换为0～1之间的实数；
s02-2-2，预补偿：求出像素归一化后的数以1/γ为指数的对应值；
s02-2-3，反归一化：将经过预补偿的实数值反变换为0～255之间的整数值；
s02-3，用canny算子对陶瓷盘图像进行边缘检测；
s02-3的具体过程为：
s02-3-1，使用高斯滤波平滑图像，高斯函数的公式为：
其中，n表示高斯滤波器窗口大小，σ为高斯函数的标准偏差，决定了高斯函数的宽度，(u，v)为像素坐标点；
s02-3-2，对平滑后的图像使用sobel算子计算水平方向梯度gu和垂直方向梯度gv，得出每个像素的梯度大小为
s02-3-3，对梯度幅值进行非极大值抑制；
s02-3-4，双阈值检测，设置两个阈值tmin和tmax，梯度值大于tmax的边缘像素点标记为强边缘像素，梯度值大于tmin小于tmax，标记为弱边缘像素，梯度值小于tmin的边缘像素点被抑制；
s02-3-5，抑制孤立低阈值点，搜索弱边缘像素的八邻域像素，若其中一个为强边缘像素，则该弱边缘点保留为真实边界，否则被抑制；
s02-4，检测出陶瓷盘图像中的所有蓝宝石晶片；
s02-4的具体过程为：
s02-4-1，用边界检测算法edpf检测边界片段，提取完整圆；
s02-4-2，转换剩余的边界片段为直线段；
s02-4-3，通过结合直线段检测圆弧，将具有同样转向且相邻线段间角度在阈值范围内的直线段组成一个候选圆的圆弧段；
s02-4-4，聚类具有相似半径和相近圆心的圆为一个候选圆，用helmholtz判据剔除不合理的候选圆；
s03,晶片信息获取：视觉检测系统计算得到蓝宝石晶片的数量、位置及角度信息；s03的具体过程为：
s03-1，对检测出的蓝宝石晶片按半径进行筛选，得到14片蓝宝石晶片与陶瓷盘中心点坐标信息；
s03-2，计算蓝宝石晶片中心点与陶瓷盘中心点之间的距离，根据距离值区分内部4片与外部10片蓝宝石晶片；
s03-3，分别计算内部4片与外部10片蓝宝石晶片的间隔距离，以及内部4片和外部10片蓝宝石晶片至陶瓷盘中心点的距离，根据距离偏差值验证检测的正确性；
s03-4，计算得到陶瓷盘背面二维码的角度以及蓝宝石晶片的角度信息，按角度对蓝宝石晶片进行排序；
s03-4的具体过程为：
s03-4-1，采用zbar算法提取陶瓷盘背面二维码信息；
s03-4-2，确定二维码两个角标的位置信息，根据其位置坐标计算角度；
s03-4-3，根据陶瓷盘中心点与各个蓝宝石晶片的中心点，计算得出各个蓝宝石晶片的角度值a1；
s03-4-4，蓝宝石晶片角度a1减去二维码角度，得到各个蓝宝石晶片相对于二维码的角度值a2；
s03-4-5，对a2进行排序，将处于90°～180°的第一片蓝宝石晶片记为第一片，后续的蓝宝石晶片依次排序；
s04，定位检测：通过坐标变换得到蓝宝石晶片在机器人坐标系下的位置信息，实现机器人对蓝宝石晶片的定位，然后进行精确厚度测量；
s04的具体过程为：
s04-1，通过坐标变换计算得到各个蓝宝石晶片中心点位置在机器人坐标系下的坐标；
s04-2，将所有蓝宝石晶片的坐标与角度信息，组成工件数据信息(x，y，a)，通过以太网接口发送给机器人；
s04-3，机器人控制末端夹具运动到各个蓝宝石片的正上方，采用测距传感器对各个蓝宝石晶片的厚度进行精确测量。
1.一种基于圆检测的蓝宝石晶片定位跟踪方法，其特征在于，包括以下步骤：
(1)采集单张标定板图像和对应的机器人末端夹具位置信息进行标定，得到相机坐标系与机器人坐标系间的关系矩阵；
(2)视觉检测系统采集单张陶瓷盘图像并对其进行处理，检测出所有蓝宝石晶片和陶瓷盘；
(3)视觉检测系统计算得到蓝宝石晶片的数量、位置及角度信息；
(4)通过坐标变换得到蓝宝石晶片在机器人坐标系下的位置信息，实现机器人对蓝宝石晶片的定位，然后进行精确厚度测量。
2.根据权利要求1所述的一种基于圆检测的蓝宝石晶片定位跟踪方法，其特征在于，所述的步骤(1)的具体步骤为：
(1-1)将工业相机安装在陶瓷盘上方的支架上，保证通过以太网接口能将陶瓷盘图像传入视觉控制系统，同时保证能通过以太网接口将蓝宝石晶片信息发送给机器人；
(1-2)将标定板固定在陶瓷盘上方，使得相机能够采集到清晰的标定板图像；
(1-3)机器人控制末端夹具中心点按顺序运动到预设点位置，记录此时的机器人末端夹具中心点坐标与标定板图像点坐标；
(1-4)视觉标定系统进行九点标定，得到相机坐标系与机器人坐标系间的关系矩阵；
相机坐标系下坐标点与机器人坐标系下坐标点间的关系可以用下式表示：
其中，(x，y)为目标点在机器人坐标系下坐标，(u，v)为目标点在相机坐标下坐标点，通过仿射变换矩阵来建立两坐标系间的旋转、平移、缩放关系；利用矩阵奇异值分解法最小化投影误差可以求得仿射变换矩阵。
3.根据权利要求1所述的一种基于圆检测的蓝宝石晶片定位跟踪方法，其特征在于，所述的步骤(2)的具体步骤为：
(2-1)通过相机采集单张陶瓷盘图像，并将图像通过以太网接口传入视觉控制系统中；
(2-2)对陶瓷盘图像进行伽马校正处理；
(2-3)用canny算子对陶瓷盘图像进行边缘检测；
(2-4)检测出陶瓷盘图像中的所有蓝宝石晶片。
4.根据权利要求3所述的一种基于圆检测的蓝宝石晶片定位跟踪方法，其特征在于，所述步骤(2-2)的具体步骤为：
伽马校正是通过对图像亮度进行非线性变换，检出图像的深色部分和浅色部分，并使两者在图像中的比例增大，从而提高图像对比度效果；伽马校正公式可以表示为：
s＝crγ
其中，c、γ是正常数，r是输入亮度值，s是输出亮度值；具体步骤为：
(2-2-1)归一化：将像素值转换为0～1之间的实数；
(2-2-2)预补偿：求出像素归一化后的数以1/γ为指数的对应值；
(2-2-3)反归一化：将经过预补偿的实数值反变换为0～255之间的整数值。
5.根据权利要求3所述的一种基于圆检测的蓝宝石晶片定位跟踪方法，其特征在于，所述的步骤(2-3)的具体步骤为：
(2-3-1)使用高斯滤波平滑图像，高斯函数的公式为：
其中，n表示高斯滤波器窗口大小，σ为高斯函数的标准偏差，决定了高斯函数的宽度，(u，v)为像素坐标点；
(2-3-2)对平滑后的图像使用sobel算子计算水平方向梯度gu和垂直方向梯度gv，得出每个像素的梯度大小为
(2-3-3)对梯度幅值进行非极大值抑制；
(2-3-4)双阈值检测，设置两个阈值tmin和tmax，梯度值大于tmax的边缘像素点标记为强边缘像素，梯度值大于tmin小于tmax，标记为弱边缘像素，梯度值小于tmin的边缘像素点被抑制；
(2-3-5)抑制孤立低阈值点，搜索弱边缘像素的八邻域像素，若其中一个为强边缘像素，则该弱边缘点保留为真实边界，否则被抑制。
6.根据权利要求3所述的一种基于圆检测的蓝宝石晶片定位跟踪方法，其特征在于，所述步骤(2-4)的具体步骤为：
(2-4-1)用边界检测算法edpf检测边界片段，提取完整圆；
(2-4-2)转换剩余的边界片段为直线段；
(2-4-3)通过结合直线段检测圆弧，将具有同样转向且相邻线段间角度在阈值范围内的直线段组成一个候选圆的圆弧段；
(2-4-4)聚类具有相似半径和相近圆心的圆为一个候选圆，用helmholtz判据剔除不合理的候选圆。
7.根据权利要求1所述的一种基于圆检测的蓝宝石晶片定位跟踪方法，其特征在于，所述步骤(3)的具体步骤为：
(3-1)对检测出的蓝宝石晶片按半径进行筛选，得到14片蓝宝石晶片与陶瓷盘中心点坐标信息；
(3-2)计算蓝宝石晶片中心点与陶瓷盘中心点之间的距离，根据距离值区分内部4片与外部10片蓝宝石晶片；
(3-3)分别计算内部4片与外部10片蓝宝石晶片的间隔距离，以及内部4片和外部10片蓝宝石晶片至陶瓷盘中心点的距离，根据距离偏差值验证检测的正确性；
(3-4)计算得到陶瓷盘背面二维码的角度以及蓝宝石晶片的角度信息，按角度对蓝宝石晶片进行排序。
8.根据权利要求7所述的一种基于圆检测的蓝宝石晶片定位跟踪方法，其特征在于，所述步骤(3-4)的具体步骤为：
(3-4-1)采用zbar算法提取陶瓷盘背面二维码信息；
(3-4-2)确定二维码两个角标的位置信息，根据其位置坐标计算角度；
(3-4-3)根据陶瓷盘中心点与各个蓝宝石晶片的中心点，计算得出各个蓝宝石晶片的角度值a1；
(3-4-4)蓝宝石晶片角度a1减去二维码角度，得到各个蓝宝石晶片相对于二维码的角度值a2；
(3-4-5)对a2进行排序，将处于90°～180°的第一片蓝宝石晶片记为第一片，后续的蓝宝石晶片依次排序。
9.根据权利要求1所述的一种基于圆检测的蓝宝石晶片定位跟踪方法，其特征在于，所述步骤(4)的具体步骤为：
(4-1)通过坐标变换计算得到各个蓝宝石晶片中心点位置在机器人坐标系下的坐标；
(4-2)将所有蓝宝石晶片的坐标与角度信息，组成工件数据信息(x，y，a)，通过以太网接口发送给机器人；
(4-3)机器人控制末端夹具运动到各个蓝宝石片的正上方，采用测距传感器对各个蓝宝石晶片的厚度进行精确测量。
技术总结