一种在图像识别中危险区域标识的方法与流程

    专利2022-07-08  129


    本发明涉及激光图像识别领域,尤其涉及一种在图像识别中危险区域标识的方法。



    背景技术:

    移动物体(机器人)对危险区域(障碍物)的识别是移动物体(机器人)智能化的基础功能,该技术目前在一些自主导航机器人、消防巡查侦检机器人上广泛应用。

    目前,针对机器人障碍物识别判断主要通过三种技术实现:距离传感器、激光雷达、深度摄像头。激光雷达是基于激光束平面扫描的方式测量多个方位的距离数据,从而能够覆盖更广泛的测量区域。

    深度摄像头是通过双目成像技术,通过图像视觉处理方法,从图像中提取障碍物的特征信息,这种方法虽然覆盖范围最大,但功耗也较大,而且精度比较低。而距离传感器用于测量的机器人到障碍物的直线距离,其具有体积小、功耗低和精度高的优点,但单个距离传感器覆盖的测量范围较小,数据量较少,有较大视角盲区。

    目前市面上大多机器人都是基于距离传感器测量障碍物和机器人之间的距离来识别并避开障碍物从而达到避障效果,但由于距离传感器本身性能和距离传感器视角盲区造成有些障碍物无法准确识别到,从而造成避障效果不好。

    以上不足,有待改进。



    技术实现要素:

    本发明的目的之一在于,识别和标识目标区域中的物体,并对危险区域进行标识。

    为实现上述目的,本发明提供了一种在图像识别中危险区域标识的方法,具体步骤包括:

    步骤1、在目标区域设置多个站点及多个标靶位置;

    步骤2、在各个站点架设三维激光扫描仪和摄像头,根据目标区域参数设定最优扫描距离和扫描精度参数,获取目标区域形态点云数据及标靶位置数据;

    步骤3、利用标靶位置数据将各个站点获取的目标区域点云数据进行拼接合并,得到目标区域完整点云数据;

    步骤4、对目标区域完整点云数据进行滤波去噪处理;

    步骤5、基于所述目标区域完整点云数据生成基于不规则三角网的数字高程模型;

    步骤6、基于所述数字高程模型对危险区域进行标识。

    进一步地,所述步骤s1具体为:根据目标区域地形布设获取完整地形要素的最少站点数量,并根据站点位置设置在两个站点共同的扫描范围内至少三个标靶;

    选择下一个站点架设三维激光扫描仪,重复上述操作对所述目标区域进行扫描,获取该站点对应的所述目标区域形态点云数据及标靶位置数据,直至所有站点数据采集完毕。

    进一步地,所述根据所述目标区域参数设定最优扫描距离和扫描精度参数具体为:

    通过测量目标区域宽度、目标区域水平深度和目标区域垂直高度参数,按照预设的最优扫描距离和扫描精度与目标区域地形参数的对应关系,设定最优扫描距离和扫描精度参数。

    进一步地,还包括将识别的场景进行标识,其中,所述场景分为常规场景和未知区域;

    对所述常规场景进行标识:

    将镜面高反光物体标识为丢失定位和定位存在困难;

    将异形台面标识为定位丢失后碰撞风险高;

    将楼梯场景标识为下沉式庭院场景跌落风险;

    将下沉式水池标识为跌落后进水风险;

    确认所述未知区域的轮廓或默认轮廓,其中,所述未知区域分为墙边踢脚线、固定花坛花盆;

    根据所述墙边踢脚线、固定花坛花盆尺寸向外扩大对应尺寸并建立不可到达区域生成虚拟墙体渐近线。

    进一步地,根据所述异形台面的高度在预设(在高度为1.2米)位置生成下垂下对应到路径图生成虚拟墙体渐近线并建立不可到达区域的路径图阴影。

    进一步地,下沉式水池根据可到达边沿生成虚拟墙体渐近线建立不可到达区域形成路径图阴影。

    进一步地,移动物体识别根据激光轮廓及摄像头判定,同时对该物体遮挡部位进行自动补充虚拟轮廓标识。

    进一步地,还包括:常规场景还包括识别上坡下坡场景:根据激光算法计算出路面高度差值并计算坡度。

    进一步地,第一预设角度(10度)以内上坡标识路径图标识使用向上箭头及坡度数字;

    第一预设角度(10度)以内下坡标识使用向下箭头及坡度数字;

    第二预设角度(2度)以内的上下坡不做标识;

    第一预设角度(10度)以上的坡度使用虚拟墙拦截为不可到达区域。

    进一步地,好包括标识高脚桌椅办公桌椅的办公桌异形装饰的前台等位置;生成宽度为预设面积的虚拟区域,建立不可到达区域形成路径图阴影。

    与现有技术相比,本发明具有如下技术效果:

    本发明通过布设站点对目标区域进行扫描,获取目标区域原始形态点云数据及标靶位置数据,从而构建基于不规则三角网的数字高程模型,提高图像识别的准确性、便利性和高效性,基于所述数字高程模型对危险区域进行标识为移动行动提供路径规划支持;

    识别和标识道路凹凸不平、道路的上坡下坡以及路面坡度、下沉式庭院、下沉式水池、无防护水池、狭窄过道、高脚凳、办公桌椅、异形装饰台面、异形工作台面、高反光镜面、高反光不锈钢情况,这样可以为移动物体提供规避危险区域的路径规划;

    进一步地识别并标识移动物体与人物、固定类物体。固定类物体楼梯、扶梯、电梯、电梯编号、幕墙、异形装饰、玻璃栏杆、扶手栏杆、玻璃门、自动移门、立柱、低处水池、低矮路边线等。移动物体与人物可以识别行人、动物、临时存放的行李箱、垃圾箱、烟灰桶、雪糕筒、掉落的垃圾等,这样可以为移动物体提供规避危险区域的路径规划。

    附图说明

    为了更清楚地说明本公开具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

    图1为本发明实施例提供的一种在图像识别中危险区域标识的方法的流程图;

    图2为本发明实施例提供的一种设备在目标区域设置方法的示意图;

    图3为本发明实施例提供的一种双目摄像头和三维激光雷达设置方法的示意图;

    图4为本发明实施例提供的楼梯三维激光雷达识别图;

    图5为本发明实施例提供的整栋楼宇三维激光雷达识别图;

    图6为本发明实施例提供的楼梯识别图。

    具体实施方式

    为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。这里将详细地对示例行实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或者相似的要素。以下示例性实施例中所述描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与所述附图权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

    在一些实施例中,本发明提供了一种在图像识别中危险区域标识的方法,如图1所示,具体步骤包括:

    s1、在目标区域设置多个站点及多个标靶位置;

    s2、在各个站点架设三维激光扫描仪和摄像头,根据目标区域参数设定最优扫描距离和扫描精度参数,获取目标区域形态点云数据及标靶位置数据;

    s3、利用标靶位置数据将各个站点获取的目标区域点云数据进行拼接合并,得到目标区域完整点云数据;

    s4、对目标区域完整点云数据进行滤波去噪处理;

    s5、基于所述目标区域完整点云数据生成基于不规则三角网的数字高程模型;

    s6、基于所述数字高程模型对危险区域进行标识。

    在本实施例中,提供了一种三维激光雷达图像识别设备,其中设备并不是本发明保护的重点内容,只是提供一种能够实现本发明方法的设备,包括:多个固定装置、控制装置、多个摄像头、通信设备和多个三维激光雷达;

    所述控制装置与多个所述三维激光雷达连接,其中,多个所述三维激光雷达的探测方位角之和大于或等于360度;所述控制装置与多个所述摄像头连接,其中,多个所述摄像头的探测方位角之和大于或等于360度;所述固定装置与所述多个所述三维激光雷达和多个所述摄像头连接,用于分别保持所述多个三维激光雷达之间和多个所述摄像头之间的相对位置关系保持不变,并分别保持多个所述三维激光雷达与目标位置、多个所述摄像头与目标位置的相对位置关系不变;所述三维激光雷达和摄像头分别通过通信设备和连接控制装置,其中,所述控制装置对激光点云数据进行处理,在图2中提供了一种目标区域设置设备的一种示意图,示意性地上述所述设备在目标区域设置三个站点,在分配方案上为:三个装备为三角形,优先地三角形夹角为60°。

    在图3中提供了一种摄像头和三维激光雷达一种角度设置方式,其中,摄像头10为包括第一摄像头102和第二摄像头103,三维激光雷达为单目101,示意性地上述第一摄像头102和第二摄像头103,三维激光雷达为单目101,在分配方案上为,三个装备为三角形,优先地三角形夹角为60°

    在本实施例中,所述控制装置和显示器连接,其中,所述显示器用来展示设备识别的结果。

    在本实施例中,设置在所述固定装置下端的多个万向轮;

    设置在所述固定装置的轮毂驱动板和轮毂电机;

    多个所述万向轮和轮毂电机连接;所述轮毂驱动板和控制装置和连接。

    本发明通过布设站点对目标区域进行扫描,获取目标区域原始形态点云数据及标靶位置数据,从而构建基于不规则三角网的数字高程模型,提高图像识别的准确性、便利性和高效性,基于所述数字高程模型对危险区域进行标识为移动行动提供路径规划支持,多帧三维点云激光点云图和摄像头的视觉图片相结合可以便于机器人完整地识别目标区域中障碍物或者识别危险区域。

    在本实施例中,所述步骤s1具体为:根据目标区域地形布设获取完整地形要素的最少站点数量,并根据站点位置设置在两个站点共同的扫描范围内至少三个标靶;

    选择下一个站点架设三维激光扫和摄像头装置,重复上述操作对所述目标区域进行扫描,获取该站点对应的所述目标区域形态点云数据及标靶位置数据,直至所有站点数据采集完毕,通过设置站点可以扩大设备的采集面积,再通过无线通信设备,将信号传送给移动中的机器人,机器人可以提前做好规避物体的风险,即时调整移动路径的方案。

    在本实施例中,所述根据所述目标区域参数设定最优扫描距离和扫描精度参数具体为:

    通过测量目标区域宽度、目标区域水平深度和目标区域垂直高度参数,按照预设的最优扫描距离和扫描精度与目标区域地形参数的对应关系,设定最优扫描距离和扫描精度参数,增加移动机器人获取信息量,进而可以扩大移动机器人移动范围。

    在本实施例中,还包括将识别的场景进行标识,其中,所述场景分为常规场景和未知区域;

    对所述常规场景进行标识:

    将镜面高反光物体标识为丢失定位和定位存在困难;

    将异形台面标识为定位丢失后碰撞风险高;

    将楼梯场景标识为下沉式庭院场景跌落风险;

    将下沉式水池标识为跌落后进水风险;

    确认所述未知区域的轮廓或默认轮廓,其中,所述未知区域分为墙边踢脚线、固定花坛花盆;

    根据所述墙边踢脚线、固定花坛花盆尺寸向外扩大对应尺寸并建立不可到达区域生成虚拟墙体渐近线。

    识别和标识道路凹凸不平、道路的上坡下坡以及路面坡度、下沉式庭院、下沉式水池、无防护水池、狭窄过道、高脚凳、办公桌椅、异形装饰台面、异形工作台面、高反光镜面、高反光不锈钢情况,这样可以为移动物体提供规避危险区域的路径规划,其中,移动物体包括机器人。

    在本实施例中,根据所述异形台面的高度在预设(在高度为1.2米)位置生成下垂下对应到路径图生成虚拟墙体渐近线并建立不可到达区域的路径图阴影。

    在本实施例中,下沉式水池根据可到达边沿生成虚拟墙体渐近线建立不可到达区域形成路径图阴影。

    在本实施例中,移动物体识别根据激光轮廓及摄像头判定,同时对该物体遮挡部位进行自动补充虚拟轮廓标识。

    在本实施例中,还包括:常规场景还包括识别上坡下坡场景:根据激光算法计算出路面高度差值并计算坡度。

    在本实施例中,第一预设角度(10度)以内上坡标识路径图标识使用向上箭头及坡度数字;

    第一预设角度(10度)以内下坡标识使用向下箭头及坡度数字;

    第二预设角度(2度)以内的上下坡不做标识;

    第一预设角度(10度)以上的坡度使用虚拟墙拦截为不可到达区域。

    在本实施例中,还包括标识高脚桌椅办公桌椅的办公桌异形装饰的前台等位置;生成宽度为预设面积的虚拟区域,建立不可到达区域形成路径图阴影。

    如图4是楼梯三维激光雷达识别图,如图5是整栋楼宇三维激光雷达识别图,如图6是楼梯识别图,其中,二楼点状云图及向下楼梯展示,方中框为楼梯展示。

    在本实施例中,识别并标识移动物体与人物、固定类物体。固定类物体楼梯、扶梯、电梯、电梯编号、幕墙、异形装饰、玻璃栏杆、扶手栏杆、玻璃门、自动移门、立柱、低处水池、低矮路边线等。移动物体与人物可以识别行人、动物、临时存放的行李箱、垃圾箱、烟灰桶、雪糕筒、掉落的垃圾等,这样可以为移动物体提供规避危险区域的路径规划。

    示意性地,提供了一种摄像头视频和三维激光点数数据图处理的方式,但此式并不是本发明的重点,在目标区域设置多个站点及多个标靶位置;在各个站点架设三维激光扫描仪和摄像头,根据目标区域参数设定最优扫描距离和扫描精度参数,获取目标区域形态点云数据及标靶位置数据;利用标靶位置数据将各个站点获取的目标区域点云数据进行拼接合并,得到目标区域完整点云数据;

    对目标区域完整点云数据进行滤波去噪处理;基于所述目标区域完整点云数据生成基于不规则三角网的数字高程模型;基于所述数字高程模型对危险区域进行标识;将所述前方路面视频信息转化为视差图,将所述视差图转化为一系列子v视差图和u视差图,分别对各个子v视差图和u视差图采用自适应哈夫变换进行自适应线段拟合,从而分别拟合出障碍物映射线段,并根据分别拟合出的障碍物映射线段,得出障碍物正面信息区域范围。

    其中,融合所述展示图的具体步骤包括:将提取出的所述目标物体的正面、侧面和/或背面信息区域范围与拟合后得到的所述障碍物正面信息区域范围执行区域融合,以目标区域区形成具有颜色特征的三维点云信息。

    利用移动窗口,将所述视差图分割为一系列v视差图,对各个子v视差图采用自适应哈夫变换进行自适应线段拟合,拟合出路面映射线段,确定并记录各个子视差图中的最远端路面射线段的端点的参数;

    根据摄像头参数信息计算出最远端面映射线段的每个端点在世界坐标系中所对应的实际高度和实际景深;

    以及摄像头参数信息计算出最远端路面边界在主车体坐标系中的实际空间坐标;

    其中,所述最远端路面映射线段的端点的参数信息包括:该端点的坐标信息和对应的视差值。

    根据实时的定位输出,将每一次的点云扫描坐标变换至维空间即可获得整个环境的三维地图。

    定位图的获取的具体步骤包括:在建图过程中,会实时对地面进行检测。

    因此,在三维地图中的地面基准面是已知的;同时,机器人的激光安装高度已知,为了获取定位地图,仅需在三维地图中,以激光的安装高度进行切割,将截面提取出,即可作为机器人的定位图使用。

    路径图的获取的具体步骤包括:路径地图为表示环境中可同行区域以及不可通行区域的二维地图;同样,在三维地图中地面基准面已知的前提下,只需将高度低于机器人高度的点云(不可通过)或低于地面的点云(会跌落),投影至同一平面,即可获得机器人所用的路径图。

    一种计算机可读介质,计算机可读储存介质上存储有计算机程序,所述计算机程序被处理器执行时实现。其上存储有计算机程序,当计算机程序被处理器执行时实现上述从调度服务器侧描述的机器人自检控制方法。

    计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

    计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、rf等等,或者上述的任意合适的组合。

    尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

    最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

    以上对本申请所提供的一种在图像识别中危险区域标识的方法,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。


    技术特征:

    1.一种在图像识别中危险区域标识的方法,其特征在于,具体步骤包括:

    步骤1、在目标区域设置多个站点及多个标靶位置;

    步骤2、在各个站点架设三维激光扫描仪和摄像头,根据目标区域参数设定最优扫描距离和扫描精度参数,获取目标区域形态点云数据及标靶位置数据;

    步骤3、利用标靶位置数据将各个站点获取的目标区域点云数据进行拼接合并,得到目标区域完整点云数据;

    步骤4、对目标区域完整点云数据进行滤波去噪处理;

    步骤5、基于所述目标区域完整点云数据生成基于不规则三角网的数字高程模型;

    步骤6、基于所述数字高程模型对危险区域进行标识。

    2.根据权利要求1所述的在图像识别中危险区域标识的方法,其特征在于,所述步骤s1具体为:根据目标区域地形布设获取完整地形要素的最少站点数量,并根据站点位置设置在两个站点共同的扫描范围内至少三个标靶;

    选择下一个站点架设三维激光扫描仪,重复上述操作对所述目标区域进行扫描,获取该站点对应的所述目标区域形态点云数据及标靶位置数据,直至所有站点数据采集完毕。

    3.根据权利要求2所述的在图像识别中危险区域标识的方法,其特征在于,所述根据所述目标区域参数设定最优扫描距离和扫描精度参数具体为:

    通过测量目标区域宽度、目标区域水平深度和目标区域垂直高度参数,按照预设的最优扫描距离和扫描精度与目标区域地形参数的对应关系,设定最优扫描距离和扫描精度参数。

    4.根据权利要求3所述的在图像识别中危险区域标识的方法,其特征在于,还包括将识别的场景进行标识,其中,所述场景分为常规场景和未知区域;

    对所述常规场景进行标识:

    将镜面高反光物体标识为丢失定位和定位存在困难;

    将异形台面标识为定位丢失后碰撞风险高;

    将楼梯场景标识为下沉式庭院场景跌落风险;

    将下沉式水池标识为跌落后进水风险;

    确认所述未知区域的轮廓或默认轮廓,其中,所述未知区域分为墙边踢脚线、固定花坛花盆;

    根据所述墙边踢脚线、固定花坛花盆尺寸向外扩大对应尺寸并建立不可到达区域生成虚拟墙体渐近线。

    5.根据权利要求4所述的在图像识别中危险区域标识的方法,其特征在于,根据所述异形台面的高度在预设位置生成下垂下对应到路径图生成虚拟墙体渐近线并建立不可到达区域的路径图阴影。

    6.根据权利要求4所述的在图像识别中危险区域标识的方法,其特征在于,下沉式水池根据可到达边沿生成虚拟墙体渐近线建立不可到达区域形成路径图阴影。

    7.根据权利要求5所述的在图像识别中危险区域标识的方法,其特征在于,移动物体识别根据激光轮廓及摄像头判定,同时对该物体遮挡部位进行自动补充虚拟轮廓标识。

    8.根据权利要求5所述的在图像识别中危险区域标识的方法,其特征在于,还包括:常规场景还包括识别上坡下坡场景:根据激光算法计算出路面高度差值并计算坡度。

    9.根据权利要求8所述的在图像识别中危险区域标识的方法,其特征在于,第一预设角度以内上坡标识路径图标识使用向上箭头及坡度数字;

    第一预设角度以内下坡标识使用向下箭头及坡度数字;

    第二预设角度以内的上下坡不做标识;

    第一预设角度以上的坡度使用虚拟墙拦截为不可到达区域。

    10.根据权利要求1所述的在图像识别中危险区域标识的方法,其特征在于,好包括标识高脚桌椅办公桌椅的办公桌异形装饰的前台等位置;生成宽度为预设面积的虚拟区域,建立不可到达区域形成路径图阴影。

    技术总结
    本发明提供了一种在图像识别中危险区域标识的方法,具体步骤包括:在目标区域设置多个站点及多个标靶位置;在各个站点架设三维激光扫描仪和摄像头,根据目标区域参数设定最优扫描距离和扫描精度参数,获取目标区域形态点云数据及标靶位置数据;利用标靶位置数据将各个站点获取的目标区域点云数据进行拼接合并,得到目标区域完整点云数据;对目标区域完整点云数据进行滤波去噪处理;基于所述目标区域完整点云数据生成基于不规则三角网的数字高程模型;基于所述数字高程模型对危险区域进行标识;本发明通过布设站点对目标区域进行扫描,基于所述数字高程模型对危险区域进行标识为移动行动提供路径规划支持。

    技术研发人员:李岩;王东
    受保护的技术使用者:上海有个机器人有限公司
    技术研发日:2020.12.15
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-19449.html

    最新回复(0)