智能割草机器人的避障控制方法及控制系统与流程

    专利2022-07-08  103


    本申请具体公开一种智能割草机器人的避障控制方法及控制系统。



    背景技术:

    目前,最常见的用于草坪维护美化的智能维护设备为智能割草机器人,现有的智能割草机器人大多采用传感器、智能控制和模式识别等技术,集成感知、识别、决策和控制等功能,能够自主完成设定的工作任务,同时完成自身的充电维护等。

    但是,现在市售的智能割草机器人,存在着要设置工作边界的应用问题和搭载的传感器价格高昂的成本问题,限制了智能割草机器人的应用范围,亟待改进。



    技术实现要素:

    第一方面、本申请旨在提供一种相较于现有技术而言,无需布置工作区域范围,极大程度上降低了使用该割草机器人的复杂程度,使得其更适于推广使用的智能割草机器人的避障控制方法。

    一种智能割草机器人的避障控制方法,包括如下步骤:获得实时图片数据信息:获取实时地面视频信息,并对实时地面视频信息进行图像提取处理以获得实时图片数据信息;对实时图片数据信息进行分类:将获得的实时图片数据信息输入至图片数据分类模型进行识别,得到边界类图片数据,或障碍类图片数据,或草地类图片数据;对经过分类的图片数据信息进行指令转化:将所述边界类图片数据,或障碍类图片数据转化为用于控制避障的第一驱动指令;将所述草地类图片数据转化为用于控制直行第二驱动指令。

    根据本申请中任一实施方式,在“获得实时图片数据信息”的步骤之后和“对实时图片数据信息进行分类”之前,还包括:对获得的实时图片数据信息进行编辑,过滤除了边界类、障碍类和草地类之外的信息。

    根据本申请中任一实施方式,在“对经过分类的图片数据信息进行指令转化”的步骤中,将所述边界类图片数据,或障碍类图片数据转化为第一指令信息;所述草地类图片数据转化为第二指令信息;将第一指令信息和第二指令信息分别转化为第一驱动指令和第二驱动指令。

    根据本申请中任一实施方式,获取图片数据分类模型的具体步骤如下:获取地面视频信息,将地面视频信息进行图像提取处理,获得图片数据集;对获得图片数据集中的图片数据信息进行分类,得到具备分类要素的有效图片数据集和未具备分类要素的无效图片数据集;分别设定边界类图片数据,障碍类图片数据,或草地类图片数据的第一分类标签;将有效图片数据集中图片数据依次输入至神经网络,依次获得各图片数据的预测分类标签,神经网络将预测分类标签进行分类分别得到与所述边界类图片数据,障碍类图片数据,或草地类图片数据对应的第二分类标签;依次计算第二分类标签和与之对应的第一分类标签之间损失函数的数值,当该数值达到收敛状态时,确定图片数据分类模型训练完成。

    根据本申请中任一实施方式,将有效图片数据集中图片数据依次输入至神经网络,依次获得各图片数据的预测分类向量,并将预测分类向量进行转化得到预测分类标签。

    第二方面、本申请旨在提供一种相较于现有技术而言,无需布置工作区域范围,极大程度上降低了使用该割草机器人的复杂程度,使得其更适于推广使用的智能割草机器人的避障控制系统。

    一种智能割草机器人的避障控制系统,包括:用于获取实时地面视频信息的视频采集模块;与所述视频采集模块通信连接且用于对实时地面视频信息进行图像提取处理以获得实时图片数据信息的图像提取处理模块;与所述图像提取处理模块通信连接且用于对实时图片数据信息进行分类的图片数据分类模块;和,与所述图片数据分类模块通信连接且用于对经过分类的实时图片数据信息进行指令转化的指令转化模块;以及,与所述指令转化模块通信连接的驱动控制模块。

    根据本申请中任一实施方式,所述图像提取处理模块包括:用于对实时地面视频信息进行图像提取并获得初始图像数据信息的图像提取单元和与所述图像提取单元通信连接且用于对初始图像数据信息进行编辑的图像处理单元。

    根据本申请中任一实施方式,所述指令转化模块包括:用于对经过分类的实时图片数据信息进行指令转化的第一转化单元和与所述第一转化单元通信连接的第二转化单元;所述第一转化单元,用于将经过分类的实时图片数据信息转化为第一指令信息或第二指令信息;所述第二转化单元,用于将第一指令信息或第二指令信息分别转化为第一驱动指令或第二驱动指令。

    根据本申请中任一实施方式,所述图片数据分类模块,包括:用于存储地面视频信息的视频存储单元、与所述视频存储单元通信连接且用于对地面视频信息进行图像提取处理以获得图片数据信息的图像提取处理单元、与所述图像提取处理单元通信连接且对获得图片数据集中的图片数据信息进行分类的图片分类单元、和与图片分类单元通信连接的模型构建单元。

    根据本申请中任一实施方式,所述图片数据分类模块,还包括:与所述模型构建单元通信连接且用于实现模型转化的模型转化单元。

    综上所述,本申请一方面提供有一种智能割草机器人的避障控制方法,在该避障控制方法中,采集实时的地面视频信息,并提取其中的实时图片数据信息,基于训练完成的图片数据分类模型对实时图片数据信息进行识别实现分类,再将经过分类的图片数据信息转换为不同的驱动指令,如:用于避障的第一驱动指令和用于控制直行的第二驱动指令。相较于现有技术中需要基于多传感器的设计来实现避障控制而言,上述控制方法赋予割草机器人的自动判断能力,无需配置价格高昂的传感器或雷达设备。

    当其自动识别出边界类图片数据,并进行自动避让,无需布置工作区域范围,极大程度上降低了使用该割草机器人的复杂程度,使得其更适于推广使用。当其自动识别出障碍类图片数据,进行自动避让,一方面,不局限于障碍的类型、尺寸,使得其避让效果大幅度提升;另一方面无需配置价格高昂的传感器或雷达设备,能够极大地降低割草机器人的整体造价,使得其更易于被推广。当其自动识别到草地类图片数据,则控制驱动直行,以执行该割草机器人的本职任务。

    基于上述智能避障控制方法,本申请另一方面提供有一种智能割草机器人的避障控制系统,该控制系统以上述控制方法的构思为基础,提供了能够实现上述控制方法的控制部件,并将所述的控制部件组合构成得到了整体的避障控制系统。

    附图说明

    通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:

    图1所示的是一种智能割草机器人的避障控制方法的一种实施方式;

    图2所示的是一种智能割草机器人的避障控制方法的一种应用场景;

    图3所示的是一种智能割草机器人的避障控制方法的一种实施方式;

    图4所示的是一种智能割草机器人的避障控制方法的一种实施方式;

    图4a所示的是一种智能割草机器人的避障控制方法中信息流程的一种实施方式;

    图5所示的是获取图片数据分类模型的一种实施方式;

    图6所示的是一种智能割草机器人的避障控制方法的一种实施方式;

    图7所示的是一种智能割草机器人的避障控制系统的一种实施方式;

    图8所示的是一种智能割草机器人的避障控制系统的一种实施方式;

    图9所示的是一种智能割草机器人的避障控制系统的一种实施方式。

    具体实施方式

    下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。

    需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

    请参考图1所示的一种智能割草机器人的避障控制方法的一种实施方式。

    所述智能割草机器人的避障控制方法,包括如下步骤:

    s1:获得实时图片数据信息:获取实时地面视频信息,并对实时地面视频信息进行图像提取处理以获得实时图片数据信息。

    s2:对实时图片数据信息进行分类:将获得的实时图片数据信息输入至图片数据分类模型进行识别,得到边界类图片数据,或障碍类图片数据,或草地类图片数据。

    s3:对经过分类的图片数据信息进行指令转化:将所述边界类图片数据,或障碍类图片数据转化为用于控制避障的第一驱动指令;将所述草地类图片数据转化为用于控制直行第二驱动指令。

    其中:

    在s1中,获取实时地面视频信息的方式,可采用常见的获取方式即可,如:在智能割草机器人前端设置摄像装置的方式,即能获得实时的地面视频信息。在s1中,在获得实时地面视频信息之后,需进一步地对该地面视频信息进行处理,以将其划分为连续的实时图片数据信息,连续的实时图片数据信息提出的过程中,无具体限制,如:按照相同的帧数间隔进行提取。

    s1中设定实时获取的地面视频信息为p,相应的,经过处理后的实时图片数据信息根据时间顺序可呈单序列结构,即{p1,p2……pn},其中:n为自然数。

    步骤s2中,对s1中获得的实时图片数据信息进行识别分类,具体地,将呈序列结构的实时图片数据信息,即{p1,p2……pn},输入至经过训练得到的图片数据分类模型中,图片数据分类模型自动将实时图片数据信息进行分类,得到:边界类图片数据,或障碍类图片数据,或草地类图片数据。具体地,呈序列结构的实时图片数据信息依次按照实时的时间顺序输入至图片数据分类模型,而该图片数据分类模型将针对单一图片数据信息,自动进行识别并判断其为边界类图片数据,或障碍类图片数据,或草地类图片数据。

    如图2所示的应用场景中,曲线所示为所述草地区域的边界线。

    a点为起始点;o点为障碍,如:树木障碍;或管路障碍;或人员障碍;其余区域为草地区域。

    当割草机器人自a点开始前进,至o点的过程中,保持直行即可;至o点处,则需要避障;继续行进至区域边界b点时仍旧需要避障。

    在上述轨迹行进中,a至o的过程中,输入的实时序列{pa……p0},在相对靠近a的区域,如qa所示,输入的实时序列{pa……pqa},经过图片数据分类模型判断为草地类图片信息,无需避障,保持直行;跨过qa的边界至o点时,输入的实时序列{pqa……p0}输入的实时序列经过图片数据分类模型判断为由草地类图片信息逐步地切换为障碍类图片数据,需要避障。

    在绕过障碍o,并由o行进至b的过程中,输入的实时序列{p0……pb},在相对靠近o的区域,如q0所示,输入的实时序列{p0……pq0},经过图片数据分类模型判断为草地类图片信息,无需避障,保持直行;跨过q0的边界至b点的过程中时,输入的实时序列{pq0……pb}输入的实时序列经过图片数据分类模型判断为由草地类图片信息逐步地切换为障碍类图片数据,需要避障。

    在s3中,经过图片数据分类模型的识别判断后,为便于控制割草机器人避障或控制其直行,需要将经过分类的边界类图片数据,或障碍类图片数据,或草地类图片数据进行转换。具体地,将所述边界类图片数据,或障碍类图片数据转化为用于控制避障的第一驱动指令;将所述草地类图片数据转化为用于控制直行第二驱动指令。

    其中:第一驱动指令,用于避障,可优选为控制转弯或绕过的指令;第二驱动指令,用于控制直行。

    优选地,第一驱动指令和第二驱动指令为直接控制割草机器人的驱动指令,优选为pwm波的形式。

    较于现有技术中需要基于多传感器的设计来实现避障控制而言,上述控制方法赋予割草机器人的自动判断能力,无需配置价格高昂的传感器或雷达设备。

    当其自动识别出边界类图片数据,并进行自动避让,无需布置工作区域范围,极大程度上降低了使用该割草机器人的复杂程度,使得其更适于推广使用。当其自动识别出障碍类图片数据,进行自动避让,一方面,不局限于障碍的类型、尺寸,使得其避让效果大幅度提升;另一方面无需配置价格高昂的传感器或雷达设备,能够极大地降低割草机器人的整体造价,使得其更易于被推广。当其自动识别到草地类图片数据,则控制驱动直行,以执行该割草机器人的本职任务。

    请参考图3所示的一种智能割草机器人的避障控制方法的一种实施方式。

    本实施方式中,在“获得实时图片数据信息”的步骤之后和“对实时图片数据信息进行分类”之前,还包括:s12:对获得的实时图片数据信息进行编辑,过滤除了边界类、障碍类和草地类之外的信息。

    基于图片数据分类模型可知,分类评价中考虑的结果包括:边界类、障碍类和草地类。但拍摄地面视频的过程中摄像角度的装置,很容易摄入与分类要素无关的信息,为减少图片分类模型阶段的工作量,并最大限度地凸显分类要素,便于其快速地进行识别,在s1和s2之间还增设有步骤s12,对实时图片数据信息进行编辑,过滤除了边界类、障碍类和草地类之外的信息。

    具体地,在摄像头安装的时候,由于摄像头安装的高度位置不一,可能会在地面视频信息中提取处理的图片数据信息中看到一些无用要素。如:割草机器人的前端结构,本步骤能够将提取的图片数据信息中的割草机器人的前端结构元素进行过滤。

    进一步地,也可以通过这种方式来调节割草机器人的视角,如视频采集模块11的安装角度。

    请参考图4所示的一种智能割草机器人的避障控制方法的一种实施方式。

    本实施方式中,在“对经过分类的图片数据信息进行指令转化”的步骤中,将所述边界类图片数据,或障碍类图片数据转化为第一指令信息;所述草地类图片数据转化为第二指令信息;将第一指令信息和第二指令信息分别转化为第一驱动指令和第二驱动指令。

    本实施方式中具体地设计,将二者之间的转化步骤分为两步,即:

    第一步,将所述边界类图片数据,或障碍类图片数据转化为第一指令信息。所述草地类图片数据转化为第二指令信息。

    第二步,将第一指令信息和第二指令信息分别转化为第一驱动指令和第二驱动指令。

    具体地,第一指令信息和第二指令信息可为字符信息的格式并将这个字符信息通过通信中的订阅协议,传递到指令转换平台中,然后指令转换平台根据得到的指令信息,也即:第一指令信息或第二指令信息,将其转化为pwm波信息,以便于实现电机的驱动控制。

    如图4a所示的示例:

    在第一步中,如判断为边界类图片数据或障碍类图片数据时,将其分别转化为一个转弯90度的第一指令信息如“turn_90”。

    第二步中,将第一指令信息通过通信协议,如:ros,发送到指令转换平台当中,指令转换平台在接收到“turn_90”的信息后,将其转换为如“turn_sign”的第一驱动指令的控制信号,此控制信号包含各电机的pwm(0~255)数值,再传递到电机驱动板控制转弯。

    又如:

    在第一步中,如判断为草地类图片数据时,将其分别转化为一个直行的第二指令信息如“forward”。

    第二步中,将第二指令信息通过通信协议,如:ros,发送到指令转换平台当中,指令转换平台在接收到“forward”的信息后,将其转换为如“forward_sign”的第二驱动指令的控制信号,此控制信号包含各电机的pwm(0~255)数值,再传递到电机驱动板控制转弯。

    请参考图5所示的获取图片数据分类模型的一种实施方式。

    本具体实施方式中提供有获取图片数据分类模型的具体步骤,s0如下所示:

    s01:获取地面视频信息,将地面视频信息进行图像提取处理,获得图片数据集;因为无需实时控制割草机器人的驱动动作,本步骤的获取地面视频信息之后,进行存储,其目的在于,将地面视频信息进行图像提取处理,获得图片数据集;该图片数据集的获得需要时间的积累,可综合割草机器人所能遭遇的各类情况。

    s02:对获得图片数据集中的图片数据信息进行分类,得到具备分类要素的有效图片数据集和未具备分类要素的无效图片数据集;在此步骤中,需要筛选掉图片数据集中的无效图片数据集,本步骤中分类要素包括但不限于:边界、障碍、草地,筛选的方法优选为:对图片中与草地不同的色素值和图片的纹理作为具体的分类要素。

    障碍:提取出竖直的纹理和与草地色素不同的色素值,获得障碍类特征序列。

    边界:提取出水平的纹理和与草地色素不同的色素值,获得边界类特征序列。

    草地:提取其色素值,获得草地类特征序列。

    基于上述筛选,能够提取图片数据集中的具备上述分类要素的图片数据集,也即:有效图片数据集,而其余不具备上述分类要素的则为无效图片数据集。

    s03:分别设定边界类图片数据,障碍类图片数据,或草地类图片数据的第一分类标签;本步骤中,分别赋予边界类图片数据,障碍类图片数据,或草地类图片数据不同的分类标签,这些分类标签统称为第一分类标签。

    设定:第一分类标签分别为向量序列,所述边界类图片数据为【1,0,0】;所述障碍类图片数据为【0,1,0】;或草地类图片数据为【0,0,1】。

    s04:将有效图片数据集中图片数据依次输入至神经网络,依次获得各图片数据的预测分类标签,神经网络将预测分类标签进行分类分别得到与所述边界类图片数据,障碍类图片数据,或草地类图片数据对应的第二分类标签;本步骤中,将预测分类标签进行分类得到与所述边界类图片数据,障碍类图片数据,或草地类图片数据不同的分类标签,这些分类标签统称为第二分类标签。

    将s02中的有效图片数据集中图片数据依次输入至神经网络,将依次获得各图片数据的预测分类标签,所述预测分类标签为向量序列。

    如:当预测分类标签为【0.95,0.05,0】时,经分析,其向量序列中第一个要素数值接近所述边界类图片数据的第一分类标签中的第一要素数值,即判定该预测分类标签为第二分类标签中与边界类图片数据对应。

    又如:当预测分类标签为【0.05,0.95,0】时,经分析,其向量序列中第二个要素数值接近第一分类标签中所述障碍类图片数据的第二要素数值,即判定该预测分类标签为第二分类标签中与障碍类图片数据对应。

    再如:当预测分类标签为【0,0.05,0.95】时,经分析,其向量序列中第三个要素数值接近第一分类标签中所述草地类图片数据的第三个要素数值,即判定该预测分类标签为第二分类标签中与草地类图片数据对应。

    当然,上述步骤是神经网络需要实现的分类目标,但是,在神经网络的初始参数之下,其分类效果还需要训练,具体训练步骤如s05所示。

    s05:依次计算第二分类标签和与之对应的第一分类标签之间损失函数的数值,当该数值达到收敛状态时,确定图片数据分类模型训练完成。

    将某一图片数据输入至神经网路后得到的预测分类标签为【0.88,0.12,0】时:

    设定场景一:经神经网络分类后,神经网络判断其作为第二分类标签中的边界类【0.88,0.12,0】,与之对应的第一分类标签为边界类图片数据,其向量序列为【1,0,0】。

    应用多分类的交叉熵,计算二者之间的loss值为:

    l=-(1×log0.88 0×log0.12 0×log0)=0.055

    即:loss值较小,符合收敛状态,证明此次分类无误。

    又设定场景二:经神经网络分类后,神经网络判断其作为第二分类标签中的障碍类【0.88,0.12,0】,与之对应的第一分类标签为障碍类图片数据,其向量序列为【0,1,0】

    应用多分类的交叉熵,计算二者之间的loss值为:

    l=-(0×log0.88 1×log0.12 0×log0)=0.92

    即:loss值较大,不符合收敛状态,证明此次分类有误。需要通过修改神经网络的参数数值使得loss值下降,继续训练再判断,当其最终处于收敛状态时,针对障碍类图片数据的训练完成。

    相应的,针对草地类图片数据的训练过程如上所示。

    基于本实施方式,将有效图片数据集中图片数据依次输入至神经网络,依次获得各图片数据的预测分类标签,神经网络将预测分类标签进行分类分别得到与所述边界类图片数据,障碍类图片数据,或草地类图片数据对应的第二分类标签;在神经网络的分类过程中,当其分类结果为场景一时,证明神经网络分类正确;当其分类结果为场景二时,证明其分类不正确,为使得loss数值下降,需要调整神经网络的参数。

    经过大量样本的训练,在每一次输入神经网络之后,判断是否需要调整神经网络参数,在样本量足够大时,当所有样本训练完成之后,得到实现精准分类的图片数据分类模型。

    优选地,将有效图片数据集中图片数据依次输入至神经网络,依次获得各图片数据的预测分类向量,并将预测分类向量进行转化得到预测分类标签。

    在将有效图片数据集中图片数据依次输入至神经网络后,得到的输入向量往往无法直接与第一分类标签中的向量序列相比较,如:【3,1,-3】,在本步骤中,可以经过softmax的转化,将它映射到(0,1)之间,得到:

    同理可得y2=0.12,y2=0,然后再神经网络的输出就转化为了【0.88,0.12,0】。

    优选地,神经网络还可以是其他网络结构,如vgg网络结构、googlenetincepetionv1等。

    基于上述智能避障控制方法,本申请另一方面提供有一种智能割草机器人的避障控制系统,该控制系统以上述控制方法的构思为基础,提供了能够实现上述控制方法的控制部件,并将所述的控制部件组合构成得到了整体的避障控制系统,请参考图6所示的一种智能割草机器人的避障控制系统。

    所述智能割草机器人的避障控制系统10,包括:

    用于获取实时地面视频信息的视频采集模块11;可采用常见的获取方式即可,如:在智能割草机器人前端设置摄像装置的方式,即能获得实时的地面视频信息。

    与所述视频采集模块通信连接且用于对实时地面视频信息进行图像提取处理以获得实时图片数据信息的图像提取处理模块12;该图片提取处理模块可为网络模块,如python在线程序,按需提取数据照片,作为照片的样本。

    与所述图像提取处理模块通信连接且用于对实时图片数据信息进行分类的图片数据分类模块13;该模块对图像提取处理模块中获得的实时图片数据信息进行识别分类,具体地,将呈序列结构的实时图片数据信息,即{p1,p2……pn},输入至经过训练得到的图片数据分类模型中,图片数据分类模型自动将实时图片数据信息进行分类,得到:边界类图片数据,或障碍类图片数据,或草地类图片数据。具体地,其内置有如上述方法实施方式中训练得到的图片数据分类模型。

    和,与所述图片数据分类模块通信连接且用于对经过分类的实时图片数据信息进行指令转化的指令转化模块14;经过图片数据分类模块的识别判断后,为便于控制割草机器人避障或控制其直行,需要将经过分类的边界类图片数据,或障碍类图片数据,或草地类图片数据进行转换。具体地,将所述边界类图片数据,或障碍类图片数据转化为用于控制避障的第一驱动指令;将所述草地类图片数据转化为用于控制直行第二驱动指令。其中:第一驱动指令,用于避障,可优选为控制绕行或转向的指令;第二驱动指令,用于控制直行。优选地,第一驱动指令和第二驱动指令为直接控制割草机器人的驱动指令,优选为pwm波的形式。

    以及,与所述指令转化模块通信连接的驱动控制模块15,该驱动控制模块用于驱动割草机器人的动作。

    请参考图7所示的一种智能割草机器人的避障控制系统。任一优选的实施方式中,所述图像提取处理模块12包括:用于对实时地面视频信息进行图像提取并获得初始图像数据信息的图像提取单元121和与所述图像提取单元通信连接且用于对初始图像数据信息进行编辑的图像处理单元122。基于图片数据分类模型可知,分类评价中考虑的结果包括:边界类、障碍类和草地类。但拍摄地面视频的过程中摄像角度的装置,很容易摄入与分类要素无关的信息,为减少图片分类模型阶段的工作量,并最大限度地凸显分类要素,便于其快速地进行识别,所述图像提取处理模块中包括对实时图片数据信息进行编辑,过滤除了边界类、障碍类和草地类之外的信息的图像处理单元。

    所述图像提取单元121,可采用网络模块,如python在线程序,按需提取数据照片,作为照片的样本。

    所述图像处理单元122,可采用python程序调节实现。

    具体地,在摄像头安装的时候,由于摄像头安装的高度位置不一,可能会在地面视频信息中提取处理的图片数据信息中看到一些无用要素。如:割草机器人的前端结构,基于本步骤中的图像提取处理模块,能够将提取的图片数据信息中的割草机器人的前端结构元素过滤。进一步地,也可以通过这种方式来调节割草机器人的视角,如视频采集模块11的安装角度。

    请参考图8所示的一种智能割草机器人的避障控制系统。任一优选的实施方式中,所述指令转化模块14包括:用于对经过分类的实时图片数据信息进行指令转化的第一转化单元141和与所述第一转化单元通信连接的第二转化单元142;所述第一转化单元,用于将经过分类的实时图片数据信息转化为第一指令信息或第二指令信息,其可以用图片类别信息与指令信息关联的方式实现;所述第二转化单元,用于将第一指令信息或第二指令信息分别转化为第一驱动指令或第二驱动指令。

    本实施方式中具体地设计,将二者之间的转化步骤分为两步,即:

    第一步,将所述边界类图片数据,或障碍类图片数据转化为第一指令信息。所述草地类图片数据转化为第二指令信息。

    第二步,将第一指令信息和第二指令信息分别转化为第一驱动指令和第二驱动指令。

    具体地,如图4a所示,第一指令信息和第二指令信息可为字符信息的格式并将这个字符信息通过通信中的订阅协议,传递到第二转化单元中,然后指令转换模块根据得到的指令信息,也即:第一指令信息或第二指令信息,将其转化为pwm波信息,以便于实现电机的驱动控制。所述第二转化单元为单片机,如:stm32单片机。

    请参考图9所示的一种智能割草机器人的避障控制系统。为实现构建图片数据分类模型的过程,本实施方式中提供有图片数据分类模块的具体结构。所述图片数据分类模块13,包括:用于存储地面视频信息的视频存储单元131、与所述视频存储单元通信连接且用于对地面视频信息进行图像提取处理以获得图片数据信息的图像提取处理单元132、与所述图像提取处理单元通信连接且对获得图片数据集中的图片数据信息进行分类的图片分类单元133、和与图片分类单元通信连接的模型构建单元134。

    具体地,所述视频存储单元131可采用:固态硬盘模块。

    具体地,图像提取处理单元132可采用:程序调整模块。

    具体地,图片分类单元133可采用:预筛选网络模块。

    具体地,模型构建单元134,用于实现神经网络的训练过程。

    请参考图9所示的一种智能割草机器人的避障控制系统。任一优选的实施方式中,所述图片数据分类模块,还包括:与所述模型构建单元通信连接且用于实现模型转化的模型转化单元135。其目的在于将得到的卷积神经网络转换为pb模型,作为最终的图片数据分类模型,便于移植使用。

    以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。


    技术特征:

    1.一种智能割草机器人的避障控制方法,其特征在于,包括如下步骤:

    获得实时图片数据信息:获取实时地面视频信息,并对实时地面视频信息进行图像提取处理以获得实时图片数据信息;

    对实时图片数据信息进行分类:将获得的实时图片数据信息输入至图片数据分类模型进行识别,得到边界类图片数据,或障碍类图片数据,或草地类图片数据;

    对经过分类的图片数据信息进行指令转化:将所述边界类图片数据,或障碍类图片数据转化为用于控制避障的第一驱动指令;将所述草地类图片数据转化为用于控制直行的第二驱动指令。

    2.根据权利要求1所述的一种智能割草机器人的避障控制方法,其特征在于,

    在“获得实时图片数据信息”的步骤之后和“对实时图片数据信息进行分类”之前,还包括:

    对获得的实时图片数据信息进行编辑,过滤除了边界类、障碍类和草地类之外的信息。

    3.根据权利要求1或2所述的一种智能割草机器人的避障控制方法,其特征在于,

    在“对经过分类的图片数据信息进行指令转化”的步骤中,

    将所述边界类图片数据,或障碍类图片数据转化为第一指令信息;所述草地类图片数据转化为第二指令信息;

    将第一指令信息和第二指令信息分别转化为第一驱动指令和第二驱动指令。

    4.根据权利要求1或2所述的一种智能割草机器人的避障控制方法,其特征在于,获取图片数据分类模型的具体步骤如下:

    获取地面视频信息,将地面视频信息进行图像提取处理,获得图片数据集;

    对获得的图片数据集中图片数据信息进行分类,得到具备分类要素的有效图片数据集和未具备分类要素的无效图片数据集;

    分别设定边界类图片数据,障碍类图片数据,或草地类图片数据的第一分类标签;

    将有效图片数据集中图片数据依次输入至神经网络,依次获得各图片数据的预测分类标签,神经网络将预测分类标签进行分类分别得到与所述边界类图片数据,障碍类图片数据,或草地类图片数据对应的第二分类标签;

    依次计算第二分类标签和与之对应的第一分类标签之间损失函数的数值,当该数值达到收敛状态时,确定图片数据分类模型训练完成。

    5.根据权利要求4所述的一种智能割草机器人的避障控制方法,其特征在于,

    将有效图片数据集中图片数据依次输入至神经网络,依次获得各图片数据的预测分类向量,并将预测分类向量进行转化得到预测分类标签。

    6.一种智能割草机器人的避障控制系统,其特征在于,

    包括:

    用于获取实时地面视频信息的视频采集模块;

    与所述视频采集模块通信连接且用于对实时地面视频信息进行图像提取处理以获得实时图片数据信息的图像提取处理模块;

    与所述图像提取处理模块通信连接且用于对实时图片数据信息进行分类的图片数据分类模块;

    和,与所述图片数据分类模块通信连接且用于对经过分类的实时图片数据信息进行指令转化的指令转化模块;

    以及,与所述指令转化模块通信连接的驱动控制模块。

    7.根据权利要求6所述的一种智能割草机器人的避障控制系统,其特征在于,

    所述图像提取处理模块包括:用于对实时地面视频信息进行图像提取并获得初始图像数据信息的图像提取单元和与所述图像提取单元通信连接且用于对初始图像数据信息进行编辑的图像处理单元。

    8.根据权利要求6所述的一种智能割草机器人的避障控制系统,其特征在于,

    所述指令转化模块包括:用于对经过分类的实时图片数据信息进行指令转化的第一转化单元和与所述第一转化单元通信连接的第二转化单元;

    所述第一转化单元,用于将经过分类的实时图片数据信息转化为第一指令信息或第二指令信息;

    所述第二转化单元,用于将第一指令信息或第二指令信息分别转化为第一驱动指令或第二驱动指令。

    9.根据权利要求6所述的一种智能割草机器人的避障控制系统,其特征在于,

    所述图片数据分类模块,包括:用于存储地面视频信息的视频存储单元、与所述视频存储单元通信连接且用于对地面视频信息进行图像提取处理以获得图片数据信息的图像提取处理单元、与所述图像提取处理单元通信连接且对获得图片数据集中的图片数据信息进行分类的图片分类单元、和与图片分类单元通信连接的模型构建单元。

    10.根据权利要求9所述的一种智能割草机器人的避障控制系统,其特征在于,

    所述图片数据分类模块,还包括:与所述模型构建单元通信连接且用于实现模型转化的模型转化单元。

    技术总结
    本申请提供有一种智能割草机器人的避障控制方法,在该避障控制方法中,采集实时的地面视频信息,并提取其中的实时图片数据信息,基于训练完成的图片数据分类模型对实时图片数据信息进行识别实现分类,再将经过分类的图片数据信息转换为不同的驱动指令,如:用于避障的第一驱动指令和用于控制直行的第二驱动指令。相较于现有技术中需要基于多传感器的设计来实现避障控制而言,上述控制方法赋予割草机器人的自动判断能力,无需配置价格高昂的传感器或雷达设备。

    技术研发人员:段书用;马红雷;张家林;鹿宁宁;徐福田
    受保护的技术使用者:河北工业大学
    技术研发日:2020.11.10
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-19874.html

    最新回复(0)