移动机器人的地图构建方法、导航方法及控制系统与流程

    专利2022-07-07  72


    本申请涉及移动机器人技术领域,尤其涉及一种移动机器人的地图构建方法、导航方法及控制系统。



    背景技术:

    当移动机器人处于未知环境的未知位置时,可利用vslam(visualsimultaneouslocalizationandmapping,基于视觉的即时定位与地图构建)技术执行导航操作并构建地图。具体地,移动机器人通过图像摄取装置所摄取的包含周围环境的图像、以及移动机器人自身移动的移动信息中的至少一种来构建地图或生成导航路线,以使得移动机器人能自主移动。

    但是,移动机器人在基于vslam技术进行地图构建与即时定位时,由于受环境光线的影响(例如在环境光线不足的情况下),移动机器人不能基于所获取的图像构建带有准确地标的地图,进而很难根据该地图进行定位导航。



    技术实现要素:

    鉴于以上所述相关技术的缺点,本申请的目的在于提供一种移动机器人的地图构建方法、导航方法及控制系统,用于解决现有技术中移动机器人在受环境光线的影响下基于所获取的图像不能构建带有准确地标的地图、不能根据该地图进行定位导航的问题。

    为实现上述目的及其他相关目的,本申请的第一方面提供一种移动机器人的地图构建方法,所述地图构建方法包括以下步骤:在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下获取至少一幅图像;从所述至少一幅图像中提取出所述发光装置的定位特征;基于所述发光装置的定位特征在所述至少一幅图像中的位置,确定所述发光装置在地图中的定位位置,以将发光装置的定位特征及定位位置作为所述发光装置的地标数据记录在所述地图中。

    在本申请的第一方面的某些实施方式中,所述发光装置的发光模式被控制的方式包括以下至少一种:智能终端与所述发光装置进行无线通信以控制所述发光装置的发光模式;其中,所述智能终端还与所述移动机器人通信连接;所述移动机器人通过中间设备与所述发光装置进行无线通信以控制所述发光装置的发光模式;以及所述移动机器人直接与所述发光装置进行无线通信以控制所述发光装置的发光模式。

    在本申请的第一方面的某些实施方式中,所述在移动机器人的物理空间中发光装置的发光模式被控制的状态下获取至少一幅图像的步骤包括:当确定所述移动机器人位于相距所述发光装置的预设范围内,以及在所述发光装置的发光模式被控制的状态下时,获取至少一幅图像;和/或当确定所述移动机器人未被障碍物遮挡,以及在所述发光装置的发光模式被控制的状态下时,获取至少一幅图像。

    在本申请的第一方面的某些实施方式中,所述从至少一幅图像中提取出所述发光装置的定位特征的步骤包括:按照所述发光模式对所获取的至少一幅图像进行图像分析,以确定所获取的至少一幅图像中包含相应的发光装置,以利用包含有发光装置的至少一幅图像提取所述定位特征。

    在本申请的第一方面的某些实施方式中,所述发光装置的发光模式包括:闪烁模式、变色模式、明暗模式、或稳态模式。

    在本申请的第一方面的某些实施方式中,所述从至少一幅图像中提取出所述发光装置的定位特征,包括:所述发光模式中包含至少一种发光状态,从在其中一种发光状态下所获取的至少一幅图像中提取所述发光装置的定位特征;或者所述发光模式中包含至少两种发光状态,从在其中至少两种发光状态下所获取的多幅图像中提取所述发光装置的定位特征。

    在本申请的第一方面的某些实施方式中,基于所述发光装置的定位特征在所述至少一幅图像中的位置,确定所述发光装置在地图中的定位位置,包括:基于发光装置的定位特征以及所述地图中已记录的其他物体的定位特征在至少一幅图像中的相对位置,确定所述发光装置在地图中的定位位置。

    在本申请的第一方面的某些实施方式中,基于发光装置的定位特征在所述至少一幅图像中的位置,确定所述发光装置在地图中的定位位置,包括:基于发光装置的定位特征在所述至少一幅图像中的位置,确定在物理空间中所述发光装置与所述移动机器人之间的相对空间位置;根据所述相对空间位置以及所述移动机器人在地图中的定位位置确定所述发光装置在地图中的定位位置。

    在本申请的第一方面的某些实施方式中,当所述发光装置为多个时,在所述移动机器人的物理空间中发光装置的发光模式被控制的方式包括:各发光装置按照相同的发光模式被依次控制;或者各发光装置按照不同的发光模式被控制。

    在本申请的第一方面的某些实施方式中,所述发光装置的地标数据还包括发光装置的标识信息。

    本申请的第二方面提供一种移动机器人的导航方法,所述导航方法包括以下步骤:获取至少一幅图像,并从所述至少一幅图像中提取出第二定位特征;通过匹配所述第二定位特征和第一地图中的第一定位特征,确定所述移动机器人在第一地图中的位置,其中,所述第一定位特征是通过如本申请第一方面任一所述的地图构建方法中得到的对应发光装置的地标数据中的定位特征,所述移动机器人在第一地图中的位置用来生成导航路线。

    在本申请的第二方面的某些实施方式中,所述导航方法还包括:在所述移动机器人的移动期间,根据在不同位置所获取的图像及其移动数据构建第二地图,其中,所述第二地图中包括所述发光装置的第二定位特征;通过匹配所述第二定位特征和第一地图中的第一定位特征,确定所述移动机器人在第一地图中的位置的步骤包括:通过匹配所述第二定位特征和所述第一定位特征,将移动机器人在第二地图中的位置映射到在第一地图中的位置。

    在本申请的第二方面的某些实施方式中,所述导航方法还包括:根据相配的所述第一定位特征和所述第二定位特征,融合所述第一地图和所述第二地图。

    在本申请的第二方面的某些实施方式中,通过匹配所述第二定位特征和所述第一定位特征,将移动机器人在第二地图中的位置映射到在第一地图中的位置,包括:通过匹配所述第二定位特征和所述第一定位特征,确定所述发光装置在两个地图中的定位位置偏差;根据所述定位位置偏差,将所述移动机器人在第二地图中的位置映射到在第一地图中的位置。

    在本申请的第二方面的某些实施方式中,获取至少一幅图像,包括:在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下获取至少一幅图像。

    在本申请的第二方面的某些实施方式中,所述发光装置的发光模式被控制的方式包括以下至少一种:智能终端与所述发光装置进行无线通信以控制所述发光装置的发光模式;其中,所述智能终端还与所述移动机器人通信连接;所述移动机器人通过中间设备与所述发光装置进行无线通信以控制所述发光装置的发光模式;以及所述移动机器人直接与所述发光装置进行无线通信以控制所述发光装置的发光模式。

    在本申请的第二方面的某些实施方式中,所述导航方法还包括:当确定所述移动机器人位于相距所述发光装置的预设范围内,以及在所述发光装置的发光模式被控制的状态下时,获取至少一幅图像;和/或当确定所述移动机器人未被障碍物遮挡,以及在所述发光装置的发光模式被控制的状态下时,获取至少一幅图像。

    在本申请的第二方面的某些实施方式中,从至少一幅图像中提取出所述发光装置的第二定位特征的步骤包括:按照所述发光模式对所获取的至少一幅图像进行图像分析,以确定所获取的至少一幅图像中包含相应的发光装置,以利用包含有发光装置的至少一幅图像提取所述第二定位特征。

    在本申请的第二方面的某些实施方式中,所述发光装置的发光模式包括:闪烁状态、变色状态、明暗状态、或稳定状态。

    在本申请的第二方面的某些实施方式中,从所述至少一幅图像中提取出所述发光装置的第二定位特征,包括:所述发光模式中包含至少一种发光状态,从在其中一种发光状态下所获取的至少一幅图像中提取所述发光装置的第二定位特征;或者所述发光模式中包含至少两种发光状态,从在其中至少两种发光状态下所获取的多幅图像中提取所述发光装置的第二定位特征。

    在本申请的第二方面的某些实施方式中,当所述发光装置为多个时,在所述移动机器人的物理空间中发光装置的发光模式被控制的方式包括:各发光装置按照相同的发光模式被依次控制;或者各发光装置按照不同的发光模式被控制。

    在本申请的第二方面的某些实施方式中,通过匹配所述第二定位特征和第一地图中的第一定位特征,确定所述移动机器人在第一地图中的位置,包括:基于所述发光装置的第二定位特征在所述至少一幅图像中的位置,确定在物理空间中所述发光装置与所述移动机器人之间的相对空间位置;根据所述相对空间位置以及与所述第二定位特征相匹配的第一定位特征在第一地图中的定位位置确定所述移动机器人在第一地图中的位置。

    本申请的第三方面提供一种移动机器人的控制系统,包括:接口装置,用于与发光装置通信连接;存储装置,存储至少一种程序;处理装置,与所述存储装置和接口装置相连,用于执行所述至少一种程序,以协调所述存储装置和接口装置执行如本申请第一方面中任一所述的移动机器人的地图构建方法和/或执行如本申请第二方面中任一所述的移动机器人的导航方法。

    本申请的第四方面提供一种移动机器人,所述移动机器人包括:图像摄取装置,用于摄取图像;接口装置,用于与发光装置通信连接;存储装置,存储至少一种程序;移动装置,用于受控使移动机器人执行移动操作;处理装置,与所述存储装置、接口装置、图像摄取装置、和移动装置相连,用于执行所述至少一种程序,以协调所述存储装置、接口装置、图像摄取装置、和移动装置执行如本申请第一方面中任一所述的移动机器人的地图构建方法和/或执行如本申请第二方面中任一所述的移动机器人的导航方法。

    本申请的第五方面提供一种计算机可读存储介质,存储至少一种程序,所述至少一种程序在被调用时执行并实现如本申请第一方面中任一所述的移动机器人的地图构建方法,和/或执行如本申请第二方面中任一所述的移动机器人的导航方法。

    综上所述,本申请的移动机器人的地图构建方法、导航方法及控制系统,在移动机器人的物理空间中发光装置的发光模式被控制的状态下获取包含所述发光装置的至少一幅图像,根据所获取的至少一幅图像得到发光装置的地标数据,进而可以构建包含有发光装置的地标数据的地图;本申请一方面可以在不同环境光线的条件下,均能构建包含有发光装置的地标数据的地图;另一方面可以基于包含有发光装置的地标数据的地图进行定位和导航,进而,在不能准确定位和导航的情况下,利用在所述发光装置的发光模式被控制的状态下所获取的至少一幅图像可以进行重新定位和导航。

    附图说明

    本申请所涉及的发明的具体特征如所附权利要求书所显示。通过参考下文中详细描述的示例性实施方式和附图能够更好地理解本申请所涉及发明的特点和优势。对附图简要说明书如下:

    图1显示为本申请的应用场景在一实施例中的示意图。

    图2显示为本申请的移动机器人的地图构建方法在一实施例中的流程示意图。

    图3显示为智能终端在一实施例中的架构示意图。

    图4显示为本申请在两种发光状态下获取的两幅图像在一实施例中的示意图。

    图5显示为本申请在两种发光状态下获取的两幅图像在另一实施例中的示意图。

    图6显示为本申请基于成像原理确定发光装置与移动机器人之间的相对空间位置的原理示意图。

    图7显示为本申请的导航方法在一实施例中的流程示意图。

    具体实施方式

    以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

    在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本公开的精神和范围的情况下进行模块或单元组成、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。

    虽然,在一些实例中术语第一、第二等在本文中用来描述各种元件、信息或参数,但是这些元件或参数不应当被这些术语限制。这些术语仅用来将一个元件或参数与另一个元件或参数进行区分。例如,第一地图可以被称作第二地图,并且类似地,第二地图可以被称作第一地图,而不脱离各种所描述的实施例的范围。第一地图和第二地图均是在描述一个地图,但是除非上下文以其他方式明确指出,否则它们不是同一个地图。类似的情况还包括第一定位特征和第二定位特征。

    再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“a、b或c”或者“a、b和/或c”意味着“以下任一个:a;b;c;a和b;a和c;b和c;a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。

    移动机器人在基于vslam(visualsimultaneouslocalizationandmapping,视觉同时定位与地图构建)技术构建地图时,其通过获取图像摄取装置所摄取的图像并对所获取的图像进行分析处理后,可得到构建地图所需的地标数据。移动机器人通过地标数据可确定自身位置。

    其中,所述地标数据包括:移动机器人所在物理空间中物体在地图中的定位位置以及物体的定位特征。所述定位特征包括物体在图像中的图像特征。其中,所述图像特征反映了物体的轮廓特征、角特征、点特征、线特征等。所述定位位置包括图像特征在地图中的地图坐标。需要说明的是,一物体的地标数据中包括至少一个定位特征和至少一个定位位置。例如,一物体的地标数据中包括3个定位特征和对应的3个定位位置。

    由于环境光线的变化会影响移动机器人所获取的图像的图像质量,例如环境光线不足/过亮、或环境光线发生变化时,移动机器人所获取的图像会存在欠曝/过曝、或多幅图像光强度不稳定等现象,所以,移动机器人在环境光线不足/过亮、或环境光线发生变化时,不能根据所获取的图像中稳定的图像特征确定准确的地标数据,这使得移动机器人基于图像构建了包含有不准确/不可重用的地标数据的地图,进而降低所构建的地图的精度。

    进一步,移动机器人基于不准确的地图进行定位导航时,同样也不能准确地确定其在物理空间中的位置。例如,以移动机器人所在物理环境为室内为例,移动机器人在晚上构建的地图中包括一椅子的地标数据,而移动机器人基于该地图在白天进行定位导航时发现,从其所获取的图像中所提取出的椅子的定位特征不能与地图中的定位特征相匹配,导致移动机器人不能根据所述地图以及所获取的图像进行准确的定位和导航。

    为此,本申请提供一种移动机器人的地图构建方法、导航方法及控制系统,用于在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下获取包含所述发光装置的至少一幅图像,以根据所获取的至少一幅图像构建包含有准确地标数据的地图,进而可以根据该地图进行准确定位和导航。

    请参阅图1,图1显示为本申请的应用场景在一实施例中的示意图,如图1所示,所述移动机器人的工作环境中包括移动机器人10和发光装置20。

    其中,所述移动机器人是自动执行特定工作的机器装置。它既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外,可用于工业、商业或家庭,可用于取代保安巡视、取代迎宾员或点餐员、或取代人们清洁地面,还可用于家庭陪伴、辅助办公等。所述移动机器人设置至少一个图像摄像装置,用于摄取移动机器人的操作环境的图像,从而进行vslam(visualsimultaneouslocalizationandmapping,视觉同时定位与地图构建);根据构建的地图,移动机器人能够进行巡视、清洁、整理等工作的导航路径规划。通常,移动机器人将自身运行工作期间构建的地图缓存在本地存储空间内,或者上传至服务端或云端进行存储,也可以上传至用户的智能终端进行存储。

    所述移动机器人10包括:存储装置11、接口装置12、处理装置13、图像摄取装置14、和移动装置15。

    图像摄取装置14用于将物理空间中其视角范围内所摄取的各物体的各测量点所反射的光能量转换成对应像素分辨率的图像数据。其中,所述测量点为基于光反射原理而与图像数据中各像素位置对应的实体物体上的反光区域。所述图像摄取装置14包括但不限于以下至少一种:集成ccd或cmos感应器件的摄像装置、和广角摄像装置。所述集成ccd或cmos感应器件的摄像装置举例包括单目摄像装置、或双目摄像装置等。所述广角摄像装置举例包括鱼眼摄像装置。

    所述图像数据包括描述在图像摄取装置的视角范围内被摄取的周围环境的矩阵形式的颜色图像数据。所述矩阵形式的颜色图像数据中的像素行/列的数量对应于所述图像摄取装置的像素分辨率。所述颜色图像数据反映了图像摄取装置所能获取到的周围环境中各物体测量点所能反射的光的波段,其包括:rgb数据、r/g/b数据、或光强度数据(又称灰度数据)等,其中,所述r/g/b中任一数据可作为光强度数据使用,换言之,所述光强度数据与单一颜色的颜色图像数据为共用数据。或者,所述光强度数据是在所述视角范围内图像摄取装置通过检测周围环境的物体表面所反射的预设波段的光束强弱程度而确定的。

    接口装置12用于与所述发光装置20通信连接以及用于获取所述图像摄取装置14所获取的图像,所述接口装置12包括网络接口、数据线接口等。其中,所述网络接口包括但不限于以下至少一种:以太网的网络接口装置、和基于移动网络(3g、4g、5g等)的网络接口装置、基于近距离通信(wifi、蓝牙等)的网络接口装置等。所述移动机器人通过所述接口装置12与所述发光装置20通信连接。所述数据线接口包括但不限于以下至少一种:usb接口、和rs232等。所述接口装置12与所述存储装置11、处理装置13、移动装置15、图像摄取装置14等数据连接。

    存储装置11包括但不限于以下至少一种:只读存储器(read-onlymemory,简称rom)、随机存取存储器(randomaccessmemory,简称ram)、和非易失性存储器(nonvolatileram,简称nvram)。例如,存储装置11包括闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置11还可以包括远离一个或多个处理装置13的存储器,例如经由rf电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网、广域网、存储局域网等,或其适当组合。存储器控制器可控制设备的诸如cpu和外设接口之类的其他组件对存储器的访问。在某些实施例中,所述存储装置11还存储有根据本申请的地图构建方法所构建的地图。

    处理装置13与所述接口装置12和存储装置11相连。所述处理装置13包括一个或多个处理器。处理装置13可操作地与存储装置11执行数据读写操作。处理装置13执行诸如控制发光装置20的发光模式、从图像中提取所述发光装置20的定位特征等。所述处理装置13包括一个或多个通用微处理器、一个或多个专用处理器(asic)、一个或多个数字信号处理器(digitalsignalprocessor,简称dsp)、一个或多个现场可编程逻辑阵列(fieldprogrammablegatearray,简称fpga)、或它们的任何组合。处理装置13还与i/o端口和输入结构可操作地耦接,该i/o端口可使得移动机器人能够与移动机器人中的各种其他电子设备进行交互,该输入结构可使得用户能够与移动机器人进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备包括但不限于以下至少一种:所述移动机器人中移动装置15中的电机、和移动机器人中专用于控制移动装置15的从处理器,如微控制单元(microcontrollerunit,简称mcu)。

    移动装置15用于受控使移动机器人执行移动操作。于实际的实施方式中,移动装置15可包括行走机构和驱动机构,其中,所述行走机构可设置于移动机器人的底部,所述驱动机构内置于所述移动机器人的壳体内。进一步地,所述行走机构可采用行走轮方式,在一种实现方式中,所述行走机构可例如包括至少两个万向行走轮,由所述至少两个万向行走轮实现前进、后退、转向、以及旋转等移动。在其他实现方式中,所述行走机构可例如包括两个直行行走轮和至少一个辅助转向轮的组合,其中,在所述至少一个辅助转向轮未参与的情形下,所述两个直行行走轮主要用于前进和后退,而在所述至少一个辅助转向轮参与并与所述两个直行行走轮配合的情形下,就可实现转向和旋转等移动。所述驱动机构可例如为驱动电机,利用所述驱动电机可驱动所述行走机构中的行走轮实现移动。在具体实现上,所述驱动电机可例如为可逆驱动电机,且所述驱动电机与所述行走轮的轮轴之间还可设置有变速机构。

    发光装置20用于与所述移动机器人20通信连接,以及用于发出所述图像摄取装置14所能感应的光线。在一实施例中,移动机器人利用所述接口装置12与所述发光装置20所在的设备中的接口装置通信连接,以实现与所述发光装置20的通信连接。发光装置20所在的设备中的接口装置举例为网络接口,所述网络接口包括但不限于以下至少一种:以太网的网络接口装置、基于移动网络(3g、4g、5g等)的网络接口装置、和基于近距离通信的网络接口装置等。基于此,用于实现发光装置20与移动机器人通信连接的无线通信信号包括但不限于以下至少一种:wifi信号、zigbee信号、蓝牙信号、和红外信号等。

    在此,所述发光装置20包括发光器件、发光器件的控制电路、和与控制电路信号连接的无线通信模块。所述发光装置可为独立产品,例如,智能灯。所述发光装置还可以为智能设备中的一部分,例如,智能设备上的显示面板、和/或指示灯等。其中,所述智能设备可应用在工业、商业或家庭等环境中,所述智能设备包括但不限于以下至少一种:家庭环境中的智能家电(例如,智能灯具、智能空调、智能电视等)、和工业环境中的智能设备(例如,工业环境中的智能灯具等)、商用环境中的智能设备(例如,商场中的自动结账设备、停车场中的智能灯具等)等。

    在此,移动机器人还包括如惯导装置、和/或环境测量装置等用于感知周围环境的环境感知装置(未予图示)。移动机器人的处理装置13通过调用至少一个程序来协调移动装置15、图像摄取装置14、存储装置11、接口装置12、和环境感知装置等执行本申请所提供的移动机器人的地图构建和/或导航的方案。其中,处理装置13利用图像摄取装置14等所提供的数据,甚至还利用环境感知装置等所提供的数据,对移动装置15的移动进行控制的硬件和软件构成所述移动机器人的控制系统。基于此,所述控制系统包括:处理装置13、存储装置11、和接口装置12。该控制系统通过执行本申请的地图构建方法来实现获取描述移动机器人所移动的物理空间的地图的目的和/或通过执行本申请的导航方法来实现定位和导航的目的。

    请参阅图2,图2显示为本申请的移动机器人的地图构建方法在一实施例中的流程示意图,如图所示,所述地图构建方法包括:步骤s110、步骤s120、以及步骤s130。所述地图构建方法可以由图1所示的移动机器人来执行。其中,所述处理装置协调存储装置、接口装置等硬件执行以下步骤。

    在步骤s110中,在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下获取至少一幅图像。所述发光装置的举例与前文所述的相同或相似,在此不再详述。

    其中,所述发光模式包括闪烁模式、变色模式、明暗模式、或稳态模式。所述闪烁模式是指根据所接收的控制指令,所述发光装置以预设的闪烁频率来闪烁发光。例如,所述闪烁模式中的不同发光状态按照预设闪烁频率发生亮度变化、或颜色变化,所述闪烁频率是指单位时间内发光状态完成周期性亮灭变化的次数。例如,根据所接收的控制指令,所述发光装置被控制以1hz的闪烁频率来闪烁发光,则1s内所述发光装置的发光状态为亮的时间是0.5s,发光装置的发光状态为暗的时间是0.5s。所述变色模式是指根据所接收的控制指令,所述发光装置的发光状态在至少两种颜色之间切换。在一示例中,所述发光装置接收若干控制指令,所接收的每一控制指令中包含一种颜色信息,不同控制指令中包含不同颜色信息,使得所述发光装置处于包含至少两种颜色的发光状态的变色模式中。在另一示例中,所接收的控制指令中包含多种颜色信息、以及每种颜色信息对应的颜色发光规则,使得所述发光装置处于包含至少两种颜色的发光状态的变色模式中。其中,所述颜色发光规则包括:每种颜色信息对应的发光时间和发光顺序。所述明暗模式是指根据所接收的控制指令,所述发光装置的发光状态在至少两种亮度之间切换。在一示例中,所述发光装置接收若干控制指令,所接收的每一控制指令中包含一种亮度信息,不同控制指令中包含不同亮度信息,使得所述发光装置处于包含至少两种亮度的发光状态的明暗模式中。在另一示例中,所接收的控制指令中包含多种亮度信息、以及每种亮度信息对应的亮度发光规则,使得所述发光装置处于包含至少两种亮度的发光状态的明暗模式中。其中,所述亮度发光规则包括:每种亮度信息对应的发光时间和发光顺序。所述稳态模式是指所述发光装置以对应所接收的控制指令的发光状态来发光,其中,当所述发光装置处于稳态模式下,所述发光装置发出对应控制指令的颜色光、和/或亮度光。

    需要说明的是,所述明暗模式中亮度的变化、变色模式中颜色的变化、闪烁模式中的亮度/颜色变化也可以微弱的变化,例如,微弱的变化可以是人在视觉上难以察觉的变化或者是人在视觉上不能察觉的变化,但移动机器人根据图像能识别出该微弱的变化。所述稳态模式中发出的光可以是微弱的颜色和/或亮度的光,也可以是人眼感知波段以外的光(例如近红外光)。

    需要说明的是,上述任一种发光模式还可以包括处于相应发光模式的模式时长,以减少发光装置对环境的其他影响。其中,所述闪烁时长可存储于发光装置中,或者包含于控制指令中。在一些示例中,所述模式时长内存于发光装置侧,例如,所存储的闪烁模式中的模式时长为2s,由此减少led灯闪烁对屋内人员眼部的不适感。在又一些示例中,所述模式时长携带于所述控制指令中。例如,发送所述控制指令的设备将预设固定的模式时长封装在控制指令中。又如,发送所述控制指令的设备借助移动机器人的图像摄取装置和/或环境感知装置所探测的数据进行分析,以预测出所述模式时长,以及将所预测的模式时长封装在控制指令中。其中,所述分析方式举例包括:通过对发送所述控制指令之前所获取的图像数据的光强度均值进行分析,确定环境光线是否有利于视觉定位,若是,则将预设第一时长的模式时长封装在控制指令中,反之,则将预设第二时长的模式时长封装在控制指令中,其中,第一时长短于第二时长。

    为了使移动机器人能够获取与发光模式中每一发光状态对应的图像,移动机器人可以根据图像摄取装置获取图像的频率,来控制所述发光装置的发光模式。例如,所述图像摄取装置每秒钟可以摄取30帧图像,所述变色模式中包括黄色和紫色两种发光状态。为了分别在所述发光状态为黄色的情况下以及所述发光状态为紫色的情况下均获取至少一幅图像,则所述变色模式中紫色发光状态和黄色发光状态的维持时间不应低于1/30秒。

    在移动机器人所在的物理空间中,所述发光装置的发光模式可以由所述移动机器人来控制,也可以由智能终端来控制。

    在一实施例中,移动机器人与智能终端通信连接,所述智能终端还与所述发光装置进行无线通信以控制所述发光装置的发光模式;其中,所述智能终端可以是智能手机、ar眼镜、智能手表、平板电脑等设备。用户所持有的智能终端中配置有可向用户提供与移动机器人通信的客户端(例如,与所述移动机器人配套使用的app等),以使用户利用所述智能终端能与所述移动机器人进行无线通信。请参阅图3,其显示为智能终端在一实施例中的架构示意图,所述智能终端30包括:存储装置31、接口装置32、处理装置33、和显示装置34。智能终端中的处理装置33通过调用至少一个程序来协调存储装置31、接口装置32、和显示装置34等以实现控制所述发光装置的发光模式、获取移动机器人构建的地图和/或移动机器人在所构建的地图中的即时位置等信息、或者用图像或文字等方式显示移动机器人发送的所述信息等。

    在此,所述智能终端不仅与移动机器人通信连接,还与移动机器人所在物理空间内的发光装置通信连接。在用户操作智能终端时,智能终端一方面向发光装置发出至少一个控制指令,另一方面将包含发光模式的消息发送至所述移动机器人,以使移动机器人获知被控制的发光装置的发光模式。其中,所述消息举例为相应的控制指令、或者智能终端基于消息推送机制所发出的信息等。

    在另一实施例中,所述发光装置的发光模式由所述移动机器人来控制。具体地,在移动机器人与所述发光装置直接或间接地进行无线通信期间,所述移动机器人发出控制指令以控制所述发光装置的发光模式。

    在一示例中,所述移动机器人直接与所述发光装置进行无线通信以控制所述发光装置的发光模式。

    在一些具体示例中,移动机器人与发光装置通过握手协议等方式建立无线通信连接,进而向相应的发光装置发出控制指令。其中,数据包是通过如蓝牙、或wifi等无线局域网络进行传输的。

    例如,所述移动机器人与发光装置之间利用蓝牙的方式进行无线通信,所述移动机器人可以与所述发光装置处于自动配对的状态,当所述移动机器人能够搜索到所述发光装置的蓝牙信号(即数据包)时,即可与所述发光装置配对连接,进而移动机器人可以控制所述发光装置的发光模式;所述移动机器人也可以通过预先存储的配对密码与所述发光装置实现配对连接。

    在另一些具体示例中,移动机器人通过周期性发出控制指令等方式向预设范围内的发光装置发出控制指令。其中,所述控制指令是通过如红外、超声等无线通信方式传输的。

    例如,所述移动机器人与所述发光装置之间利用红外信号进行无线通信,所述移动机器人周期性地主动发射红外信号,发光装置在接收到所述移动机器人发出的红外信号时可以处于预设的发光模式,其中,所述预设的发光模式可以是前文所述的任意一种发光模式。

    在另一示例中,所述移动机器人通过中间设备与所述发光装置进行无线通信以控制所述发光装置的发光模式。所述中间设备是实现对家庭环境中智能家电、工业环境中的智能设备、或商业环境中的智能设备实现控制的设备。所述中间设备可以利用无线通信信号分别与移动机器人和发光装置进行无线通信。所述无线通信信号与前文所述的相同或相似,在此不再详述。以所述中间设备是实现对家庭环境中智能家电控制的设备(例如,天猫精灵、或小爱同学)为例,所述移动机器人与所述中间设备通信连接,所述中间设备与所述发光装置通信连接,所述移动机器人通过中间设备转发所述控制指令,以控制所述发光装置按照相应的发光模式切换/维持相应的发光状态。其中,所述中间设备分别根据其与移动机器人和与发光装置所对应的通信方式(如通信协议、传输信道等)将所接收的控制指令进行转发。

    需要说明的是,上述各示例是可以结合使用的,举例来说,中间设备可在接收到控制指令后,分别向移动机器人反馈一响应信息,以及向发光装置发送所述控制指令,其中,所述响应信息用于表示中间设备已向发光装置发送了控制指令。

    在所述发光装置的发光模式被控制的条件下,所述移动机器人还获取至少一幅图像。

    在此,移动机器人至少在确认发出控制指令之后获取一幅图像、或者具有时间序列的多幅图像。例如,移动机器人的图像摄取装置持续获取图像并存入存储装置(比如缓存)中,在确认发出控制指令时,从存储装置中提取一幅或具有时间序列的多幅图像。

    其中,根据上述各示例的描述,移动机器人确认发出控制指令的方式举例包括:在收到如智能终端等第三方设备发出的消息时确认其也向发光装置发出了控制指令;基于所接收到的对应控制指令的响应信息,确定发出控制指令;或者在发出所述控制指令时确认发出相应的控制指令。

    在一些实施例中,移动机器人在确认发出控制指令之前也获取图像,以便收集多幅图像,其用于反映出发光装置从未接收到控制指令开始直至按照控制指令中的发光模式发光过程。例如,移动机器人的图像摄取装置持续获取图像并存入存储装置(比如缓存)中,从存储装置中提取对应上述过程的具有时间序列的多幅图像。

    为了有效减少未拍摄到发光装置的情况,提高移动机器人获取包含发光装置的图像的准确性,以及为了降低移动机器人的计算资源,在一些实施例中,在移动机器人或智能终端确定所述移动机器人位于相距所述发光装置的预设范围内时,以及在所述发光装置的发光模式被控制的状态下时,获取至少一幅图像。所述预设范围是为了确保所述移动机器人能够拍摄到所述发光装置以及为了确保移动机器人能够与发光装置传输控制指令而预设的距离范围。例如,所述预设范围为3m至1m之间。在一示例中,当移动机器人通过检测其与发光装置之间的无线通信信号强度而确定其距离所述发光装置在预设范围时,移动机器人发送控制指令以控制所述发光装置处于相应的发光模式,以使移动机器人获取相应图像。在又一示例中,当智能终端通过与移动机器人的定位交互确定所述移动机器人位于一发光装置的预设范围时,提示用户,并在用户操作下控制所述发光装置处于相应的发光模式,以及将包含发光模式的消息发送至所述移动机器人,以使移动机器人获取相应图像。

    在另一些实施例中,移动机器人还通过对环境感知装置和/或图像摄取装置所提供的至少一种数据进行协同分析,以确定移动机器人未被障碍物遮挡,例如,未被桌子、沙发、或床一类的形成有可供移动机器人通行空间的障碍物的遮挡,由此来提高所获取的图像中包含发光装置的可能性。当确定所述移动机器人未被障碍物遮挡时,以及当所述发光装置的发光模式被控制的状态下时,获取至少一幅图像。

    在此,确定所述移动机器人未被障碍物遮挡是通过分析至少一种数据满足控制条件而确定的。所述控制条件包括以下至少一种:基于图像摄取装置摄取的图像中一障碍物的图像尺寸与整幅图像的图像尺寸的比值低于预设比例阈值而设置的条件,基于环境感知装置所提供的移动机器人顶部与顶部上方障碍物之间的测距数据大于预设距离阈值而设置的条件。其中,所述图像尺寸举例为像素个数。所述测距数据举例为利用激光测距传感器、双目摄像装置、或tof传感器等测量传感器所提供的数据等。

    以利用图像尺寸确定所述移动机器人未被障碍物遮挡为例,当所述图像摄取装置所获取的图像中各障碍物在图像中所占的像素个数与整幅图像的像素个数的比值均低于预设比例时,移动机器人才会利用无线通信方式控制所述发光装置的发光模式。例如,所述移动机器人是应用于家庭环境中的移动机器人,所述预设比例为70%,当移动机器人位于床底时,所述图像摄取装置所获取的图像中床板在图像中所占的像素个数与整幅图像的像素个数的比值为90%,则障碍物的图像尺寸不满足控制条件,不会利用无线通信方式控制所述发光装置的发光模式、或者不会去认定所获取的图像中是否包含发光装置。移动机器人通过判断图像中障碍物的图像尺寸是否满足控制条件,来决定是否控制发光装置的发光模式,可以使移动机器人紧邻大型障碍物(例如,超市货架、工业加工设备)或者位于障碍物所构成的低矮空间(例如,沙发底、床底、车底)时,移动机器人不会控制所述发光装置的发光模式、或者不会认定所获取的图像中是否包含发光装置。

    在某些实施例中,当实际物理空间中能与所述移动机器人进行无线通信的发光装置为多个时,考虑到各发光装置在物理空间中的稀疏性、移动机器人记录对应发光装置的地标数据的效率、以及尽量减少发光装置之间互相光干扰等至少一种工程问题;和/或,为了提高确定所获取的至少一幅图像中各发光装置对应于所控制的发光模式的准确性;以及为了提高后续步骤s120从所述至少一幅图像中提取出各发光装置的定位特征的准确性,需要对各发光装置的发光模式和/或发光模式的时机进行选择性控制。

    在一示例中,各发光装置可按照相同的发光模式被依次控制。具体地,移动机器人或智能终端按照一发光模式控制多个发光装置中的一个发光装置,在按照该模式控制该发光装置时不会控制其他发光装置。

    在一具体示例中,当所述发光装置为多个时,移动机器人或智能终端根据移动机器人与各发光装置之间的无线通信信号的信号强度,确定移动机器人与各发光装置之间的距离,根据得到的多个距离的大小按照从小到大的顺序依次控制各距离对应的发光装置。

    需要说明的是,为了避免多次控制同一发光装置,移动机器人或智能终端按照一发光模式控制多个发光装置中的一个发光装置以使移动机器人获取至少一幅图像。移动机器人对所获取的至少一幅图像进行图像分析,当移动机器人确定所述至少一幅图像中包含所述发光装置的情况下,移动机器人或智能终端才会根据同一发光模式控制其他发光装置。其中,智能终端可通过与移动机器人的通信确定移动机器人已获取到包含有智能终端控制的发光装置的图像。在对所获取的至少一幅图像进行图像分析确定所述至少一幅图像中包含所述发光装置的实施方式将在后续详述。

    在另一示例中,各发光装置按照不同的发光模式被控制。具体地,移动机器人或智能终端可以按照不同的发光模式同时控制各发光装置或者不同时控制各发光装置,以根据不同发光装置的不同发光模式来确定图像中不同发光装置的位置以及提取出不同发光装置的定位特征。

    在一具体示例中,为了提高移动机器人构建地图的效率,当发光装置在物理空间中的密集程度满足同时控制条件时,移动机器人或智能终端按照不同的发光模式同时控制各发光装置,当不满足时,移动机器人或智能终端可以按照不同的发光模式依次控制各发光装置。所述密集程度举例为相距所述移动机器人预设范围内的发光装置的数量,基于此,所述同时控制条件举例为预设范围内发光装置的数量高于预设数量。例如,所述预设范围为3m以内,所述预设数量为2,如果在距离移动机器人3m以内的发光装置的数量为3个,则所述移动机器人或智能终端可以按照不同的发光模式同时控制各发光装置。

    进一步,为了在按照不同的发光模式同时控制各发光装置时,避免各发光装置之间的光干扰影响移动机器人进行图像分析,如果发光装置在物理空间中的密集程度满足所述同时控制条件并且各发光装置之间的距离低于预设距离时,移动机器人或智能终端按照不同的发光模式依次控制各发光装置。其中,各发光装置之间的距离可利用各发光装置广播的坐标得到,所广播的坐标是在同一坐标系下的坐标。所述同一坐标系举例为蓝牙定位方案中的坐标系。

    需要说明的是,闪烁模式、变色模式、明暗模式、以及稳态模式这四个模式中的至少两种模式、不同频率的闪烁模式、包含不同颜色的发光状态的变色模式、包含不同亮度的发光状态的明暗模式、或者不同的稳态模式均可以被认定为不同的发光模式。

    基于上述任意一种实施例,所述移动机器人的物理空间中发光装置的发光模式均可以被控制,进而,所述移动机器人可以获取至少一幅图像。

    所述移动机器人根据所获取的至少一幅图像可执行步骤s120。

    在步骤s120中,所述移动机器人从所述至少一幅图像中提取出所述发光装置的定位特征。其中,所述发光装置的定位特征是指所述发光装置在所获取的图像中的图像特征。其中,所述图像特征反映了发光装置的轮廓特征、角特征、点特征、线特征等。

    具体地,所述移动机器人按照发光模式对所获取的至少一幅图像进行图像分析,以确定所获取的至少一幅图像中包含相应的发光装置,进而可以利用包含有发光装置的至少一幅图像提取出所述定位特征。在此,所述移动机器人根据发光模式,检测图像中像素值、和/或不同图像中像素值的变化对所获取的至少一幅图像进行图像分析,来确定受控的发光装置在图像中的图像区域(即确定所获取的至少一幅图像中包含相应的发光装置)。其中,确定所述图像区域的方式将在后续详述。例如,根据稳态模式中发光状态的颜色和/或亮度来确定所获取的至少一幅图像中的像素值是否存在符合相应颜色和/或亮度的像素值,如果存在,则可确定所获取的至少一幅图像中包含相应的发光装置;进而,移动机器人可利用所获取的至少一幅图像中包含有发光装置的图像来提取出发光装置的定位特征。又如,根据闪烁模式、明暗模式、或者变色模式中发光状态的变化来确定所获取的至少两幅图像中描述同一物体的图像区域的像素值变化是否符合相应的发光状态的变化,如果是,则可确定所获取的至少两幅图像中包含相应的发光装置;进而,移动机器人可利用所获取的至少两幅图像中包含有发光装置的图像来提取出发光装置的定位特征。

    在一实施例中,所述发光模式中包含至少一种发光状态,所述移动机器人可从在其中一种发光状态下所获取的至少一幅图像中提取所述发光装置的定位特征。具体地,当发光模式包括一种发光状态或者至少两种发光状态的情况下,都可以只根据其中一种发光状态下所获取的一幅图像或者多幅图像来确定发光装置在图像中的图像区域及其定位特征。

    在一示例中,以发光模式包括一种发光状态为例,所述移动机器人根据在该种发光状态下所获取的至少一幅图像以及图像中对应发光状态的像素值所形成的连通域,从基于连通域所形成的图像区域中提取对应所述发光装置的定位特征及其在相应图像中的位置。

    以移动机器人根据所获取的一幅图像来提取对应所述发光装置的定位特征及其在相应图像中的位置为例,移动机器人提取对应发光状态的像素值所形成的连通域,以连通域向外延伸预设数量的像素,以得到至少一个图像区域;利用如各图像区域的轮廓形状、和/或轮廓尺寸在图像中的占比等对各图像区域进行筛选以滤除明显不属于发光装置的图像区域;以及利用经机器学习而得到的提取算法或预设的特征提取模板,在筛选后的至少一个图像区域内提取图像特征及其在相应图像中的位置;所提取的图像特征及其位置被认定为发光装置的定位特征及其在相应图像中的位置。

    以发光模式包含基于颜色的发光状态为例,例如,稳定发光模式为固定亮度的黄色的发光状态,所述移动机器人将一幅图像中表示黄色的像素值所形成的连通域向外延伸预设数量的像素,可得到至少一个图像区域。根据存储装置中预存的发光装置的图像特征和/或发光装置的实际尺寸,对各图像区域进行筛选,以滤除明显不属于发光装置的图像区域;进而,在筛选后的至少一个图像区域内提取发光装置的定位特征及其在相应图像中的位置。

    在又一示例中,仍以发光模式包括一种发光状态为例,移动机器人根据所获取的多幅图像来提取对应所述发光装置的定位特征及其在相应图像中的位置。与根据单一图像来提取定位特征和位置的方式不同之处在于,移动机器人根据发光模式中的一种发光状态,确定多幅图像中符合相应发光状态的各图像区域,从各所述图像区域中提取具有匹配关系的定位特征及其在相应图像中的位置。所述匹配关系举例包括以下至少一种:定位特征的描述子的相似度符合预设相似度条件,不同图像中相匹配的各定位特征之间的位置误差(又称像素位置误差)符合预设的误差条件,以及不同图像中各图像区域/相匹配的各定位特征之间的移动像素数据与移动机器人的移动数据之间符合预设的比例尺度条件。其中,所述移动数据为移动机器人利用图像摄取装置和/或环境感知装置所提供的数据测量得到的,其举例包括:移动机器人自主移动的距离和方位的数据,和/或移动机器人相对于环境内的物体所移动的距离和方位的数据。

    以发光模式包含基于颜色的发光状态为例,例如,稳态发光模式为固定亮度的黄色的发光状态,移动机器人根据前述实施例中所描述的方式可从多幅图像中确定符合黄色发光状态的各图像区域。移动机器人将各图像区域中满足所述匹配关系的定位特征作为所述发光装置的定位特征,并提取出所述发光装置的定位特征在相应图像中的位置。

    在某些示例中,将多幅图像中符合黄色发光状态的各图像区域对应的图像特征进行统计,将数量最多的图像特征作为所述发光装置的定位特征。

    需要说明的是,上述提取定位特征和位置的方式仅为举例,移动机器人可结合上述示例来筛选出更合适的图像区域,以及提取发光装置的定位特征和其在相应图像中的位置。

    在另一示例中,以发光模式包括两种发光状态为例,所述移动机器人根据在其中一种发光状态下所获取的至少一幅图像以及图像中表示发光状态的像素值从所述至少一幅图像中提取所述发光装置的定位特征。例如,变色模式中包括黄色和紫色两种发光状态,移动机器人可以根据上述示例中的方式根据图像中表示黄色的像素值所在的位置从在黄色发光状态下所获取的至少一幅图像中提取出发光装置的定位特征,也可以根据上述示例中的方式根据图像中表示紫色的像素值所在的位置从在紫色发光状态下所获取的至少一幅图像中提取出发光装置的定位特征。

    需要说明的是,在根据一种发光状态确定发光装置在图像中的图像区域时,不但可以考虑颜色状态,还可也综合考虑图像中像素值所表示的亮度状态和颜色状态、或者也可以仅考虑图像中像素值所表示的亮度状态。

    在另一实施例中,所述发光模式中包含至少两种发光状态,从在其中至少两种发光状态下所获取的多幅图像中提取所述发光装置的定位特征。当发光模式包括两种发光状态时,所述移动机器人可以根据在每种发光状态下获取的多幅图像以及多幅图像中像素值的变化来从多幅图像中提取出发光装置的定位特征。当发光模式包括两种以上发光状态时,所述移动机器人可以根据在每种发光状态下获取的多幅图像以及多幅图像中像素值的变化来从多幅图像中提取出发光装置的定位特征,也可以只根据其中部分发光状态下获取的多幅图像以及多幅图像中像素值的变化来从多幅图像中提取出发光装置的定位特征。需要说明的是,所述部分发光状态包括至少两种发光状态。

    具体地,当多幅图像中表示同一物体的多个图像区域对应的像素值的变化体现了发光模式中发光状态的变化情况时,可确定该物体为发光装置;进而移动机器人可以根据多幅图像来提取对应所述发光装置的定位特征及其在相应图像中的位置。

    在某些实施例中,为了更准确地确定多个图像区域对应的像素值的变化体现了发光模式中发光状态的变化情况,存储装置中可预先存储有各种发光状态所对应的像素值、像素值范围、或者各发光模式对应的像素值的差异,所述发光装置可根据所述像素值的差异、或者发光模式中发光状态对应的像素值,确定体现了发光模式中发光状态的变化情况的多个图像区域,以确定该多个图像区域对应的定位特征为所述发光装置的定位特征。

    需要说明的是,当所述发光模式中包括多个发光状态时,所述发光模式对应多个所述差异。例如,发光模式中包括红色、黄色、以及绿色这三种发光状态时,所述发光模式对应3个像素值的差异,即红色发光状态对应的像素值与黄色发光状态对应的像素值的差异、红色发光状态对应的像素值与绿色发光状态对应的像素值的差异、黄色发光状态对应的像素值与绿色发光状态对应的像素值的差异。所述移动机器人可根据其中至少一个像素值的差异来确定体现了发光模式中部分发光状态的变化情况的多个图像区域。

    在一示例中,以所述发光模式为明暗模式并且所述明暗模式中包括亮度为0(发光装置处于不发光的状态)和亮度为c(c≠0)这两种发光状态为例,移动机器人在两种发光状态下获取多幅图像,其中,多幅图像中有至少一幅是在亮度为0的发光状态下所获取的图像,有至少一幅是在亮度为c的发光状态下所获取的图像。根据所获取的多幅图像中像素值的变化,可以确定多幅图像中发光装置的所在位置。例如,请参阅4,图4显示为本申请在两种发光状态下获取的两幅图像在一实施例中的示意图,如图4所示,图像d是在亮度为0的发光状态下所获取的图像,图像e是在亮度为c的发光状态下所获取的图像,其中,图像e中的图像区域m与图像d中图像区域n所表示的是物理空间中的同一物体。以图像d为基准,将图像d中的像素值与图像e中相应位置的像素值进行对比,如果图像e中图像区域m内各像素位置的像素值与图像d中图像区域n内各像素位置的像素值的差异满足两种发光状态对应的像素值的差异,则可以确定图像区域m处以及图像区域n处的物体为发光装置。又如,如果根据发光装置在图像d和图像e中的位置可以从两幅图像中分别提取出发光装置的定位特征。需要说明的是,在某些实施例中,也可以仅从图像d或者图像e中提取所述发光装置的定位特征。

    在另一示例中,以所述发光模式为变色模式并且变色模式中包括颜色为红、绿这两种发光状态为例,请参阅图5,图5显示为本申请在两种发光状态下获取的两幅图像在另一实施例中的示意图,请参阅图5,图像f是在红色的发光状态下所获取的图像,图像g是在绿色的发光状态下所获取的图像,其中,图像f中的图像区域a与图像g中图像区域b所表示的是物理空间中的同一物体。如果图像f在图像区域a内的像素值与图像g在图像区域b内的像素值之间的差异满足红、绿两种发光状态对应的像素值的差异,则图像f中的图像区域a、图像g中的图像区域b所表示的物体为发光装置。根据发光装置在图像f、图像g中的图像区域可以从两幅图像中分别提取出发光装置的定位特征。

    在又一示例中,所述发光模式为闪烁模式,所述移动机器人可以根据多幅图像中表示同一物体的像素值变化的周期性,来从多幅图像中提取出发光装置的定位特征。例如,所述移动机器人根据所获取的8幅图像来提取出发光装置的定位特征,第一幅图像和第二幅图像中表示同一物体的图像区域内的像素值均无变化,第三幅图像和第四幅图像中表示该同一物体的图像区域内的像素值比第一幅图像和第二幅图像中表示该同一物体的图像区域内的像素值均发生变化。其余四幅图像与前四幅图像的情况相同或相似。则根据该周期性的变化情况,可确定各图像中相应图像区域内的物体为发光装置。需要说明的是,在所述图像摄取装置获取图像的频率不变的情况下,所述闪烁模式的闪烁频率不同,每一变化周期内的图像数量可能不同。例如,所述闪烁频率越高,每一变化周期内的图像数量越少。

    在步骤s130中,所述移动机器人基于所述发光装置的定位特征在所述至少一幅图像中的位置,确定所述发光装置在地图中的定位位置,以将发光装置的定位特征及定位位置作为所述发光装置的地标数据记录在所述地图中。所述地图是在将移动机器人所在的起始位置与所构建的地图的起始坐标位置相对应的基础上,利用在移动机器人移动期间的不同位置所获取的图像和移动数据而构建的。其中,所述移动机器人的地图中需存储有地标数据,其包括移动机器人所在物理空间中物体在地图中的定位位置以及物体的定位特征。需要说明的是,一物体的地标数据中包括至少一个定位特征和至少一个定位位置。例如,一物体的地标数据中包括3个定位特征和对应的3个定位位置。需要说明的是,所述发光装置的定位特征包括:从发光模式中的一种发光状态所对应的一幅或多幅图像中提取的定位特征、或者从至少两种发光状态所对应的多幅图像中提取的定位特征。

    具体地,移动机器人通过所述发光装置的定位特征在图像中的位置确定发光装置与移动机器人之间在物理空间中的相对空间位置、或者确定图像中发光装置的定位特征与所述地图中已记录的其他物体的定位特征在图像中的相对位置,来确定发光装置在地图中的定位位置。

    在一实施例中,基于发光装置的定位特征以及所述地图中已记录的其他物体的定位特征在至少一幅图像中的相对位置,确定所述发光装置在地图中的定位位置。其中,所述地图中已记录的其他物体是指在地图中已经记录有地标数据的物体。所述相对位置包括:在图像上发光装置的定位特征与一其他物体的定位特征之间的像素位置偏差。

    在一示例中,一幅图像中包括一发光装置和一物体,并且该物体在地图中已经记录有地标数据,根据所述发光装置的定位特征与该物体的定位特征在图像中的相对位置(例如,发光装置的定位特征与该物体的定位特征在图像的横向上相差的像素个数以及在图像的纵向上相差的像素个数)、以及所述图像摄取装置的物理参考信息确定该发光装置和该物体在实际物理空间中的相对空间位置,其中,所述物理参考信息包括:所述图像摄取装置相距行进平面(例如地面)的物理高度、所述图像摄取装置的焦距、所述图像摄取装置的视角、和所述图像摄取装置的主光轴相对于水平或垂直面的夹角。根据该发光装置和该物体的相对空间位置、以及该物体在地图中的定位位置来确定所述发光装置在地图中的定位位置。

    在另一示例中,所述移动机器人还可以根据发光装置的定位特征以及所述地图中已记录的其他物体的定位特征在多幅图像中的相对位置,对于每一幅图像,移动机器人均可以利用上述方式确定在每一幅图像下得到的发光装置在地图中的定位位置,将多幅图像下得到的多个定位位置进行数据处理(例如,均值处理、中位数处理等),将处理后的定位位置作为所要求的发光装置在地图中的定位位置。

    在另一实施例中,基于发光装置的定位特征在所述至少一幅图像中的位置,确定在物理空间中所述发光装置与所述移动机器人之间的相对空间位置;根据所述相对空间位置以及所述移动机器人在地图中的定位位置确定所述发光装置在地图中的定位位置。所述相对空间位置包括:所述发光装置与移动机器人之间的距离和方位角度。

    在一示例中,所述移动机器人基于发光装置在一幅图像中的位置、以及所述物理参考信息确定在物理空间中所述发光装置与所述移动机器人之间的相对空间位置。需要说明的是,所述发光装置可能高于行进平面,但在通过单一图像确定所述相对空间位置时,均将所述发光装置视为在行进平面内。请参阅图6,图6显示为本申请基于成像原理确定发光装置与移动机器人之间的相对空间位置的原理示意图,如图所示,图中包括三个坐标系:图像坐标系uo1v、以o3为原点的世界坐标系、以o2为圆点的相机坐标系,假设实际物理空间内所述发光装置包含点p,已知图像摄取装置相距行进平面的物体高度为h(例如,物体高度h可以根据图像摄取装置在所述世界坐标系中的z轴坐标得到)、图像坐标中心对应的世界坐标点m与世界坐标系原点o3的距离o3m、镜头中心点的图像坐标o1、测量像素点的图像坐标p1、实际像素的长度和宽度、图像摄取装置的焦距,则通过推导计算可以得到o3p的长度,由此,根据所述o3p的长度可得到所述移动机器人当前所在位置与p点之间的物理距离。为了确定该p点与所述移动机器人所在位置之间的方位角度,移动机器人根据预先存储在所述存储装置中的图像各像素点与实际物理方位角度之间的对应关系,计算得到移动机器人与p点之间的方位角度。其中,每个像素点对应一个方位角度,所述方位角度可以是基于像素数量、图像摄取装置的焦距以及视角等参数计算得到的。所述移动机器人根据所述相对空间位置以及所述移动机器人在地图中的定位位置可确定所述发光装置在地图中的定位位置。

    在另一示例中,移动机器人包括至少两个图像摄取装置,所述移动机器人可基于双目测距原理以及同步获取自不同图像摄取装置的包括所述发光装置的两幅图像确定所述对象与移动机器人之间的相对空间位置。具体地,所述移动机器人根据所述发光装置在各图像中的位置、图像摄取装置的焦距、以及图像摄取装置之间的位置关系,确定所述发光装置与移动机器人之间的相对空间位置,进而根据所述相对空间位置以及所述移动机器人在地图中的定位位置确定所述发光装置在地图中的定位位置。其中,所述图像摄取装置之间的位置关系包括:图像摄取装置的光心之间的距离(即基线)。

    在又一示例中,所述移动机器人基于获取自一个图像摄取装置的包含所述发光装置的两幅图像、图像坐标系与物理空间坐标系的对应关系、以及所述发光装置在各图像中的位置确定在物理空间中所述发光装置与所述移动机器人之间的相对空间位置。其中,所述两幅图像是图像摄取装置获取的不同时刻的图像(例如,当前时刻图像和上一时刻图像)。针对上述步骤的实现方式,可参阅专利公告号cn107907131b中描述的机器人定位方法,基于所获取的当前时刻图像和上一时刻图像中物体的相匹配特征的位置以及图像坐标系与物理空间坐标系的对应关系来确定机器人和对象之间的相对空间位置。

    需要说明的是,上述步骤s120和s130所提供的各示例仅为举例。为降低计算资源,提高本申请中步骤s120和s130的融合程度,在一些实施例中,移动机器人根据发光模式、以及对应在发光装置按照发光模式发光期间的移动数据,确定多幅图像中符合相应发光状态的定位特征及其在相应图像中的位置,以及确定发光装置在地图中的定位位置。

    在此,移动机器人根据移动数据确定多幅图像中描述同一物体的图像区域,移动机器人根据发光模式中的相同或不同的发光状态,确定多幅图像中符合发光模式的同一物体对应的各图像区域,从各所述图像区域中提取具有匹配关系的发光装置的定位特征及其在相应图像中的位置,进而所述移动机器人可根据发光装置的定位特征在图像中的位置确定发光装置在地图中的位置。其中,所述移动数据为移动机器人利用图像摄取装置和/或环境感知装置所提供的数据测量得到的,其举例包括以下至少一种:移动机器人自主移动的距离和方位的数据,移动机器人相对于环境内的物体移动的距离和方位的数据,以及预设的物理尺度常数(如双目摄像头之间的镜头间距、或移动机器人相对行进平面之间的距离)。所述匹配关系举例包括以下至少一种:定位特征的描述子的相似度符合预设相似度条件,不同图像中相匹配的各定位特征之间的位置误差(又称像素位置误差)符合预设的误差条件,以及不同图像中各图像区域/相匹配的各定位特征之间的移动像素数据与移动机器人的移动数据之间符合预设的比例尺度条件。

    需要说明的是,技术人员在上述示例的启示下,以及步骤s120和s130中的各示例的启示下,结合得到更多的确定发光装置的地标数据的方式,在此不再一一示例。

    基于上述任一实施例可确定所述发光装置的定位位置,基于此,所述移动机器人将所述发光装置的定位特征、定位位置作为所述发光装置的地标数据记录在所述地图中。所述地标数据的定位特征包括:移动机器人从一幅图像中提取出的定位特征、或者移动机器人从多幅图像中提取的定位特征。例如,移动机器人从在两种发光状态下所获取的两幅图像中提取出发光装置的不同定位特征,可将提取出的不同的定位特征均记录到地图中。

    需要说明的是,如果所述地图中在发光装置的定位位置处无地标数据,可直接将得到的发光装置的定位特征和定位位置作为发光装置的地标数据记录在地图中。如果在该位置处已经记录有地标数据,则可将已有的地标数据作为所述发光装置的地标数据、或者将已有的地标数据同前述实施方式得到的发光装置的定位特征共同作为所述发光装置的地标数据记录在地图中。

    在某些实施例中,所述地标数据中还包括所述发光装置的标识信息。其中,所述发光装置的标识信息用于区分所述发光装置和其他物体。当所述发光装置为多个时,所述标识信息还可以用于区分物理空间中的不同发光装置。所述标识信息举例是基于以下至少一种而确定的:所述发光装置的物理地址(例如mac地址和/或ip地址)、所述物理地址的摘要(如hash值)、所述发光装置的设备编号、或唯一的随机数据等。

    需要说明的是,所述地图中所存储的地标数据不止包含对应发光装置的各地标数据,还包括对应其他物体的各地标数据。对应其他物体的各地标数据中包含:从在发光模式下/不在发光模式下所获取的各图像中提取的定位特征及其在相应图像中的位置,以及其他物体在地图中的定位位置等。换言之,地图中包含有更丰富光线环境下的地标数据。利用上述构建地图的方式所构建的地图可使移动机器人能够适应更多种光线环境。

    基于本申请的移动机器人的地图构建方法,所述移动机器人基于在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下获取的包含所述发光装置的至少一幅图像,可以在不同视觉条件下均能得到记录有发光装置的地标数据的地图,使得移动机器人可以基于该地图进行定位和导航。

    基于上述任一实施方式的到所述发光装置的地标数据,本申请还提供一种移动机器人的导航方法,请参阅图7,图7显示为本申请的导航方法在一实施例中的流程示意图,如图所示,所述导航方法包括:步骤s210和步骤s220。所述导航方法可以由图1所示的移动机器人来执行。其中,所述处理装置协调存储装置、接口装置等硬件执行以下步骤。

    为便于后续描述,存储在移动机器人中的地图中对应发光装置的地标数据中的定位特征被称为第一定位特征。

    在步骤s210中,所述移动机器人获取至少一幅图像,并从所述至少一幅图像中提取出第二定位特征。

    在一实施例中,所述存储装置中存储有发光装置的定位特征。所述移动机器人根据图像摄取装置所获取的至少一幅图像从所述至少一幅图像中提取出与存储的图像特征相匹配的所述发光装置的第二定位特征,所提取出的第二定位特征用于确定所述移动机器人在第一地图中的位置。

    在另一实施例中,所述至少一幅图像是在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下所获取的。所述发光装置的发光模式被控制的实施方式、以及从所获取的至少一幅图像中提取出所述发光装置的第二定位特征的实施方式与前文所述的相同或相似在此不再详述。通过在发光装置的发光模式被控制的状态下来获取至少一幅图像,可以使得移动机器人在不同视觉条件下均能够提取出所述发光装置的第二定位特征。

    在某些实施例中,在所述移动机器人的移动期间,根据在不同位置所获取的图像及其移动数据构建第二地图。当所述移动机器人检测到中断情况时,所述移动机器人基于当前在物理空间的位置构建临时的第二地图。其中,所述中断情况举例包括以下任一种:因外力干预而使得移动中断的情况、因根据所述第一地图进行定位所需的数据缺失或数据不足的情况、或者因控制指令的干预而使得移动中断的情况。例如,所述移动机器人在光线不足时不断获取图像,移动机器人根据所获取的图像和所述第一地图不能确定其在第一地图中的位置时,所述移动机器人构建第二地图。又如,当用户将移动机器人从a房间抱到b房间时,所述移动机器人检测到产生悬空数据的时长超出预设的警戒时长阈值,则确定产生中断情况,当产生中断情况时,移动机器人构建第二地图。

    所述移动数据包括与移动机器人移动方位相关的角度数据、以及与移动机器人移动距离相关的距离数据。所述移动数据可由移动测量装置来提供。所述移动测量装置包括设置在驱动电机、滚轮、或驱动电机与滚轮之间的机械结构中任一位置上的计数传感器和角度传感器(例如陀螺仪)。利用不断测得的移动数据可在地图中得到描述移动机器人实际移动的移动路径,进而所述移动机器人可根据在移动期间所获取的图像中所提取的各物体的第二定位特征以及地图中的移动路径构建第二地图。

    其中,所构建的第二地图中包括所述发光装置的第二定位特征。在一示例中,所述存储装置中存储有发光装置的图像特征。所述移动机器人根据图像摄取装置所获取的至少一幅图像从所述至少一幅图像中提取出与存储的图像特征相匹配的所述发光装置的第二定位特征。在另一示例中,所述至少一幅图像是在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下所获取的。所述发光装置的发光模式被控制的实施方式、以及从所获取的至少一幅图像中提取出所述发光装置的第二定位特征的实施方式与前文所述的相同或相似在此不再详述。通过在发光装置的发光模式被控制的状态下来获取包含发光装置的至少一幅图像,可以使得移动机器人在不同视觉条件下均能够提取出所述发光装置的第二定位特征,进而将包含有所述发光装置的第二定位特征的地标数据记录在所述第二地图中。

    所述移动机器人可根据所述发光装置的第二定位特征确定所述移动机器人在地图中的位置。

    在步骤s220中,所述移动机器人通过匹配所述第二定位特征和第一地图中的第一定位特征,确定所述移动机器人在第一地图中的位置。其中,所述第一定位特征是前文所述的地图构建方法中得到的发光装置的地标数据中的定位特征。在一示例中,所述发光装置的地标数据包括标识信息,所述移动机器人可以根据所述标识信息区分所述发光装置的地标数据与地图中其他物体的地标数据。

    在一实施例中,所述移动机器人基于所述发光装置的第二定位特征在所述至少一幅图像中的位置,确定在物理空间中所述发光装置与所述移动机器人之间的相对空间位置;根据所述相对空间位置以及与所述第二定位特征相匹配的第一定位特征在第一地图中的定位位置确定所述移动机器人在第一地图中的位置。其中,所述移动机器人根据第二定位特征在所述至少一幅图像中的位置确定所述在物理空间中所述发光装置与所述移动机器人之间的相对空间位置的实施方式与前文地图构建方法中所述的实施方式相同或相似,在此不再详述。

    具体地,所述移动机器人根据所述第二定位特征确定所述第一地图中与所述第二定位特征相匹配的第一定位特征,当相匹配的第一定位特征为多个物体的定位特征时,所述移动机器人还可以根据所述发光装置的标识信息唯一确定第一地图中与所述发光装置的第二定位特征相匹配的第一定位特征,进而根据所确定的第一定位特征在地图中的位置以及所述相对空间位置确定所述移动机器人在第一地图中的位置。

    在所述移动机器人根据构建的第二地图进行移动时,为了确定所述移动机器人在第一地图中的位置,步骤s220包括步骤s221。

    在步骤s221中,所述移动机器人通过匹配所述第二定位特征和所述第一定位特征,将移动机器人在第二地图中的位置映射到在第一地图中的位置。具体地,对于已确定的第一地图和第二地图中描述同一发光装置的情况,所述移动机器人还确定描述所述同一发光装置的第一定位特征和第二定位特征在各自地图中定位位置的偏差,利用所确定的定位位置偏差将所述移动机器人在第二地图中的位置映射到在第一地图中的位置。其中,所述定位位置偏差包括发光装置分别在第一地图和第二地图中的定位位置之间的位移偏差、和/或角度偏差。

    在一实施例中,通过匹配所述第二定位特征和所述第一定位特征,确定所述发光装置在两个地图中的定位位置偏差。根据所述定位位置偏差,将所述移动机器人在第二地图中的位置映射到在第一地图中的位置。

    在具体实施例中,移动机器人将第一地图中发光装置的多个第一定位特征与第二地图中发光装置的多个第二定位特征进行匹配操作,在得到与所述发光装置的各第二定位特征相匹配的第一定位特征时,还得到各第一定位特征在第一地图中的第一定位位置、以及各第二定位特征在第二地图中的第二定位位置,进而得到发光装置的定位位置偏差。移动机器人根据所述定位位置偏差对第二地图中的各定位位置进行整体转换,以使第一地图和第二地图完成对齐操作。其中,所述对齐操作根据定位位置偏差所描述的旋转角度、平移位移和缩放比例,对第二地图中的各定位位置进行矩阵转换。例如,移动机器人对第二地图进行旋转变换、平移变换、或缩放变换中的至少一种变换。又如,移动机器人将第二地图分块地进行上述变换,以减少单次计算的计算量。基于此,所述移动机器人可根据转换后的第二地图确定其在第二地图中的位置,进而,移动机器人根据同一发光装置在第一地图和第二地图中的位置、以及移动机器人在转换后的第二地图中的位置,可将其在第二地图中的位置映射到在第一地图中的位置。

    在某些实施例中,所述步骤s221还包括:根据相配的所述第一定位特征和所述第二定位特征,融合所述第一地图和所述第二地图。具体地,根据前述实施方式,移动机器人基于相配的所述第一定位特征和第二定位特征对第二地图中的各定位位置进行矩阵转换,将转换后的第二地图与所述第一地图进行融合。例如,去除转换后的第二地图中的冗余信息;以及更新转换后的第二地图。其中,所述冗余信息为第一地图和第二地图中描述同一物理区域的地图区域在融合后所产生的地标数据以及地图区域。例如,移动机器人将融合后产生的第二地图中重叠的地图区域及其地标数据予以删除。

    在一些实际应用中,所述移动机器人还将融合后的地图发送至所述智能终端,以供所述智能终端显示融合后的地图。

    基于所述移动机器人在所述第一地图中的位置,所述移动机器人可以生成导航路线。所述导航路线为移动机器人从当前位置移动至目的位置的移动路线。确定所述移动机器人在所述第一地图中的位置(即当前位置)、以及所述目的位置在第一地图中的位置,所述移动机器人可基于第一地图生成从当前位置移动至目的位置的移动路线。在一示例中,移动机器人根据第一地图中的障碍物信息和控制指令来生成导航路线。所述控制指令包括以下至少一种:用户通过智能终端发送给移动机器人的指令、移动机器人自身生成的指令。例如,所述指令为用户在智能终端所显示的地图中指定移动机器人的目的位置。又如,所述移动机器人为清洁机器人,所述指令为移动机器人生成的沿边清扫指令。

    本申请的移动机器人的导航方法可以使移动机器人基于包含有发光装置的地标数据的第一地图进行定位和导航。进而,在视觉条件不良时、移动机器人不能根据当前获取的图像确定在第一地图中的位置时、或者移动机器人构建的第二地图与所述第一地图存在定位位置偏差时,所述移动机器人利用本申请所述的导航方法可进行准确定位和导航。

    本申请还提供一种计算机可读写存储介质,存储至少一种程序,所述至少一种程序在被调用时执行并实现上述针对图2所示的移动机器人的地图构建方法和/或执行并实现上述针对图7所示的移动机器人的导航方法所描述的至少一种实施例。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得安装有所述存储介质的移动机器人可以执行本申请各个实施例所述方法的全部或部分步骤。

    于本申请提供的实施例中,所述计算机可读写存储介质可以包括只读存储器、随机存取存储器、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、u盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外,任何连接都可以适当地称为计算机可读介质。例如,如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或者诸如红外线、无线电和微波之类的无线技术,从网站、服务器或其它远程源发送的,则所述同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而,应当理解的是,计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质,而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘,其中,磁盘通常磁性地复制数据,而光盘则用激光来光学地复制数据。

    在一个或多个示例性方面,本申请所述方法的计算机程序所描述的功能可以用硬件、软件、固件或其任意组合的方式来实现。当用软件实现时,可以将这些功能作为一个或多个指令或代码存储或传送到计算机可读介质上。本申请所公开的方法或算法的步骤可以用处理器可执行软件模块来体现,其中处理器可执行软件模块可以位于有形、非临时性计算机可读写存储介质上。有形、非临时性计算机可读写存储介质可以是计算机能够存取的任何可用介质。

    本申请上述的附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于此,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这根据所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以通过执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以通过专用硬件与计算机指令的组合来实现。

    上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。


    技术特征:

    1.一种移动机器人的地图构建方法,其特征在于,所述地图构建方法包括以下步骤:

    在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下获取至少一幅图像;

    从所述至少一幅图像中提取出所述发光装置的定位特征;

    基于所述发光装置的定位特征在所述至少一幅图像中的位置,确定所述发光装置在地图中的定位位置,以将发光装置的定位特征及定位位置作为所述发光装置的地标数据记录在所述地图中。

    2.根据权利要求1所述的移动机器人的地图构建方法,其特征在于,所述发光装置的发光模式被控制的方式包括以下至少一种:

    智能终端与所述发光装置进行无线通信以控制所述发光装置的发光模式;其中,所述智能终端还与所述移动机器人通信连接;

    所述移动机器人通过中间设备与所述发光装置进行无线通信以控制所述发光装置的发光模式;以及

    所述移动机器人直接与所述发光装置进行无线通信以控制所述发光装置的发光模式。

    3.根据权利要求1所述的移动机器人的地图构建方法,其特征在于,所述在移动机器人的物理空间中发光装置的发光模式被控制的状态下获取至少一幅图像的步骤包括:

    当确定所述移动机器人位于相距所述发光装置的预设范围内,以及在所述发光装置的发光模式被控制的状态下时,获取至少一幅图像;和/或

    当确定所述移动机器人未被障碍物遮挡,以及在所述发光装置的发光模式被控制的状态下时,获取至少一幅图像。

    4.根据权利要求1所述的移动机器人的地图构建方法,其特征在于,所述从至少一幅图像中提取出所述发光装置的定位特征的步骤包括:按照所述发光模式对所获取的至少一幅图像进行图像分析,以确定所获取的至少一幅图像中包含相应的发光装置,以利用包含有发光装置的至少一幅图像提取所述定位特征。

    5.根据权利要求1所述的移动机器人的地图构建方法,其特征在于,所述发光装置的发光模式包括:闪烁模式、变色模式、明暗模式、或稳态模式。

    6.根据权利要求1所述的移动机器人的地图构建方法,其特征在于,所述从至少一幅图像中提取出所述发光装置的定位特征,包括:

    所述发光模式中包含至少一种发光状态,从在其中一种发光状态下所获取的至少一幅图像中提取所述发光装置的定位特征;或者

    所述发光模式中包含至少两种发光状态,从在其中至少两种发光状态下所获取的多幅图像中提取所述发光装置的定位特征。

    7.根据权利要求1所述的移动机器人的地图构建方法,其特征在于,基于所述发光装置的定位特征在所述至少一幅图像中的位置,确定所述发光装置在地图中的定位位置,包括:

    基于发光装置的定位特征以及所述地图中已记录的其他物体的定位特征在至少一幅图像中的相对位置,确定所述发光装置在地图中的定位位置。

    8.根据权利要求1所述的移动机器人的地图构建方法,其特征在于,基于发光装置的定位特征在所述至少一幅图像中的位置,确定所述发光装置在地图中的定位位置,包括:

    基于发光装置的定位特征在所述至少一幅图像中的位置,确定在物理空间中所述发光装置与所述移动机器人之间的相对空间位置;

    根据所述相对空间位置以及所述移动机器人在地图中的定位位置确定所述发光装置在地图中的定位位置。

    9.根据权利要求1所述的移动机器人的地图构建方法,其特征在于,当所述发光装置为多个时,在所述移动机器人的物理空间中发光装置的发光模式被控制的方式包括:

    各发光装置按照相同的发光模式被依次控制;或者

    各发光装置按照不同的发光模式被控制。

    10.根据权利要求1或9所述的移动机器人的地图构建方法,其特征在于,所述发光装置的地标数据还包括发光装置的标识信息。

    11.一种移动机器人的导航方法,其特征在于,所述导航方法包括以下步骤:

    获取至少一幅图像,并从所述至少一幅图像中提取出第二定位特征;

    通过匹配所述第二定位特征和第一地图中的第一定位特征,确定所述移动机器人在第一地图中的位置,其中,所述第一定位特征是通过如权利要求1至10所述的地图构建方法中得到的对应发光装置的地标数据中的定位特征,所述移动机器人在第一地图中的位置用来生成导航路线。

    12.根据权利要求11所述的移动机器人的导航方法,其特征在于,所述导航方法还包括:

    在所述移动机器人的移动期间,根据在不同位置所获取的图像及其移动数据构建第二地图,其中,所述第二地图中包括所述发光装置的第二定位特征;

    通过匹配所述第二定位特征和第一地图中的第一定位特征,确定所述移动机器人在第一地图中的位置的步骤包括:通过匹配所述第二定位特征和所述第一定位特征,将移动机器人在第二地图中的位置映射到在第一地图中的位置。

    13.根据权利要求12所述的移动机器人的导航方法,其特征在于,所述导航方法还包括:根据相配的所述第一定位特征和所述第二定位特征,融合所述第一地图和所述第二地图。

    14.根据权利要求12所述的移动机器人的导航方法,其特征在于,通过匹配所述第二定位特征和所述第一定位特征,将移动机器人在第二地图中的位置映射到在第一地图中的位置,包括:

    通过匹配所述第二定位特征和所述第一定位特征,确定所述发光装置在两个地图中的定位位置偏差;

    根据所述定位位置偏差,将所述移动机器人在第二地图中的位置映射到在第一地图中的位置。

    15.根据权利要求11或12所述的移动机器人的导航方法,其特征在于,获取至少一幅图像,包括:

    在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下获取至少一幅图像。

    16.根据权利要求15所述的移动机器人的导航方法,其特征在于,所述发光装置的发光模式被控制的方式包括以下至少一种:

    智能终端与所述发光装置进行无线通信以控制所述发光装置的发光模式;其中,所述智能终端还与所述移动机器人通信连接;

    所述移动机器人通过中间设备与所述发光装置进行无线通信以控制所述发光装置的发光模式;以及

    所述移动机器人直接与所述发光装置进行无线通信以控制所述发光装置的发光模式。

    17.根据权利要求15所述的移动机器人的导航方法,其特征在于,所述导航方法还包括:

    当确定所述移动机器人位于相距所述发光装置的预设范围内,以及在所述发光装置的发光模式被控制的状态下时,获取至少一幅图像;和/或

    当确定所述移动机器人未被障碍物遮挡,以及在所述发光装置的发光模式被控制的状态下时,获取至少一幅图像。

    18.根据权利要求15所述的移动机器人的导航方法,其特征在于,从至少一幅图像中提取出所述发光装置的第二定位特征的步骤包括:按照所述发光模式对所获取的至少一幅图像进行图像分析,以确定所获取的至少一幅图像中包含相应的发光装置,以利用包含有发光装置的至少一幅图像提取所述第二定位特征。

    19.根据权利要求15所述的移动机器人的导航方法,其特征在于,所述发光装置的发光模式包括:闪烁状态、变色状态、明暗状态、或稳定状态。

    20.根据权利要求15所述的移动机器人的导航方法,其特征在于,从所述至少一幅图像中提取出所述发光装置的第二定位特征,包括:

    所述发光模式中包含至少一种发光状态,从在其中一种发光状态下所获取的至少一幅图像中提取所述发光装置的第二定位特征;或者

    所述发光模式中包含至少两种发光状态,从在其中至少两种发光状态下所获取的多幅图像中提取所述发光装置的第二定位特征。

    21.根据权利要求15所述的移动机器人的导航方法,其特征在于,当所述发光装置为多个时,在所述移动机器人的物理空间中发光装置的发光模式被控制的方式包括:

    各发光装置按照相同的发光模式被依次控制;或者

    各发光装置按照不同的发光模式被控制。

    22.根据权利要求11所述的移动机器人的导航方法,其特征在于,通过匹配所述第二定位特征和第一地图中的第一定位特征,确定所述移动机器人在第一地图中的位置,包括:

    基于所述发光装置的第二定位特征在所述至少一幅图像中的位置,确定在物理空间中所述发光装置与所述移动机器人之间的相对空间位置;

    根据所述相对空间位置以及与所述第二定位特征相匹配的第一定位特征在第一地图中的定位位置确定所述移动机器人在第一地图中的位置。

    23.一种移动机器人的控制系统,其特征在于,包括:

    接口装置,用于与发光装置通信连接;

    存储装置,存储至少一种程序;

    处理装置,与所述存储装置和接口装置相连,用于执行所述至少一种程序,以协调所述存储装置和接口装置执行如权利要求1-10中任一所述的移动机器人的地图构建方法和/或执行如权利要求11-22中任一所述的移动机器人的导航方法。

    24.一种移动机器人,其特征在于,所述移动机器人包括:

    图像摄取装置,用于摄取图像;

    接口装置,用于与发光装置通信连接;

    存储装置,存储至少一种程序;

    移动装置,用于受控使移动机器人执行移动操作;

    处理装置,与所述存储装置、接口装置、图像摄取装置、和移动装置相连,用于执行所述至少一种程序,以协调所述存储装置、接口装置、图像摄取装置、和移动装置执行如权利要求1-10中任一所述的移动机器人的地图构建方法和/或执行如权利要求11-22中任一所述的移动机器人的导航方法。

    25.一种计算机可读存储介质,其特征在于,存储至少一种程序,所述至少一种程序在被调用时执行并实现如权利要求1-10中任一所述的移动机器人的地图构建方法,和/或执行如权利要求11-22中任一所述的移动机器人的导航方法。

    技术总结
    本申请提供一种移动机器人的地图构建方法、导航方法及控制系统,所述地图构建方法包括:在所述移动机器人的物理空间中发光装置的发光模式被控制的状态下获取至少一幅图像;从所述至少一幅图像中提取出所述发光装置的定位特征;基于所述发光装置的定位特征在所述至少一幅图像中的位置确定所述发光装置在地图中的定位位置,以将发光装置的定位特征及定位位置作为所述发光装置的地标数据记录在所述地图中。本申请可以根据在发光装置的发光模式被控制的状态下所获取的图像得到所述发光装置的地标数据,进而可以构建包含有发光装置的地标数据的地图,以根据该地图进行定位、导航等操作。

    技术研发人员:不公告发明人
    受保护的技术使用者:珊口(深圳)智能科技有限公司;珊口(上海)智能科技有限公司
    技术研发日:2020.10.15
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-7090.html

    最新回复(0)