测绘设备及无人机的制作方法

    专利2022-07-07  158


    本申请实施例涉及测绘技术领域,具体而言,涉及一种测绘设备及无人机。



    背景技术:

    利用无人设备(例如,无人机、无人车等)进行作业时,需要清楚地了解作业区域的地形地貌,例如,高程信息、地物高度、坡度等,而要了解作业区域的地形地貌,就需要对作业区域进行测绘。

    目前,常用的测绘方式有两种:一是人工打点测绘,这种方式相当耗费人力,效率低下;二是测绘无人机采集图像发给地面站或者云端,由地面站或者云端采用专门的三维重建软件生成特定区域的三维模型,这一过程耗时较长,不具有实时性。



    技术实现要素:

    本申请实施例的目的在于提供一种测绘设备及无人机,用以解决现有的测绘方式无法准确实时地进行测绘的问题。

    为了实现上述目的,本申请实施例采用的技术方案如下:

    第一方面,本申请实施例提供了一种测绘设备,所述测绘设备可拆卸地挂载于无人机上,所述测绘设备包括图像采集设备和图像处理单元,所述图像采集设备和所述图像处理单元通信连接;所述图像采集设备,用于采集目标区域的原始图像,并将所述原始图像发送至所述图像处理单元;所述图像处理单元,用于接收所述原始图像,并根据所述原始图像生成所述目标区域的航测数据。

    可选地,所述图像处理单元包括中央处理器cpu和图形处理器gpu,所述cpu和所述gpu通过总线通信连接;所述cpu,用于根据所述原始图像生成所述目标区域的航测数据,所述航测数据包括所述目标区域的三维模型和数字正射影像图;所述gpu,用于配合所述cpu重建所述目标区域的三维模型。

    可选地,所述图像处理单元还包括嵌入式神经网络处理器npu,所述cpu、所述gpu和所述npu通过总线通信连接;所述npu,用于对所述目标区域的三维模型进行障碍物识别,得到所述目标区域的障碍物边界;所述npu,还用于对所述目标区域的数字正射影像图进行边界识别,得到所述目标区域的地块边界;其中,所述航测数据还包括所述目标区域的障碍物边界和地块边界。

    可选地,所述图像处理单元包括图像处理芯片;所述cpu、所述gpu和所述npu集成在一块所述图像处理芯片中。

    可选地,所述测绘设备还包括存储器,所述存储器和所述图像处理单元通过总线通信连接;所述存储器,用于存储所述图像采集设备采集的所述原始图像和所述图像处理单元生成的所述航测数据,以及,暂存所述图像处理单元在生成所述航测数据过程中产生的中间结果。

    可选地,所述图像采集设备通过图像视频传输接口与所述图像处理单元连接;所述图像视频传输接口包括usb接口。

    第二方面,本申请实施例还提供了一种无人机,所述无人机包括飞行控制器、以及上述的测绘设备,所述飞行控制器与所述测绘设备通信连接;所述飞行控制器,用于控制所述无人机按照设定航线飞行,并在所述无人机飞行至设定拍照点时触发所述测绘设备拍照;所述测绘设备,用于在所述飞行控制器的触发下采集目标区域的原始图像,并根据所述原始图像生成所述目标区域的航测数据,并将所述航测所述数据回传至所述飞行控制器。

    可选地,所述无人机为植保无人机。

    可选地,所述无人机还包括rtk模块,所述rtk模块与所述飞行控制器通信连接;所述rtk模块,用于实时采集所述无人机在飞行过程中的rtk坐标;所述飞行控制器,还用于在触发所述测绘设备拍照时,获取所述无人机的当前rtk坐标,并将所述当前rtk坐标写入所述原始图像的拍摄信息中。

    可选地,所述无人机还包括通信模块,所述通信模块与所述飞行控制器通信连接;所述通信模块,用于将所述目标区域的航测数据发送至地面站,便于所述地面站根据所述航测数据规划所述目标区域的三维航线或二维航线。

    相对现有技术,本申请实施例提供的一种测绘设备及无人机,测绘设备能够可拆卸地挂载于无人机上,具有良好的便携性;同时,测绘设备包括图像采集设备和图像处理单元,在测绘过程中,通过图像采集设备采集目标区域的原始图像并发送给图像处理单元,再由图像处理单元对原始图像生成目标区域的航测数据,从而可以即时采集原始图像即时生成航测数据,具有良好的实时性;能够达到准确快速地完成测绘的目的。

    附图说明

    图1示出了本申请实施例提供的一种测绘设备的结构示意图。

    图2示出了本申请实施例提供的另一种测绘设备的结构示意图。

    图3示出了本申请实施例提供的一种无人机的结构示意图。

    图4示出了本申请实施例提供的另一种无人机的结构示意图。

    图标:100-测绘设备;110-图像采集设备;120-图像处理单元;121-cpu;122-gpu;123-npu;124-存储器;10-无人机;200-飞行控制器;300-rtk模块;400-通信模块。

    具体实施方式

    下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述。

    请参照图1,图1示出了本申请实施例提供的测绘设备100的结构示意图。测绘设备100可拆卸地挂载于无人机上,测绘设备100包括图像采集设备110与图像处理单元120,图像采集设备110和图像处理单元120通信连接。

    图像采集设备110,用于采集目标区域的原始图像,并将原始图像发送至图像处理单元120。

    图像处理单元120,用于接收原始图像,并根据原始图像生成目标区域的航测数据。

    可选地,当需要对目标区域的地形地貌进行测绘时,将测绘设备100挂载于无人机上,测绘设备100可拆卸,从而具有良好的便携性。无人机可以是专用于地理测绘的测绘无人机,也可以是普通无人机。

    可选地,可以预先根据卫星地图,确定无人机在目标区域中的航拍参数,航拍参数用于指示无人机的航拍状态。航拍参数可以包括飞行航线、飞行高度、飞行速度、拍摄距离间隔和拍摄时间间隔等中的至少一种。

    其中,在设置飞行航线时,任意两条相邻的航段之间的距离是由航测要求决定的,需要确保在同一水平位置上,图像采集设备110采集到的原始图像之间的重叠率大于一定数值,例如,大于60%,具体数值与航测要求有关,可以由测绘人员根据实际情况灵活设置,在此不做限定。

    飞行高度是根据卫星地图的地图分辨率确定的,飞行速度则是根据飞行航线以及无人机自身的飞行参数所确定的。

    拍摄距离间隔和拍摄时间间隔是根据飞行航线、飞行速度和航测要求确定的,例如,图像采集设备110采集到的原始图像的数量需要大于预设值(例如,100张),或者,相邻两张原始图像之间的重叠率不低于预设数值(例如,30%)等,在此不做限定。

    在一个实施方式中,图像采集设备110可以与图像处理单元120集成为一个设备,也可以与图像处理单元为相互独立的两个设备。

    可选地,图像采集设备110可以是照相机、摄像机、光学摄像头、或者其他具备拍摄功能的设备或模组。

    图像采集设备110可以选用一些目前无人机航测领域常用的相机,例如,选用相机imx377。

    可选地,图像采集设备110可以包括图像传感器(sensor)和处理元件。

    图像传感器用于原始图像采集,图像传感器可以是ccd(chargecoupledevice,电荷耦合器件)、cmos(complementarymetaloxidesemiconductor,互补金属氧化物半导体)等。

    处理元件用于生成原始图像的拍摄信息,以完成图像采集设备110拍照和定位的高精度同步。拍摄信息可以是exif(exchangeableimagefileformat,可交换图像文件格式),exif是专门为数码相机的照片设定的,可以记录数码照片的属性信息和拍摄数据。

    原始图像的拍摄信息中,记录有图像采集设备采集该原始图像时无人机的rtk(real-timekinematic,实时动态)坐标。

    在一个实施方式中,图像采集设备110可以通过图像视频传输接口与图像处理单元120连接,从而使图像采集设备110将采集到的原始图像经图像视频传输接口传输至图像处理单元。

    可选地,图像视频传输接口可以是,但不限于usb(universalserialbus,通用串行总线)接口、hdmi(highdefinitionmultimediainterface,高清晰度多媒体)接口、av(audiovideo,复合视频)接口、或者其他特殊接口。

    图像处理单元120主要负责控制测绘设备100的系统运作、以及测绘设备100与无人机的其他模块之间进行数据交互。

    请参照图2,图像处理单元120可以包括cpu(centralprocessingunit,中央处理器)121和gpu(graphicsprocessingunit,图形处理器)122,cpu121和gpu122通过总线通信连接。

    cpu121,用于根据原始图像生成目标区域的航测数据,航测数据包括目标区域的三维模型和数字正射影像图;

    gpu122,用于配合cpu重建目标区域的三维模型。

    其中,cpu121主要负责测绘过程中的高性能建图计算,例如,生成目标区域的三维模型和数字正射影像图。gpu122主要负责图像处理算法加速,例如,建图算法前端特征提取加速、纹理映射算法加速等。

    可选地,在测绘过程中,图像采集设备110采集到目标区域的原始图像之后,通过图像视频传输接口将原始图像实时传输至cpu121,cpu121实时接收原始图像进行处理。

    cpu121生成目标区域的三维模型和数字正射影像图的过程可以包括以下内容:

    cpu121先通过gpu122对原始图像进行特征提取加速,gpu122提取到图像特征后发送给cpu121。cpu121根据图像特征进行特征匹配,并根据特征匹配结果,通过sfm(structure-from-motion,运动恢复结构)算法解算原始图像的位姿信息,位姿信息是指原始图像的位置和旋转朝向,包括:无人机的俯仰角、横滚角、偏航角和三维坐标。直至图像采集设备110将所有的原始图像传输完成,cpu121提取完所有原始图像的图像特征,cpu121根据所有原始图像的图像特征,通过sfm算法解算得到每张原始图像的位姿信息、以及目标区域的稀疏三维点云。

    上述解算出的位姿信息和稀疏三维点云,是在局部坐标系下的,即,以采集原始图像时图像采集设备110的中心为原点建立的坐标系,各个原始图像的位姿信息、以及稀疏三维点云,没有一个统一的参考点。因此,需要将它们都转换到世界坐标系下,这样就会有一个统一的参考点,并且能对应到现实世界。

    cpu121可以获取任意一张原始图像,并获取该原始图像的拍摄信息中记录的rtk坐标,再将上述解算出的该原始图像的位姿信息与获取到的rtk坐标进行对齐,也就是,计算位姿信息到rtk坐标的相似变换矩阵。

    之后,针对上述解算出的每张原始图像的位姿信息,分别通过相似变换矩阵进行变换,就能得到世界坐标系下每张原始图像的位姿信息。针对上述解算出的目标区域的稀疏三维点云,通过相似变换矩阵进行变换,得到世界坐标系下目标区域的稀疏三维点云。世界坐标系下的位姿信息和稀疏三维点云具有地理位置的绝对坐标及尺度。

    得到每张原始图像的位姿信息后,cpu121可以根据位姿信息,对任意具有匹配关系的相邻两张原始图像进行双目立体校正,得到校正后的原始图像传输给gpu122。具有匹配关系的相邻两张原始图像,是指具有重叠度的两张原始图像,或者是具有共视点的两张原始图像。

    gpu122接收校正后的原始图像,通过sgm(semi-globalmatching,半全局匹配)算法恢复每张原始图像对应的视差图;再根据相机焦距和每张原始图像对应的视差图,计算得到每张原始图像对应的深度图。

    之后,cpu121将得到的每张原始图像对应的深度图进行融合,就能得到完整场景的稠密三维点云。

    同时,为了节省存储空间和提高数据传输速度,cpu121还可以对得到的稠密三维点云进行压缩。

    可选地,cpu121可以将稠密三维点云通过体素化表示,体素化网格尺寸可以是0.1m,得到体素点云。再将体素点云以laz格式进行压缩,能有效缩小数据大小。最后,通过开源框架entwine对体素点云进行切片处理,就能得到最终的体素点云瓦片。

    需要指出的是,上述的稠密三维点云、体素点云、体素点云瓦片都是目标区域的三维模型,体素点云用于后续的障碍物识别,体素点云瓦片用于最终的存储或交互。

    得到目标区域的稀疏三维点云后,cpu121可以采用delaunay三角剖分算法构建出稀疏三维点云中的网格,这个网格可以是2.5d,也可以是3d,在此不做限定。之后,cpu121对稀疏三维点云中的网格进行插值,就能得到目标区域的dsm(digitalsurfacemodel,数字地表模型)。

    最后,针对dsm表面的每一网格,利用反投影法将该网格投影到对应的原始图像中,得到该网格在原始图像中的投影区域,再根据投影区域中像素点的像素值和颜色值为该网格添加纹理信息和颜色信息,就能得到附着图像纹理的dom(digitalorthophotomap,数字正射影像图)。

    同样地,为了节省存储空间和提高数据传输速度,cpu121还可以对得到的dom进行压缩。

    可选地,cpu121可以对得到的dom通过gdal进行切片得到正射影像瓦片,并且,对于正射影像边缘的瓦片以png格式进行保存,对于正射影像非边缘的瓦片以jpeg格式保存。相较纯png格式的瓦片,这种混合格式的瓦片能够有效压缩数据量,且能保留正射影像边缘的透明通道。

    请再次参照图2,图像处理单元120还可以包括npu(neural-networkprocessingunit,嵌入式神经网络处理器)123,cpu121、gpu122和npu123通过总线通信连接。

    npu123,用于对目标区域的三维模型进行障碍物识别,得到目标区域的障碍物边界。

    npu123,还用于对目标区域的数字正射影像图进行边界识别,得到目标区域的地块边界;其中,航测数据还包括目标区域的障碍物边界和地块边界。

    可选地,npu123可以对上述得到的目标区域的体素点云进行ai障碍物识别,得到障碍物的矢量包围盒。障碍物可以包括,但不限于测绘区域中的树木、电线杆和电塔等实体要素。

    npu123上还可以部署有ai边界识别模型,npu123运行ai边界识别模型,就能识别出正射影像瓦片中的地块边界。

    在一个实施例中,图像处理单元120可以是图像处理芯片,cpu121、gpu122和npu123集成在一块图像处理芯片中。

    可选地,cpu121和gpu122可以选用目前人工智能领域普遍使用的芯片,例如,cpu121选用a311d,gpu选用armg52等,npu123可以是a311d内置的独立npu。

    请再次参照图2,图像处理单元120还可以包括存储器124,cpu121、gpu122、npu123和存储器124通过总线通信连接。

    存储器124,用于存储图像采集设备110采集的原始图像和图像处理单元120生成的航测数据,以及,暂存图像处理单元120在生成航测数据过程中产生的中间结果。

    可选地,存储器124可以是,但不限于dram(dynamicrandomaccessmemory,动态随机存储器)、sram(staticrandom-accessmemory,静态随机存储器)等等,例如,ddr(doubledatarate,双倍速率同步动态随机存储器),ddr可以选用型号为su1g32z11nd4dnq-053bt的芯片。

    请参照图3,图3示出了本申请实施例提供的无人机10的结构示意图。无人机10包括上述的测绘设备100和飞行控制器200,测绘设备100和飞行控制器200通信连接。

    可选地,飞行控制器200可以是无人机领域常用的嵌入式芯片,例如,stm32rtkimx6等。

    飞行控制器200,用于控制无人机10按照设定航线飞行,并在无人机10飞行至设定拍照点时触发测绘设备100拍照。

    测绘设备100,用于在飞行控制器200的触发下采集目标区域的原始图像,并根据原始图像生成目标区域的航测数据,并将航测数据回传至飞行控制器200。

    可选地,设定拍照点可以是测绘人员按照目标区域的实际情况设置的,例如,湖泊、草原等地形地貌较为简单的区域,其对应的航段上可以少设置一些设定拍照点;森林、丘陵等地形地貌较为复杂的区域,其对应的航段上可以多设置一些设定拍照点;在此不做限定。

    可选地,无人机10可以是植保无人机、航测无人机、或者其他用于地形测绘的无人机等。

    请参照图4,无人机10还可以包括rtk模块300,rtk模块300与飞行控制器200通过总线通信连接。

    rtk模块300,用于实时采集无人机10在飞行过程中的rtk坐标。

    飞行控制器200,还用于在触发测绘设备拍照时,获取无人机10的当前rtk坐标,并将当前rtk坐标写入原始图像的拍摄信息中。请再次参照图4,无人机10还包括通信模块400,通信模块400与飞行控制器200通过总线通信连接。

    通信模块400,用于将目标区域的航测数据发送至地面站,便于地面站根据航测数据规划目标区域的三维航线或二维航线。

    可选地,测绘设备100可以通过图像视频传输接口与飞行控制器200连接,从而使测绘设备100可以将生成的航测数据通过图像视频传输接口传输至飞行控制器200。

    可选地,飞行控制器200,还用于根据测绘设备100回传的航测数据,生成目标区域的三维航线或二维航线。

    同时,飞行控制器200在生成目标区域的三维航线或二维航线后,还可以通过通信模块400,将目标区域的三维航线或二维航线发送至地面站。

    可选地,图像视频传输接口可以是,但不限于usb(universalserialbus,通用串行总线)接口、hdmi(highdefinitionmultimediainterface,高清晰度多媒体)接口、av(audiovideo,复合视频)接口、或者其他特殊接口。

    可选地,飞行控制器200可以通过event接口与图像采集设备110连接。在测绘过程中,图像采集设备110可以不断通过event接口发送event脉冲,来获取无人机10当前的rtk坐标。并且,当图像采集设备110在飞行控制器200触发下拍照时,可以将当前获取的rtk坐标写入到照片的exif信息中。

    可选地,测绘设备100还可以包括电源,并且该电源与无人机10的电源电连接,使得无人机10为测绘设备100供电,例如,12v/2a供电。

    综上所述,本申请实施例提供的一种测绘设备及无人机,测绘设备能够可拆卸地挂载于无人机上,具有良好的便携性;同时,测绘设备包括图像采集设备和图像处理单元,在测绘过程中,通过图像采集设备采集目标区域的原始图像并发送给图像处理单元,再由图像处理单元对原始图像生成目标区域的航测数据,从而可以即时采集原始图像即时生成航测数据,具有良好的实时性;能够达到准确快速地完成测绘的目的。

    以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。


    技术特征:

    1.一种测绘设备,其特征在于,所述测绘设备可拆卸地挂载于无人机上,所述测绘设备包括图像采集设备和图像处理单元,所述图像采集设备和所述图像处理单元通信连接;

    所述图像采集设备,用于采集目标区域的原始图像,并将所述原始图像发送至所述图像处理单元;

    所述图像处理单元,用于接收所述原始图像,并根据所述原始图像生成所述目标区域的航测数据。

    2.如权利要求1所述的测绘设备,其特征在于,所述图像处理单元包括中央处理器cpu和图形处理器gpu,所述cpu和所述gpu通过总线通信连接;

    所述cpu,用于根据所述原始图像生成所述目标区域的航测数据,所述航测数据包括所述目标区域的三维模型和数字正射影像图;

    所述gpu,用于配合所述cpu重建所述目标区域的三维模型。

    3.如权利要求2所述的测绘设备,其特征在于,所述图像处理单元还包括嵌入式神经网络处理器npu,所述cpu、所述gpu和所述npu通过总线通信连接;

    所述npu,用于对所述目标区域的三维模型进行障碍物识别,得到所述目标区域的障碍物边界;

    所述npu,还用于对所述目标区域的数字正射影像图进行边界识别,得到所述目标区域的地块边界;其中,所述航测数据还包括所述目标区域的障碍物边界和地块边界。

    4.如权利要求3所述的测绘设备,其特征在于,所述图像处理单元包括图像处理芯片;

    所述cpu、所述gpu和所述npu集成在一块所述图像处理芯片中。

    5.如权利要求1所述的测绘设备,其特征在于,所述测绘设备还包括存储器,所述存储器和所述图像处理单元通过总线通信连接;

    所述存储器,用于存储所述图像采集设备采集的所述原始图像和所述图像处理单元生成的所述航测数据,以及,暂存所述图像处理单元在生成所述航测数据过程中产生的中间结果。

    6.如权利要求1所述的测绘设备,其特征在于,所述图像采集设备通过图像视频传输接口与所述图像处理单元连接;

    所述图像视频传输接口包括usb接口。

    7.一种无人机,其特征在于,所述无人机包括飞行控制器、以及权利要求1-6中任一项所述的测绘设备,所述飞行控制器与所述测绘设备通信连接;

    所述飞行控制器,用于控制所述无人机按照设定航线飞行,并在所述无人机飞行至设定拍照点时触发所述测绘设备拍照;

    所述测绘设备,用于在所述飞行控制器的触发下采集目标区域的原始图像,并根据所述原始图像生成所述目标区域的航测数据,并将所述航测数据回传至所述飞行控制器。

    8.根据权利要求7所述的无人机,其特征在于,所述无人机为植保无人机。

    9.如权利要求7所述的无人机,其特征在于,所述无人机还包括rtk模块,所述rtk模块与所述飞行控制器通信连接;

    所述rtk模块,用于实时采集所述无人机在飞行过程中的rtk坐标;

    所述飞行控制器,还用于在触发所述测绘设备拍照时,获取所述无人机的当前rtk坐标,并将所述当前rtk坐标写入所述原始图像的拍摄信息中。

    10.如权利要求7所述的无人机,其特征在于,所述无人机还包括通信模块,所述通信模块与所述飞行控制器通信连接;

    所述通信模块,用于将所述目标区域的航测数据发送至地面站,便于所述地面站根据所述航测数据规划所述目标区域的三维航线或二维航线。

    技术总结
    本申请实施例涉及测绘技术领域,提供一种测绘设备及无人机,测绘设备能够可拆卸地挂载于无人机上,具有良好的便携性;同时,测绘设备包括图像采集设备和图像处理单元,在测绘过程中,通过图像采集设备采集目标区域的原始图像并发送给图像处理单元,再由图像处理单元对原始图像生成目标区域的航测数据,从而可以即时采集原始图像即时生成航测数据,具有良好的实时性;能够达到准确快速地完成测绘的目的。

    技术研发人员:邓杭;朱嘉炜
    受保护的技术使用者:广州极飞科技有限公司
    技术研发日:2020.12.15
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-7119.html

    最新回复(0)