本发明涉及机器人技术领域,特别涉及一种位姿监测系统、方法、手术机器人系统和存储介质。
背景技术:
目前,将机器人制造技术应用于医学外科领域已经受到广泛关注,是机器人研究领域的前言热点之一。机器人技术不仅在手术精确定位、手术微创、无损诊疗等方面带来了巨大的技术变革,而且正在改变常规医疗外科的许多概念,因此机器人化手术医疗设备的开发和研制,无论对临床医学还是康复工程方面都具有十分重要的意义。
目前医学外科机器人系统的研究已经广泛应用于多个医学领域,例如基于超声的远程遥控操作外科手术系统、用于心脏瓣膜修复的遥控操作机器人系统、用于纤维外科的微创伤机器人系统、用于腹外科的声控手术系统等。
现有技术中的手术机器人系统大多为单底座、单手术台车,但是单底座、单手术台车的摆位方式单一,手术器械位置受到极大限制,因此有必要实现多底座的手术机器人系统,然而目前还没有较好的位姿监测方案,无法对任一底座上的手术器械的位姿进行计算,因此,无法实现对多底座的手术机器人系统的准确控制。
技术实现要素:
本发明的目的在于提供一种位姿监测系统、方法、手术机器人系统和存储介质,可以对手术机器人的多底座进行位姿监测,实现在使用多底座台车的情况下,对任一底座上的机械臂的末端的位姿进行监测,进而可以计算出机械臂的末端的手术器械在内窥镜视野下的位姿,实现对多底座台车的控制,使得多底座台车的手术机器人可以应用在不同手术场景下,增加了手术应用场景和其摆位灵活度。
为达到上述目的,本发明提供一种位姿监测系统,应用于手术机器人系统,所述手术机器人系统包括至少两个底座,每一个所述底座上设有至少一个机械臂,所述位姿监测系统包括:
第一位姿获取模块,用于获取各所述底座的位姿信息;
第二位姿获取模块,用于获取各所述机械臂的各关节的位姿信息;以及
控制器,与所述第一位姿获取模块和所述第二位姿获取模块通信连接,用于分别根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,得到各所述机械臂的末端的位姿信息。
可选的,所述第一位姿获取模块包括磁场发生器和磁感应器:
每一个所述底座上安装有至少一个所述磁感应器;
所述磁场发生器用于在预定范围内产生交变电磁场;
所述磁感应器用于在所述电磁场中感应出相应的感应电流;
所述控制器用于基于所述感应电流计算得到所述磁感应器所在底座的位姿信息。
可选的,所述控制器用于基于所述感应电流和预先存储的位姿标定结果计算得到所述磁感应器所在底座的位姿信息。
可选的,所述磁感应器包括至少两个用于在所述电磁场中感应出相应的感应电流的磁感应线圈,所述至少两个所述磁感应线圈之间具有一定夹角。
可选的,所述第一位姿获取模块包括光学跟踪仪和光学靶标;
每一个所述底座上安装有至少一个所述光学靶标;
所述光学跟踪仪用于跟踪所述光学靶标的位姿信息;
所述控制器用于基于所述光学靶标的位姿信息计算得到所述光学靶标所在底座的位姿信息。
可选的,所述第一位姿获取模块包括图像获取单元和标记物;
每一个所述底座上设有至少两个所述标记物;
所述图像获取单元用于获取各所述底座上的所述标记物的图像信息;
所述控制器用于基于所述图像信息计算得到所述标记物所在底座的位姿信息。
可选的,操作时,所述标记物配置为以预设的频率闪烁的led灯,不同的所述标记物以不同的频率闪烁以供所述控制器识别。
可选的,至少一个所述机械臂的末端连接有手术器械,至少另一个所述机械臂的末端连接有内窥镜;
所述控制器还用于获取所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系,并根据所述手术器械的位姿信息、所述内窥镜的位姿信息以及所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系,获取所述手术器械和所述内窥镜之间的位姿映射关系。
为达到上述目的,本发明还提供一种位姿监测方法,应用于手术机器人系统,所述手术机器人系统包括至少两个底座,每一个所述底座上设有至少一个机械臂,所述位姿监测方法包括:
分别获取各所述底座的位姿信息和各所述机械臂的各关节的位姿信息;以及
分别根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,得到各所述机械臂的末端的位姿信息。
可选的,所述获取各所述底座的位姿信息,包括:
基于电磁位姿测量法、光学跟踪位姿测量法和视觉位姿测量法中的至少一者,获取各所述底座的位姿信息;
所述电磁位姿测量法基于设置在所述底座上的磁感应器所产生的感应电流,计算得到所述磁感应器所在底座的位姿信息;
所述光学跟踪位姿测量法基于设置在所述底座上的光学靶标的位姿信息,计算得到所述光学靶标所在底座的位姿信息;
所述视觉位姿测量法基于设置在所述底座上的标记物的图像信息,计算得到所述标记物所在底座的位姿信息。
可选的,至少一个所述机械臂的末端连接有手术器械,至少另一个所述机械臂的末端连接有内窥镜,所述位姿监测方法还包括:
获取所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系;以及
根据所述手术器械的位姿信息、所述内窥镜的位姿信息以及所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系,获取所述手术器械和所述内窥镜之间的位姿映射关系。
为达到上述目的,本发明还提供一种手术机器人系统,所述手术机器人系统包括至少两个底座,每一个所述底座上设有至少一个机械臂;以及上文所述的位姿监测系统。
为达到上述目的,本发明还提供一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上文所述的位姿监测方法。
与现有技术相比,本发明提供的位姿监测系统、方法、手术机器人系统和存储介质具有以下优点:本发明通过获取各底座的位姿信息,以及各所述底座上的各机械臂的各关节的位姿信息,从而可以分别根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,得到各所述机械臂的末端的位姿信息,从而可以完成对手术机器人系统多底座位姿的监测,实现了在使用多底座台车的情况下,对任一底座上的机械臂的末端的位姿进行监测,进一步可以获得各机械臂的末端的手术器械在内窥镜视野下的位姿信息,实现对多底座式手术机器人的控制,进而可以将多底座手术机器人系统应用于外科手术,突破了单底座、单手术台车的限制,由于多底座台车的摆位相对于单底座台车的摆位更加灵活,因此可以拓展手术机器人的应用场景。
附图说明
图1为本发明一实施例中的手术机器人系统的手术场景示意图;
图2为本发明一实施例中的位姿监测系统的方框结构示意图;
图3a为本发明第一种实施例中的第一位姿获取模块的方框结构示意图;
图3b为本发明第一种实施例中的第一位姿获取模块的使用状态示意图;
图3c为本发明第一种实施例中的第一位姿获取模块的测量原理示意图;
图4a为本发明第二种实施例中的第一位姿获取模块的方框结构示意图;
图4b为本发明第二种实施例中的第一位姿获取模块的使用状态示意图;
图5a为本发明第三种实施例中的第一位姿获取模块的方框结构示意图;
图5b为本发明第三种实施例中的第一位姿获取模块的使用状态示意图;
图5c为本发明第三种实施例中的标记物设置在底座上的分布示意图;
图5d为本发明第三种实施例中的第一位姿获取模块的测量原理示意图;
图6为本发明一实施例中的位姿监测方法的流程图。
其中,附图标记如下:
医生控制台-100;手术台车-200;底座-210;机械臂-220;手术器械-230;内窥镜-240;主控制臂-110;第一位姿获取模块-300;第二位姿获取模块-400;控制器-500;磁场发生器-311;磁感应器-312;磁感线-313;光学跟踪仪-321;光学靶标-322;基座靶标-323;标记物-331;图像获取单元-332。
具体实施方式
以下结合附图1至6和具体实施例对本发明提出的位姿监测系统、方法、手术机器人系统和存储介质作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需要说明的是,附图采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。为了使本发明的目的、特征和优点能够更加明显易懂,请参阅附图。须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的主要目的在于提供一种位姿监测系统、方法、手术机器人系统和存储介质,可以对手术机器人的多底座进行位姿监测,实现在使用多底座台车的情况下,对任一底座上的机械臂的末端的位姿进行监测,进而可以计算出机械臂的末端的手术器械在内窥镜视野下的位姿,实现对多底座台车的控制,使得多底座台车的手术机器人可以应用在不同手术场景下,增加了手术应用场景和其摆位灵活度。
为实现上述目的,本发明提供一种位姿监测系统,应用于手术机器人系统,请参考图1,其示意性地给出了本发明一实施例提供的手术机器人系统的手术场景示意图,如图1所示,所述手术机器人系统包括医生控制台100和手术台车200,所述手术台车200包括至少两个底座210,每一个所述底座210上设有至少一个机械臂220,所述机械臂220的末端连接有手术器械230或内窥镜240。所述医生控制台100包括主控制臂110。在手术过程中,主操作医生根据内窥镜240获取的手术环境,操作所述主控制臂110,从而控制连接于所述机械臂220末端的手术器械230实施微创伤手术,护士协助更换手术器械230以及调整手术器械230位置等辅助工作。所述手术环境的图像通过在医生控制台100处的显示装置显示。
请参考图2,其示意性地给出了本发明一实施例提供的位姿监测系统的方框结构示意图,如图2所示,所述位姿监测系统包括第一位姿获取模块300、第二位姿获取模块400和控制器500,所述第一位姿获取模块300和所述第二位姿获取模块400均与所述控制器500通信连接。所述第一位姿获取模块300用于获取各所述底座210的位姿信息;所述第二位姿获取模块400用于获取各所述机械臂220的各关节的位姿信息;所述控制器500用于分别根据各所述底座210的位姿信息和对应的所述机械臂220的各关节的位姿信息,获取/计算得到各所述机械臂220末端的位姿信息。由此通过采用本发明提供的位姿监测系统可以完成对手术机器人系统多底座210位姿的监测,实现了在使用多底座210台车的情况下,对任一底座210上机械臂220末端的位姿进行监测,进一步可以获得各机械臂220末端的手术器械在内窥镜视野下的位姿信息,实现对多底座式手术机器人的控制,进而可以将多底座手术机器人系统应用于外科手术,突破了单底座、单手术台车的限制,由于多底座台车的摆位相对于单底座台车的摆位更加灵活,因此可以拓展手术机器人的应用场景。
具体地,所述第一位姿获取模块300可以基于电磁位姿测量法、光学跟踪位姿测量法和视觉位姿测量法中的至少一者获取各所述底座210的位姿信息。
请参考图3a至图3c,其中图3a示意性地给出了本发明第一种实施例提供的第一位姿获取模块300的方框结构示意图;图3b示意性地给出了本发明第一种实施例提供的第一位姿获取模块300的使用状态示意图;图3c示意性地给出了本发明第一种实施例提供的第一位姿获取模块300的测量原理示意图。如图3a至图3c所示,在本实施例中,所述第一位姿获取模块300基于电磁位姿测量法获取各所述底座210的位姿信息。电磁位姿测量法的原理是利用线圈之间的磁场耦合关系来确定被检测对象的位置和方向参数,通过对发射线圈(磁场发生器311)施加交变电流,使其周围产生交变的电磁场,所述接收线圈(磁感应器312)感应出相应的感应电流,建立所述感应电流和所述接收线圈的位姿参数的关系方程组,通过求解所述方程组即可获取所述接收线圈(磁感应器312)的位姿信息。
如图3a和3b所示,在本实施例中,所述第一位姿获取模块300包括磁场发生器311和磁感应器312。其中,每一个所述底座210上安装有至少一个所述磁感应器312,所述磁场发生器311用于在预定范围内产生交变电磁场;所述磁感应器312用于在所述电磁场中感应出相应的感应电流;所述控制器500用于基于所述感应电流计算得到所述磁感应器312所在底座210的位姿信息。
由于所述底座210主要在水平方向运动,因此本发明中只需获取所述底座210在水平方向的位姿信息即可。如图3b和3c所示,在本实施例中,每一个所述磁感应器312均包括两个互成一定角度α,例如α=90°的磁感应线圈,所述磁感应线圈用于在所述磁场中感应出相应的感应电流,以实时监测所述底座210处在若干方向的磁感应强度。基于所述磁场发生器311所产生的磁场定义坐标系的x轴和y轴,其中x轴与磁感线313平行,y轴垂直于所述磁感线313。当所述磁场的磁感线313穿过所述磁感应器312a的两个磁感应线圈时,两个磁感应线圈各产生一个感应电流(模拟信号),分别为ix和iy,通过对所述感应电流ix和iy进行模数转换即可得到两个磁感应线圈的磁感应值(数字信号),将所述磁感应值与预先存储的位姿标定结果(磁感应值和位姿之间的对应关系)进行对比,即可得到所述磁感应器312a的位姿信息(位置信息(x1,y1)和姿态(与磁场之间的夹角)),根据所述磁感应器312a与所述底座210a之间的预定位置关系,即可得到所述底座210a的位姿信息。同理可以获得所述磁感应器312b的位姿信息(位置(x2,y2)和姿态(与磁场之间的夹角)),根据所述磁感应器312b与所述底座210b之间的位置关系,即可得到所述底座210b的位姿信息。需要说明的是,为了提高测量精度,在一些实施例中,所述磁感应器312可以包括多个磁感应线圈。
优选的,所述磁场发生器311安装在手术室内的合适位置,以在预定范围内产生电磁场,如磁感线313,以此可建立固定的参考坐标系。为了避免电磁干扰,可以通过施加不同电流形式的激励信号来获得特定的磁场,实现定制化磁场,避免电磁干扰。
请参考图4a和图4b,其中图4a示意性地给出了本发明第二种实施例提供的第一位姿获取模块300的方框结构示意图;图4b示意性地给出了本发明第二种实施例提供的第一位姿获取模块300的使用状态示意图。如图4a和图4b所示,在本实施例中,所述第一位姿获取模块300基于光学跟踪位姿测量法获取各所述底座210的位姿信息。光学跟踪位姿测量法的原理是被检测对象上固定特殊的反光标志(光学靶标322),利用固定在特定区域的摄像机(光学跟踪仪321)发射特殊光线,光线经过反光标志反射后,重新被摄像机接收,并且上传到计算机中进行图像处理,进而得到被检测对象的位姿信息。
如图4a和图4b所示,所述第一位姿获取模块300包括光学跟踪仪321和光学靶标322。其中每一个所述底座210上安装有至少一个所述光学靶标322;所述光学跟踪仪321用于向各所述底座210上的所述光学靶标322发射光线,并接收由所述光学靶标322反射回来的反射光,以跟踪所述光学靶标322的位姿信息;所述控制器500用于基于所述光学靶标322的位姿信息计算得到所述光学靶标322所在底座210的位姿信息。利用所述光学靶标进行位姿识别,例如可采用ndi的光学定位跟踪系统,其主要原理为:由红外发射器发射特定波长的红外光,红外光遇到靶标上的反光球进行反射,并通过双目红外摄像头接收到反射光,从而识别空间中各个反光球的距离信息。靶标是反光球的组合,即包括多个反光球,例如三个以上反光球,并且靶标的主体设计为不规则四边形,多个反光球位于主体不同位置处,该主体边长角度的不同组合决定该靶标的身份信息,因此,通过图像识别算法识别出各个反光点组成的四边形,便可以确定该靶标的身份,进而可以算出该靶标的空间姿态/位姿。
如图4b所示,当所述光学跟踪仪321向位于所述底座210a上的所述光学靶标322a发射光线时,照射至所述光学靶标322a上的光线会发生反射,所述光学跟踪仪321接收反射回来的反射光后经中央处理器500处理获得所述底座210a的位姿信息,由于所述光学靶标322a与所述底座210a之间的位置关系是已知的,由此根据所述光学靶标322a的位姿信息,即可获取所述底座210a的位姿信息。同理,可以获得光学靶标322b的位姿信息,由于所述光学靶标322b与所述底座210b之间的位置关系是已知的,由此根据所述光学靶标322b的位姿信息,即可获取所述底座210b的位姿信息。为了获取所述光学靶标322a、322b的位姿变换,可通过基座靶标323所建立的基坐标系确定所述光学靶标322在基坐标系下的位姿,该基坐标系与机器人系统坐标系之间的转换关系是固定且已知的,因此,可将光学靶标322的位姿变换转换为底座210的位姿变换。
请参考图5a至图5d,其中图5a示意性地给出了本发明第三种实施例提供的第一位姿获取模块300的方框结构示意图;图5b示意性地给出了本发明第三种实施例提供的第一位姿获取模块300的使用状态示意图;图5c示意性地给出了标记物331设置在底座210上的分布示意图;图5d示意性地给出了本发明第三种实施例提供的第一位姿获取模块300的测量原理示意图。如图5a至图5d所示,在本实施例中,所述第一位姿获取模块300基于视觉位姿测量法获取各所述底座210的位姿信息。视觉位姿测量法是以机器视觉为基础的测量技术,通过获取被测物体的图像信息,对图像信息进行处理后获得被测物体的姿态及位姿信息。视觉位姿测量法根据摄像机的数目分为单目视觉测量和双目(多目)视觉测量,单目视觉测量相对双目测量具有系统结构简单、相机标定步骤简明、测量视场范围广、同名像点匹配容易、成本低以及测量实时效率高等优点。
其中,双目视觉测量法是基于视差原理,利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。在机器视觉系统中,双目视觉一般由双摄像机从不同角度同时获取被测物体的两幅数字图像,或有由单摄像机在不同时刻从不同角度获取被测物体的两幅数字图像,并基于视差原理即可恢复出被测物体的三维几何信息,重建被测物体的三维形状与位置。具体地,双目立体视觉是由三角法原理进行三维信息的获取,即由两个摄像机的图像平面和被测物体之间构成一个三角形。已知两个摄像机之间的位置关系,便可以获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。双目视觉测量法为现有技术,因此其更详细的内容在此不再详述。
单目视觉测量是通过分析采集图像上目标特征点的图像信息和已知空间目标特征点的物理信息来测量被测物体的位姿以及运动变化。单目视觉位姿测量通过先验知识作为约束条件,分为合作目标和非合作目标两种方式,非合作目标是利用自身特征解算位姿信息,此类方法对被测物体形状有要求、灵活性好但精度不高。合作目标是在被测物体上提供特征标记点,用来确定空间位置关系,求解被测物体与摄像机之间位置和姿态信息,此类方法稳定性强且精度高。根据提供的特征不同可分为基于点特征、直线特征以及高级几何特征。其中基于点特征的单目位姿测量的核心内容是目标特征提取与匹配和位姿解算。目标提取与匹配主要包括标记点的设计、识别、中心定位和同名标记点匹配,常见的标记点形状有圆形、十字形、方形等。标记点的匹配是对标记点进行编码解码得到唯一的身份信息,编码标记点的种类分为颜色信息类标记点、圆环标记点、环绕式标记点等形式。关于单目视觉测量法的更详细的内容可参阅硕士论文“基于单目视觉的运动物位姿测量及优化研究”,在此不再详述。
如图5a至图5d所示,本实施例是通过单目视觉位姿测量法获取各底座210的位姿信息,所述第一位姿获取模块300包括图像获取单元332和标记物331。其中,每一个所述底座210上均设有至少两个标记物331,所述图像获取单元332为单目相机,用于获取各所述底座210上的标记物331的图像信息;所述控制器用于500基于所述图像信息计算得到所述标记物311所在底座210的位姿信息。由于所述底座210和设于其上的标记物331之间的位置关系是已知的,由此根据所述标记物331的位姿信息,即可获取对应的所述底座210的位姿信息。需要说明的是,在其他一些实施例中,还可以通过双目视觉位姿测量法获取各所述底座210的位姿信息。
优选的,在本实施例中,具体操作时,所述标记物331配置为能够以预设的频率闪烁的led灯,不同的所述标记物331以不同的频率闪烁以供所述控制器500识别。具体的,所述led灯内设有控制电路板,所述控制电路板可以根据预先存储在其上的控制逻辑控制所述led灯以特定的频率闪烁,由于不同的所述标记物331能够以不同的频率闪烁,由此所述图像获取单元332可以产生对应的on和off事件,这些事件通过所述led灯的闪烁频率可以很容易与其他事件区分开,由此可以便于识别对应的标记物331,从而简化后续的位姿求解过程。
优选的,为了防止因标记物331被遮挡而影响测量效果,可以沿所述底座210的周向布置多个标记物331。如图5b所示,所述底座210a上设有多个沿其周向布置的标记物331a,所述底座210b上设有多个沿其周向布置的标记物331b。
由于本实施例中的底座210主要在水平方向内运动,因此本实施例可以通过测量每一个所述底座210的特定两个点上的标记物331的位姿信息来获取所述底座210在水平方向的位姿信息。如图5c和5d所示,对于底座210a可以选取位于同一侧的两个标记物331a1和331a2;对于底座210b可以选取位于同一侧的两个标记物331b1和331b2。通过计算,可得标记物331a1的坐标为(xa1,ya1),标记物331a2的坐标为(xa2,ya2),标记物331b1的坐标为(xb1,yb1),标记物331b2的坐标为(xb2,yb2),由此根据标记物331a1的坐标(xa1,ya1)和标记物331a2的坐标(xa2,ya2),可以得到底座210a的向量坐标为(xa1-xa2,ya1-ya2),根据所述向量坐标(xa1-xa2,ya1-ya2)即可得到底座210a的位姿信息;根据标记物331b1的坐标(xb1,yb1)和标记物331b2的坐标(xb2,yb2),可以得到底座210b的向量坐标为(xb1-xb2,yb1-yb2),根据所述向量坐标(xb1-xb2,yb1-yb2)即可得到底座210b的位姿信息。
优选的,所述第二位姿获取模块400包括设于每一个所述机械臂220的各关节上的位置传感器,例如编码器,由此通过设于每一个所述机械臂220上的各关节上的位置传感器即可获得对应的所述机械臂220的各关节的位姿信息。
优选的,返回图1所示,至少一个所述机械臂220的末端连接有手术器械230,至少另一个所述机械臂220的末端连接有内窥镜240,所述控制器500还用于获取所述手术器械230所在底座210和所述内窥镜240所在底座210之间的位姿映射关系,并根据所述手术器械230的位姿信息、所述内窥镜240的位姿信息以及所述手术器械230所在底座210和所述内窥镜240所在底座210之间的位姿映射关系,获取所述手术器械230和所述内窥镜240之间的位姿映射关系。其中,所述手术器械230的位姿信息可以根据其所在的机械臂220的末端信息得到,所述内窥镜240的位姿信息可以根据其所在的机械臂220的末端信息得到。由于,在机器人手术中,经常需要护士帮助主刀医生更换手术器械,或者是手术器械不在医生视野范围内时帮助医生将手术器械调整到视野范围内,但是由于人体腹腔是不透明的,护士无法透过腹腔壁直接观察到手术器械和内窥镜(腹腔镜)的关系,处于一种盲目尝试或者依靠经验尝试的境地,尤其是当腹腔镜是非零度镜时更为严重,而此时手术器械就有可能伤害到人体脏器,造成手术危险,尤其是脆弱脏器如心脏肝脏等附近实施手术时,更容易戳破脏器造成手术事故。本发明通过获取所述手术器械230和所述内窥镜240之间的位姿映射关系,由此,可以在需要调整手术器械230时,根据所述手术器械230和所述内窥镜240之间的相对位置关系进行调整,从而可以方便、准确地将所述手术器械230调整至内窥镜240的视场。
具体的,可以根据运动学方程,计算所述手术器械230和所述内窥镜240之间的位姿映射关系。
需要说明的是,在本发明实施例中,对所述内窥镜240以及手术器械230的种类没有特别的限制,例如所述内窥镜240可以是采集手术环境信息(包括但不限于组织器官血管信息,手术器械230、手术耗材状态信息等)的检测仪器,所述手术器械230可以是剪刀、持针钳、抓钳、电刀、电凝钳等手术用具。
在本发明实施例中,所述内窥镜240可以是3d内窥镜240,也可以是2d内窥镜240;进一步,所述内窥镜240可以是0°内窥镜240,也可以是30°内窥镜240,或者其他特定角度的内窥镜240。所述内窥镜240实际能够观察到的视场(又称视野)是一个圆锥形的立体空间结构,具体的,所述内窥镜240的视场是由所述内窥镜240进入人体的深度以及所述内窥镜240的视场角度决定,所述内窥镜240的视场角度则由所述内窥镜240自身特性(例如内窥镜240镜头角度,内窥镜240物镜组的组成、类型等)决定。针对内窥镜更详细的内容可参阅申请号为201811497442.6,发明名称为“手术机器人”的专利申请,在此不再详述。
优选的,所述位姿监测系统还包括第三位姿获取模块,所述第三位姿获取模块用于获取主控制臂110的位姿信息;所述控制器500还用于根据所述主控制臂110的位姿信息来远程控制所述机械臂220进行手术操作,即实现手术机器人的遥操作方式。
与上述的位姿监测系统相对应,本发明还提供一种位姿监测方法,应用于手术机器人系统,所述手术机器人系统包括至少两个底座,每一个所述底座上设有至少一个机械臂。请参考图6,其示意性地给出了本发明一实施例提供的位姿监测方法的流程图,如图6所示,所述位姿监测方法包括如下步骤:
步骤s1、分别获取各所述底座的位姿信息和各所述机械臂的各关节的位姿信息。
优选的,在本步骤中可以通过视觉位姿测量法、电磁位姿测量法和光学跟踪位姿测量法等技术手段中的至少一者获取各所述底座的位姿信息;
其中,所述电磁位姿测量法基于设置在所述底座上的磁感应器所产生的感应电流,计算得到所述磁感应器所在底座的位姿信息;
所述光学跟踪位姿测量法基于设置在所述底座上的光学靶标的位姿信息,计算得到所述光学靶标所在底座的位姿信息;
所述视觉位姿测量法基于设置在所述底座上的标记物的图像信息,计算得到所述标记物所在底座的位姿信息。
所述机械臂的各关节的位姿信息可通过安装于所述机械臂上的各个关节上的位置传感器进行测量得到,所述位置传感器例如为编码器等。
步骤s2、分别根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,得到各所述机械臂的末端的位姿信息。
具体的,可以根据机械臂运动学模型,利用相关参数求解机械臂的末端在对应的所述底座的坐标系中的位姿信息。关于如何根据运动学模型,求解机械臂的末端在对应的所述底座的坐标系中的位姿信息可以参考现有技术,故本发明对此不再进行赘述。
由此,本发明通过获取各底座的位姿信息,以及各所述底座上的各机械臂的各关节的位姿信息,从而可以根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,得到各所述机械臂的末端的位姿信息,从而可以完成对手术机器人系统多底座位姿的监测,实现了在使用多底座台车的情况下,对任一底座上机械臂的末端的位姿进行监测,进一步可以获得各机械臂的末端的手术器械在内窥镜视野下的位姿信息,实现对多底座式手术机器人的控制,进而可以将多底座手术机器人系统应用于外科手术,突破了单底座、单手术台车的限制,由于多底座台车的摆位相对于单底座台车的摆位更加灵活,因此可以拓展手术机器人的应用场景。
优选的,所述位姿监测方法还包括:
获取所述手术机器人系统的主控制臂的位姿信息。
由此,可以根据所述主控制臂的位姿信息来远程控制所述机械臂进行手术操作,即实现手术机器人的遥操作方式。
优选的,其中至少一个所述机械臂的末端连接有手术器械,至少另一个所述机械臂的末端连接有内窥镜,所述位姿监测方法还包括:
获取所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系;
根据所述手术器械的位姿信息、所述内窥镜的位姿信息以及所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系,获取所述手术器械和所述内窥镜之间的位姿映射关系。
由此,通过获取所述手术器械和所述内窥镜之间的位姿映射关系,可以在需要调整手术器械时,可以根据所述手术器械和所述内窥镜之间的相对位置关系信息进行调整,从而可以方便、准确地将所述手术器械调整至内窥镜的视场。
为实现上述思想,本发明还提供一种手术机器人系统,所述手术机器人系统包括至少两个底座,每一个所述底座上设有至少一个机械臂;以及上文所述的位姿监测系统。由此,本发明提供的手术机器人系统通过获取各底座的位姿信息,以及每一个所述底座上的每一个机械臂的各关节的位姿信息,从而可以根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,获取各所述机械臂的末端的位姿信息,从而可以完成对手术机器人系统多底座位姿的监测,实现了在使用多底座台车的情况下,对任一底座上的机械臂的末端的位姿进行监测,进一步可以获得各机械臂的末端的手术器械在内窥镜视野下的位姿信息,实现对多底座式手术机器人的控制,进而可以将多底座手术机器人系统应用于外科手术,突破了单底座、单手术台车的限制,由于多底座台车的摆位相对于单底座台车的摆位更加灵活,因此可以拓展手术机器人的应用场景。
为实现上述思想,本发明还提供了一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时可以实现上文所述的位姿监测方法。由此,本发明提供的存储介质通过获取各底座的位姿信息,以及各所述底座上的各机械臂的各关节的位姿信息,从而可以根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,获取各所述机械臂的末端的位姿信息,从而可以完成对手术机器人系统多底座位姿的监测,实现了在使用多底座台车的情况下,对任一底座上的机械臂的末端的位姿进行监测,进一步可以获得各机械臂的末端的手术器械在内窥镜视野下的位姿信息,实现对多底座式手术机器人的控制,进而可以将多底座手术机器人系统应用于外科手术,突破了单底座、单手术台车的限制,由于多底座台车的摆位相对于单底座台车的摆位更加灵活,因此可以拓展手术机器人的应用场景。
本发明实施例的可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如java、smalltalk、c ,还包括常规的过程式程序设计语言-诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)连接到用户计算机,或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述,与现有技术相比,本发明提供的位姿监测系统、方法、手术机器人系统和存储介质具有以下优点:本发明通过获取各底座的位姿信息,以及各所述底座上的各机械臂的各关节的位姿信息,从而可以根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,获取各所述机械臂的末端的位姿信息,从而可以完成对手术机器人系统多底座位姿的监测,实现了在使用多底座台车的情况下,对任一底座上的机械臂的末端的位姿进行监测,进一步可以获得各机械臂的末端的手术器械在内窥镜视野下的位姿信息,实现对多底座式手术机器人的控制,进而可以将多底座手术机器人系统应用于外科手术,突破了单底座、单手术台车的限制,由于多底座台车的摆位相对于单底座台车的摆位更加灵活,因此可以拓展手术机器人的应用场景。
应当注意的是,在本文的实施例中所揭露的装置和方法,也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本文的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用于执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本文各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。
1.一种位姿监测系统,应用于手术机器人系统,其特征在于,所述手术机器人系统包括至少两个底座,每一个所述底座上设有至少一个机械臂,所述位姿监测系统包括:
第一位姿获取模块,用于获取各所述底座的位姿信息;
第二位姿获取模块,用于获取各所述机械臂的各关节的位姿信息;以及
控制器,与所述第一位姿获取模块和所述第二位姿获取模块通信连接,用于分别根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,得到各所述机械臂的末端的位姿信息。
2.根据权利要求1所述的位姿监测系统,其特征在于,所述第一位姿获取模块包括磁场发生器和磁感应器;
每一个所述底座上安装有至少一个所述磁感应器;
所述磁场发生器用于在预定范围内产生交变电磁场;
所述磁感应器用于在所述电磁场中感应出相应的感应电流;
所述控制器用于基于所述感应电流计算得到所述磁感应器所在底座的位姿信息。
3.根据权利要求2所述的位姿监测系统,其特征在于,所述控制器用于基于所述感应电流和预先存储的位姿标定结果计算得到所述磁感应器所在底座的位姿信息。
4.根据权利要求2所述的位姿监测系统,其特征在于,所述磁感应器包括至少两个用于在所述电磁场中感应出相应的感应电流的磁感应线圈,所述至少两个所述磁感应线圈之间具有一定夹角。
5.根据权利要求1所述的位姿监测系统,其特征在于,所述第一位姿获取模块包括光学跟踪仪和光学靶标;
每一个所述底座上安装有至少一个所述光学靶标;
所述光学跟踪仪用于跟踪所述光学靶标的位姿信息;
所述控制器用于基于所述光学靶标的位姿信息计算得到所述光学靶标所在底座的位姿信息。
6.根据权利要求1所述的位姿监测系统,其特征在于,所述第一位姿获取模块包括图像获取单元和标记物;
每一个所述底座上设有至少两个所述标记物;
所述图像获取单元用于获取各所述底座上的所述标记物的图像信息;
所述控制器用于基于所述图像信息计算得到所述标记物所在底座的位姿信息。
7.根据权利要求6所述的位姿监测系统,其特征在于,操作时,所述标记物配置为以预设的频率闪烁的led灯,不同的所述标记物以不同的频率闪烁以供所述控制器识别。
8.根据权利要求1所述的位姿监测系统,其特征在于,至少一个所述机械臂的末端连接有手术器械,至少另一个所述机械臂的末端连接有内窥镜;
所述控制器还用于获取所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系,并根据所述手术器械的位姿信息、所述内窥镜的位姿信息以及所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系,获取所述手术器械和所述内窥镜之间的位姿映射关系。
9.一种位姿监测方法,应用于手术机器人系统,其特征在于,所述手术机器人系统包括至少两个底座,每一个所述底座上设有至少一个机械臂,所述位姿监测方法包括:
分别获取各所述底座的位姿信息和各所述机械臂的各关节的位姿信息;以及
分别根据各所述底座的位姿信息和对应的所述机械臂的各关节的位姿信息,得到各所述机械臂的末端的位姿信息。
10.根据权利要求9所述的位姿监测方法,其特征在于,所述获取各所述底座的位姿信息,包括:
基于电磁位姿测量法、光学跟踪位姿测量法和视觉位姿测量法中的至少一者,获取各所述底座的位姿信息;
所述电磁位姿测量法基于设置在所述底座上的磁感应器所产生的感应电流,计算得到所述磁感应器所在底座的位姿信息;
所述光学跟踪位姿测量法基于设置在所述底座上的光学靶标的位姿信息,计算得到所述光学靶标所在底座的位姿信息;
所述视觉位姿测量法基于设置在所述底座上的标记物的图像信息,计算得到所述标记物所在底座的位姿信息。
11.根据权利要求9所述的位姿监测方法,其特征在于,至少一个所述机械臂的末端连接有手术器械,至少另一个所述机械臂的末端连接有内窥镜,所述位姿监测方法还包括:
获取所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系;
根据所述手术器械的位姿信息、所述内窥镜的位姿信息以及所述手术器械所在底座和所述内窥镜所在底座之间的位姿映射关系,获取所述手术器械和所述内窥镜之间的位姿映射关系。
12.一种手术机器人系统,其特征在于,包括至少两个底座,每一个所述底座上设有至少一个机械臂;以及
如权利要求1至8中任一项所述的位姿监测系统。
13.一种可读存储介质,其特征在于,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求9至11中任一项所述的位姿监测方法。
技术总结