本发明涉及人工智能，尤其涉及一种基于语义关键点的胸腔镜投影方法、装置、设备及介质。
背景技术：
1、胸外科最常用的术式是电视辅助胸腔镜手术(video-assisted thoracicsurgery，vats)，它将电子数字影像技术和信息技术与传统外科医学模式融合成一体，外科医生会在vats过程中将微型摄像机和手术工具通过胸壁上的一个或多个小切口插入胸腔，通过微型摄像系统将人体脏器毗邻组织和形态结构以图像传输到监视器屏幕上，手术医生通过纽扣式切口插入腔镜器械解剖和分离组织，完成手术。目前辅助vats的技术有很多，包括ct(computed tomography)扫描后使用3d重建技术重建3d胸廓视图来展示解剖结构，以及借助医学信息和影像数据等建立病人的3d肺部模型，帮助医生了解病人手术特点和毗连区域情况，也有基于ar(augmented reality，增强现实)的电视辅助胸腔镜的教学系统，以此培养新手医生。
2、胸腔镜辅助手术要求医生对解剖结构有很高的熟悉程度。然而，年轻医生在解剖结构的认识和理解上往往不如经验丰富的医生，这就使得他们在掌握vats时面临较大困难。使用3d重建技术和3d打印技术虽然可以帮助医生更好的了解人体结构，但是在手术进行中时却起不到帮助效果；使用ar的电视辅助胸腔镜教学系统虽然也可以起到培养新手医生的作用，但是针对不同的手术场景都需要耗费大量的成本进行适配。
技术实现思路
1、本发明提供一种基于语义关键点的胸腔镜投影方法、装置、设备及介质，用以解决现有技术中使用3d重建技术和3d打印技术虽然可以帮助医生更好的了解人体结构，但是在手术进行中时却起不到帮助效果；使用ar的电视辅助胸腔镜教学系统虽然也可以起到培养新手医生的作用，但是针对不同的手术场景都需要耗费大量的成本进行适配的缺陷。
2、本发明提供一种基于语义关键点的胸腔镜投影方法，包括：
3、获取胸腔镜图像、肺部图像，以及交互语音内容，并基于所述交互语音内容，确定语义关键点；
4、将所述胸腔镜图像、所述肺部图像和所述语义关键点输入至胸腔镜智能配准模型中，得到所述胸腔镜智能配准模型输出的胸腔镜投影关键点匹配结果；
5、所述胸腔镜智能配准模型包括胸腔镜分割模型、肺部三维重建模型、匹配模块和语音指令投影模块；
6、所述胸腔镜分割模型用于对所述胸腔镜图像进行图像分割，得到胸腔镜图像分割结果；
7、所述肺部三维重建模型用于对所述肺部图像进行三维重建，得到三维重建结果；
8、所述匹配模块用于将所述胸腔镜图像分割结果对应的二维关键点与所述三维重建结果进行匹配，得到胸腔镜投影关键点匹配结果；
9、所述语音指令投影模块用于输出所述语义关键点对应的胸腔镜投影关键点匹配结果。
10、根据本发明提供的一种基于语义关键点的胸腔镜投影方法，所述胸腔镜分割模型包括第一分割模型和第二分割模型；
11、所述第一分割模型用于对所述胸腔镜图像进行粗略分割，得到所述胸腔镜图像的感兴趣区域；
12、所述第二分割模型用于对所述感兴趣区域进行精细分割，得到所述胸腔镜图像分割结果。
13、根据本发明提供的一种基于语义关键点的胸腔镜投影方法，所述第一分割模型为mask r-cnn模型；
14、所述第二分割模型为u-net模型。
15、根据本发明提供的一种基于语义关键点的胸腔镜投影方法，所述肺部三维重建模型包括预处理模块、确定三维表示模块和三维重建模块；
16、所述预处理模块用于对所述肺部图像依次进行归一化、平滑处理和空间对齐，得到预处理肺部图像；
17、所述确定三维表示模块用于确定所述预处理肺部图像的三维表示；
18、所述三维重建模块用于基于所述三维表示，确定所述三维重建结果。
19、根据本发明提供的一种基于语义关键点的胸腔镜投影方法，所述基于所述交互语音内容，确定语义关键点，包括：
20、对所述交互语音内容进行语音识别，得到交互文本；
21、从所述交互文本中确定出所述语义关键点。
22、根据本发明提供的一种基于语义关键点的胸腔镜投影方法，所述胸腔镜图像分割结果对应的二维关键点的确定步骤包括：
23、对所述胸腔镜图像分割结果进行特征检测，得到所述胸腔镜图像分割结果对应的二维关键点。
24、根据本发明提供的一种基于语义关键点的胸腔镜投影方法，所述特征检测的算法包括yolov8算法和sift算法中的任意一种。
25、本发明还提供一种基于语义关键点的胸腔镜投影装置，包括：
26、获取单元，用于获取胸腔镜图像、肺部图像，以及交互语音内容，并基于所述交互语音内容，确定语义关键点；
27、输入单元，用于将所述胸腔镜图像、所述肺部图像和所述语义关键点输入至胸腔镜智能配准模型中，得到所述胸腔镜智能配准模型输出的胸腔镜投影关键点匹配结果；
28、所述胸腔镜智能配准模型包括胸腔镜分割模型、肺部三维重建模型、匹配模块和语音指令投影模块；
29、所述胸腔镜分割模型用于对所述胸腔镜图像进行图像分割，得到胸腔镜图像分割结果；
30、所述肺部三维重建模型用于对所述肺部图像进行三维重建，得到三维重建结果；
31、所述匹配模块用于将所述胸腔镜图像分割结果对应的二维关键点与所述三维重建结果进行匹配，得到胸腔镜投影关键点匹配结果；
32、所述语音指令投影模块用于输出所述语义关键点对应的胸腔镜投影关键点匹配结果。
33、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于语义关键点的胸腔镜投影方法。
34、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于语义关键点的胸腔镜投影方法。
35、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于语义关键点的胸腔镜投影方法。
36、本发明提供的基于语义关键点的胸腔镜投影方法、装置、设备及介质，将胸腔镜图像、肺部图像和语义关键点输入至胸腔镜智能配准模型中，得到胸腔镜智能配准模型输出的胸腔镜投影关键点匹配结果，胸腔镜智能配准模型包括胸腔镜分割模型、肺部三维重建模型、匹配模块和语音指令投影模块。一方面，结合了医生术中的交互语音内容中涵盖的语义关键点信息，就可以根据该语义关键点定位具体的解剖结构部位，从而提高胸腔镜投影的准确率；另一方面，通过对语义关键点、胸腔镜投影关键点匹配结果的多模态信息的融合，可以对单一模态信息进行补充，从而提高胸腔镜投影的准确性和可靠性。
1.一种基于语义关键点的胸腔镜投影方法，其特征在于，包括：
2.根据权利要求1所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述胸腔镜分割模型包括第一分割模型和第二分割模型；
3.根据权利要求2所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述第一分割模型为mask r-cnn模型；
4.根据权利要求1所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述肺部三维重建模型包括预处理模块、确定三维表示模块和三维重建模块；
5.根据权利要求1至4中任一项所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述基于所述交互语音内容，确定语义关键点，包括：
6.根据权利要求1至4中任一项所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述胸腔镜图像分割结果对应的二维关键点的确定步骤包括：
7.根据权利要求6所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述特征检测的算法包括yolov8算法和sift算法中的任意一种。
8.一种基于语义关键点的胸腔镜投影装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于语义关键点的胸腔镜投影方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于语义关键点的胸腔镜投影方法。
