本公开涉及医学图像处理，更具体地涉及一种图像融合处理系统、图像融合处理方法、装置、电子设备和存储介质。
背景技术：
1、医用内窥镜是一种医疗检查中必不可少的医疗仪器，可以用它来检查人体内脏器官的健康状况.一定程度上提高了医疗诊疗过程中的准确性。近年来，随着对医疗质量的不断重视，对医用内窥镜的技术要求也越来越高，但是目前较为广泛应用的医用内窥镜还存在亟待优化的问题。首先内窥镜回传的图像，其清晰度，分辨率及画质噪声都不尽人意，目前普遍追求的是超高清内窥镜图像，具有4k分辨率，是传统高清内窥镜的4倍，能够观察到细微血管、神经及筋膜层次及难以探查的病变区等，但其图像cmos(complementary metaloxide semiconductor互补金属氧化物半导体，集成电路芯片)尺寸较大，结构设计复杂。其次在当前普遍使用的内窥镜图像处理系统中，一般情况下获取的图像和视频都是二维的，二维图像只能表示出某个断层的信息，缺少了目标区域的深度信息，在观察时看不出不同组织间相互的深度位置关系，并不能够提供人体内部器官和组织的结构，医生通过二维的图像和视频只能根据自己的主观经验，估计病灶形态结构以及病灶与其周围组织间相互的关系，容易造成偏差，降低了手术过程中的准确性和安全性，给诊疗过程中带来了很多不方便和不确定性。因此，三维内窥镜是医生的一种不可替代的选择，三维内窥镜的技术重点在于3d显示技术，3d显示的过程也就是模拟人体眼睛的立体视觉形成的过程，人的左右眼对同一个物体产生具有不同角度的图像，也就是空间物体在人左右眼的视网膜上形成的像是略有差异的，即双目视差，然后左眼和右眼获取到的不同图像传送至大脑，经过大脑的合成，产生立体感，不仅能感受到物体与我们自身的距离，也能够感受到物体之间的距离。然后，近年来，一种应用激光固有荧光光谱技术的新型诊断设备—荧光内窥镜成像系统开始作为一种临床诊断手段被广大医生认可。它依据人体组织固有荧光光谱特征自动识别、诊断，可立即提示被测组织是否为正常组织，可鉴别被测组织的良恶性病变，提高早期癌和异型增生的诊断率。该类系统可呈现led可见光和近红外激光双光源的内窥镜影像，与荧光造影剂吲哚菁绿(icg)配合使用可提供高清白光、黑白荧光和绿色荧光3种成像模式。
2、如何在不增加结构设计复杂度的基础上，通过图像处理方法实现集超高清、大景深、荧光融合标记为一体的内窥镜图像处理系统是一个巨大挑战。
技术实现思路
1、鉴于上述问题，本公开提供了一种图像融合处理系统、图像融合处理方法、装置、电子设备和存储介质。
2、根据本公开的第一个方面，提供了一种图像融合处理系统，所述系统包括：图像采集设备；其中，所述图像采集设备包括具有双互补金属氧化物半导体cmos的内窥镜摄像头，所述具有双互补金属氧化物半导体cmos的内窥镜摄像头为第一路互补金属氧化物半导体cmos配置只透白光的滤光片、第二路互补金属氧化物半导体cmos配置可同时透白光和荧光的双透过滤光片；以及控制器，配置为控制白光光源开启，以使所述图像采集设备进行采集获取与所述第一路互补金属氧化物半导体cmos对应的多个第一白光图像和与所述第二路互补金属氧化物半导体cmos对应的多个第二白光图像，并根据所述多个第一白光图像和所述多个第二白光图像生成多个三维立体白光图像；控制荧光光源开启，以使所述图像采集设备进行采集获取与所述第一路互补金属氧化物半导体cmos对应的多个第三白光图像和与所述第二路互补金属氧化物半导体cmos对应的多个白光与荧光混合图像，并根据所述多个第三白光图像和所述多个白光与荧光混合图像生成多个三维立体融合图像；对所述多个三维立体白光图像和/或所述多个三维立体融合图像进行图像的合并处理以得到视频序列。
3、根据本公开的实施例，所述控制器被配置为执行以下步骤来生成所述三维立体白光图像：步骤s11，控制所述白光光源开启；步骤s12，控制所述图像采集设备进行采集获取与所述第一路互补金属氧化物半导体cmos对应的一个第一白光图像和与所述第二路互补金属氧化物半导体cmos对应的一个第二白光图像；步骤s13，对所述第一白光图像和所述第二白光图像进行立体匹配处理，获取第一立体匹配变换参数；以及步骤s14，根据所述第一立体匹配变换参数，对所述第一白光图像和所述第二白光图像分别进行放射变换处理得到两个第一目标图像，并对所述两个第一目标图像进行立体合成得到所述三维立体白光图像。
4、根据本公开的实施例，所述控制器被配置为执行以下步骤来生成所述三维立体融合图像：步骤s21，控制所述荧光光源开启；步骤s22，控制所述图像采集设备进行采集获取与所述第一路互补金属氧化物半导体cmos对应的一个第三白光图像和与所述第二路互补金属氧化物半导体cmos对应的一个白光与荧光混合图像；步骤s23，对所述第三白光图像和所述白光与荧光混合图像进行图像配准处理，得到两个融合图像；步骤s24，对所述两个融合图像进行立体匹配处理，获取第二立体匹配变换参数；步骤s25，根据所述第二立体匹配变换参数，对所述两个融合图像分别进行放射变换处理得到两个第二目标图像，并对所述两个第二目标图像进行立体合成得到所述三维立体融合图像。
5、根据本公开的实施例，所述步骤s23，对所述第三白光图像和所述白光与荧光混合图像进行图像配准处理，得到两个融合图像，包括：步骤s2311，以所述第三白光图像为基准，计算所述白光与荧光混合图像相对于所述第三白光图像的第一配准参数；步骤s2321，以所述白光与荧光混合图像为基准，计算所述第三白光图像相对于所述白光与荧光混合图像的第二配准参数；步骤s2322，基于所述第三白光图像，根据所述第二配准参数，计算与所述白光与荧光混合图像对应的目标白光图像；步骤s2323，将所述白光与荧光混合图像与所述目标白光图像进行差分运算，得到第一目标荧光图像，并获取所述目标白光图像；步骤s2324，将所述第一目标荧光图像与所述目标白光图像进行图像融合，以得到所述两个融合图像中的一个第一融合图像；步骤s2312，基于所述第一目标荧光图像，根据所述第一配准参数，计算与所述第三白光图像对应的第二目标荧光图像；步骤s2313，将所述第三白光图像与所述第二目标荧光图像进行图像融合，以得到所述两个融合图像中的一个第二融合图像。
6、根据本公开的第二个方面，提供了一种图像融合处理方法，包括：获取由目标图像采集设备在白光光源开启条件下所采集得到的与第一路互补金属氧化物半导体cmos对应的多个第一白光图像和与第二路互补金属氧化物半导体cmos对应的多个第二白光图像；根据所述多个第一白光图像和所述多个第二白光图像生成多个三维立体白光图像；获取由目标图像采集设备在荧光光源开启条件下所采集得到的与第一路互补金属氧化物半导体cmos对应的多个第三白光图像和与第二路互补金属氧化物半导体cmos对应的多个白光与荧光混合图像；根据所述多个第三白光图像和所述多个白光与荧光混合图像生成多个三维立体融合图像；以及对所述多个三维立体白光图像和/或所述多个三维立体融合图像进行图像的合并处理以得到视频序列；其中，所述目标图像采集设备包括具有双互补金属氧化物半导体cmos的内窥镜摄像头，所述具有双互补金属氧化物半导体cmos的内窥镜摄像头为第一路互补金属氧化物半导体cmos配置只透白光的滤光片、第二路互补金属氧化物半导体cmos配置可同时透白光和荧光的双透过滤光片。
7、根据本公开的实施例，所述根据所述多个第一白光图像和所述多个第二白光图像生成多个三维立体白光图像，包括：对所述多个第一白光图像和所述多个第二白光图像中的一对第一白光图像和第二白光图像进行立体匹配处理，获取第一立体匹配变换参数；以及根据所述第一立体匹配变换参数，对所述第一白光图像和所述第二白光图像分别进行放射变换处理得到两个第一目标图像，并对所述两个第一目标图像进行立体合成得到所述三维立体白光图像。
8、根据本公开的实施例，所述根据所述多个第三白光图像和所述多个白光与荧光混合图像生成多个三维立体融合图像，包括：对所述多个第三白光图像和所述多个白光与荧光混合图像中的一对第三白光图像和白光与荧光混合图像进行图像配准处理，得到两个融合图像；对所述两个融合图像进行立体匹配处理，获取第二立体匹配变换参数；根据所述第二立体匹配变换参数，对所述两个融合图像分别进行放射变换处理得到两个第二目标图像，并对所述两个第二目标图像进行立体合成得到所述三维立体融合图像。
9、本公开的第三方面提供了一种图像融合处理装置，包括：第一获取模块，用于获取由目标图像采集设备在白光光源开启条件下所采集得到的与第一路互补金属氧化物半导体cmos对应的多个第一白光图像和与第二路互补金属氧化物半导体cmos对应的多个第二白光图像；第一生成模块，用于根据所述多个第一白光图像和所述多个第二白光图像生成多个三维立体白光图像；第二获取模块，用于获取由目标图像采集设备在荧光光源开启条件下所采集得到的与第一路互补金属氧化物半导体cmos对应的多个第三白光图像和与第二路互补金属氧化物半导体cmos对应的多个白光与荧光混合图像；第二生成模块，用于根据所述多个第三白光图像和所述多个白光与荧光混合图像生成多个三维立体融合图像；以及合并处理模块，用于对所述多个三维立体白光图像和/或所述多个三维立体融合图像进行图像的合并处理以得到视频序列；其中，所述目标图像采集设备包括具有双互补金属氧化物半导体cmos的内窥镜摄像头，所述具有双互补金属氧化物半导体cmos的内窥镜摄像头为第一路互补金属氧化物半导体cmos配置只透白光的滤光片、第二路互补金属氧化物半导体cmos配置可同时透白光和荧光的双透过滤光片。
10、本公开的第四方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述公开的方法。
11、本公开的第五方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述公开的方法。
1.一种图像融合处理系统，所述系统包括：
2.根据权利要求1所述的系统，其中，所述控制器被配置为执行以下步骤来生成所述三维立体白光图像：
3.根据权利要求1所述的系统，其中，所述控制器被配置为执行以下步骤来生成所述三维立体融合图像：
4.根据权利要求3所述的系统，其中，所述步骤s23，对所述第三白光图像和所述白光与荧光混合图像进行图像配准处理，得到两个融合图像，包括：
5.一种图像融合处理方法，包括：
6.根据权利要求5所述的方法，其中，所述根据所述多个第一白光图像和所述多个第二白光图像生成多个三维立体白光图像，包括：
7.根据权利要求5所述的方法，其中，所述根据所述多个第三白光图像和所述多个白光与荧光混合图像生成多个三维立体融合图像，包括：
8.一种图像融合处理装置，包括：
9.一种电子设备，包括：
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求5～7任一项所述的方法。
