本发明涉及计算光学、计算摄像学、计算机视觉和计算机图形学,更具体的说是涉及一种无扫描的高分辨率四维光场显微成像方法及系统。
背景技术:
1、目前,光场显微成像在单次曝光下即可采集场景的三维信息,使得生物活体三维高速成像成为可能,成为进一步推动生命科学和脑科学领域发展的重要利器。
2、现有技术中光场显微成像是将微透镜阵列置入显微镜的像面位置,并将传感器平面后移到微透镜的焦距位置,通过成像结果在空间上的重新排列,将二维光场采集原始图转换为二维空间和二维角度,并通过二维机械扫描提高二维空间分辨率。如果不使用二维机械扫描,那么原本二维空间和二维角度的复用将成角度数量倍地降低空间采样率,使得三维成像地空间分辨率不足。而如果使用二维机械扫描,那么三维成像的时间分辨率就会下降扫描周期倍。所以现有技术无法实现四维高分辨率(三维空间,一维时间)成像。
3、因此,针对(扫描)光场显微镜存在的时间、空间分辨率难以兼顾的问题,如何提供一种无扫描的四维高分辨率光场显微成像方法及系统是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此,本发明提供了一种无扫描的四维高分辨率光场显微成像方法及系统,无扫描光场空间分辨率增强网络将输入高帧率低分辨率采集光场视频恢复为高帧率高分辨率光场视频,然后经过解卷积三维重建得到三维体,以此实现泛化性好、适用范围广并且低成本的无扫描光场四维(三维空间,一维时间)高分辨率重建,同时兼顾了高时间和空间分辨率。
2、为了实现上述目的,本发明采用如下技术方案:
3、一种无扫描的高分辨率四维光场显微成像方法,包括:
4、以静态样本为目标多次曝光,获取训练数据;
5、将训练数据输入至无扫描光场空间分辨率增强网络中,将输入的低空间分辨率静态光场图像重新排列为宏像素图像和相空间图像,分别提取宏像素图像的宏像素特征和相空间图像的相空间特征,并将宏像素特征和相空间特征进行融合后输出重建结果,并通过高空间分辨率光场数据训练无扫描光场空间分辨率增强网络;
6、将无扫描高帧率低空间分辨率活体动态光场图像输入训练后的无扫描光场空间分辨率增强网络,得到高帧率高空间分辨率的活体动态光场视频;
7、对高帧率高空间分辨率的活体动态光场视频进行三维解卷积并进行三维重建,得到四维高分辨率三维体重建视频。
8、优选地,训练数据具体获取过程为:
9、对静态样本进行多次曝光,采集高空间分辨率光场数据并将其作为真值;
10、从高分辨率光场数据中抽取单次曝光的低空间分辨率静态光场图像,形成配对的训练数据。
11、优选地,三维重建方法包括迭代优化的重建方法或通过深度三维重建网络实现。
12、一种无扫描的高分辨率四维光场显微成像系统,包括:
13、数据采集模块:用于以静态样本为目标多次曝光,获取训练数据;
14、网络训练模块:用于将训练数据输入至无扫描光场空间分辨率增强网络中,将输入的低空间分辨率静态光场图像重新排列为宏像素图像和相空间图像,分别提取宏像素图像的宏像素特征和相空间图像的相空间特征,并将宏像素特征和相空间特征进行融合后输出重建结果,并通过高空间分辨率光场数据训练无扫描光场空间分辨率增强网络;
15、网络推理模块:用于将无扫描高帧率低空间分辨率活体动态光场图像输入训练后的无扫描光场空间分辨率增强网络,得到高帧率高空间分辨率的活体动态光场视频;
16、三维重建模块:用于对高帧率高空间分辨率的活体动态光场视频进行三维解卷积并进行三维重建,得到四维高分辨率三维体重建视频。
17、优选地,训练数据具体获取过程为:
18、对静态样本进行多次曝光,采集高空间分辨率光场数据并将其作为真值;
19、从高分辨率光场数据中抽取单次曝光的低空间分辨率静态光场图像,形成配对的训练数据。
20、优选地,三维重建方法包括迭代优化的重建方法或通过深度三维重建网络实现。
21、经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种无扫描的四维高分辨率光场显微成像方法及系统,具有以下优点:
22、1)本发明将光场的重建过程解耦为空间分辨率的恢复和三维重建的映射,实现高时间和空间分辨率的光场显微成像。
23、2)区别于扫描光场显微镜需要复杂的机械控制,并且容易受到样本剧烈运动的影响产生运动伪影,本发明无需复杂且昂贵的硬件附加,分辨率高且成本低。
24、3)区别于基于深度学习的光场图像端到端三维重建(目前基于深度学习的光场三维重建技术从光场端直接映射到三维重建,一方面数据差异非常大,另一方面真实的训练数据在大多数场景下无法获取,导致严重依赖于仿真数据进行网络训练,在实际应用中,适用范围有限),本发明只将网络的作用范围限制在光场的数据域上,输入和输出都是光场,只是分辨率不同,因此数据差异较小,网络建模更容易,解释性更强,并且训练数据只用到了光场图像,因此可以适用于更多的观测场景中。
1.一种无扫描的高分辨率四维光场显微成像方法,其特征在于,包括:
2.根据权利要求1所述的一种无扫描的高分辨率四维光场显微成像方法,其特征在于,训练数据具体获取过程为:
3.根据权利要求1所述的一种无扫描的高分辨率四维光场显微成像方法,其特征在于,三维重建方法包括迭代优化的重建方法或通过深度三维重建网络实现。
4.一种无扫描的高分辨率四维光场显微成像系统,其特征在于,包括:
5.根据权利要求4所述的一种无扫描的高分辨率四维光场显微成像系统,其特征在于,训练数据具体获取过程为:
6.根据权利要求4所述的一种无扫描的高分辨率四维光场显微成像系统,其特征在于,三维重建方法包括迭代优化的重建方法或通过深度三维重建网络实现。
