本申请属于医学图像处理技术领域,特别涉及一种医学图像降噪方法、系统、终端以及存储介质。
背景技术:
图像去噪问题由来已久。随着深度学习在很多领域的应用都取得了超越传统方法的成绩之后,深度学习在图像去噪问题上也已经产生了很多应用,取得了很大的进步。而深度学习中的生成对抗网络(gan),由于其巧妙的结构,优异的性能,也越来越多的被应用于医学图像的去噪问题。
以pet(positronemissiontomography,正电子发射计算机断层成像)图像为例,pet是ect(emissioncomputedtomography,辐射断层成像)的一种。其基本工作原理为,首先将放射性示踪剂注射进入人体的循环系统,然后使用探测器收集湮灭个光子对,从而能够根据不同组织中放射性示踪剂不同成分的浓度形成的亮度差异,区分人体不同组织的活性强度,可以无创的提供三维的功能、代谢和受体显像影像——多模态成像(multi-modalityimaging)。然而,大量的pet辐射剂量的累计效应,大幅度增加各种疾病发生的可能性,进而影响人体生理机能,破坏人体组织器官,甚至危害到患者的生命安全。合理应用低剂量pet成像技术需要在满足pet图像的临床诊断要求下,同时尽可能的降低辐射剂量对患者的影响,因此,研究和开发低剂量条件下成像质量更高的pet成像,对于目前的医疗领域有着重要的科学意义和广阔的应用前景。
2018年,y.wang等人在elsevier公司的neuroimage期刊上发表了文章“3dconditionalgenerativeadversarialnetworksforhigh-qualitypetimageestimationatlowdose”,将条件生成对抗网络(conditionalgan)应用于从脑部低剂量pet图像估计高质量pet图像。该技术处理的是成对图像,即一张低剂量pet图像(含噪低质量图像)和一张高剂量pet图像(高质量图像)。其中低剂量pet图像作为生成对抗网络中生成器的输入以及判别器的条件,而高剂量pet图像作为有监督学习中的“标签”输入判别器,对其进行训练。
2019年,yanglei等人在iop的phys.med.biol期刊上发表了文章“whole-bodypetestimationfromlowcountstatisticsusingcycle-consistentgenerativeadversarialnetworks”,将循环生成对抗网络(cyclegan)应用于从全身低剂量pet图像估计高质量pet图像。循环生成对抗网络主要包括两个生成对抗网络,一个生成对抗网络是从低剂量pet图像获得去噪后的pet图像,另一个生成对抗网络在相反的方向,将第一个生成对抗网络得到的去噪后的pet图像作为输入,获得和原始低剂量pet图像尽可能接近的含噪声pet图像。除了原始生成对抗网络的损失函数外,循环生成对抗网络增加了原始低剂量pet图像与生成的含噪声pet图像之间的损失函数,以及原始高质量pet图像与生成的去噪后的pet图像之间的损失函数(这两个损失函数也被称为循环一致损失函数),以保证整个网络的循环一致性。原始的循环生成对抗网络是用来处理非成对图像的,即低剂量pet图像与高质量pet图像之间不是一一对应的。
然而,上述的使用生成对抗网络解决pet图像去噪问题的方案大多是将计算机视觉问题中提出的结构简单地移植过来。而实际上,原始的生成对抗网络的目标主要是图像风格转换,或是将语义分割或实例分割掩模版转换为真实的图像,并不能很好的应用于图像去噪。另外,由于生成对抗网络最初是“无监督”或“弱监督”的,要想达到纳什均衡,需要模型的反复“试错”,造成了模型训练的不稳定以及难以收敛。同时,现有基于生成对抗网络的低剂量pet图像去噪模型的泛化性能较差。
技术实现要素:
本申请提供了一种医学图像降噪方法、系统、终端以及存储介质,旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题,本申请提供了如下技术方案:
一种医学图像降噪方法,包括:
获取标准剂量pet图像和常值图像;
将所述标准剂量pet图像和常值图像分别输入衰减函数,得到对应的低剂量含噪pet图像和含噪常值图像;
将所述低剂量含噪pet图像和含噪常值图像在宽度维或高度维上进行拼接后,输入到训练好的共轭生成对抗网络中,通过所述共轭生成对抗网络输出去噪后的pet图像和常值图像。
本申请实施例采取的技术方案还包括:所述共轭生成对抗网络包括生成器和判别器;
所述生成器包括反射式填充层、卷积层、实例归一化层、非线性层、残差模块、上采样层以及非线性层;
所述判别器是一个卷积神经网络分类器,所述判别器包括卷积层、实例归一化层以及非线性层。
本申请实施例采取的技术方案还包括:所述生成器包括特征提取和图像重建两个部分;
在所述特征提取部分,首先,使用填充层、卷积层、实例归一化层以及非线性层对输入的低剂量含噪pet图像和含噪常值图像进行处理;其次,使用四组特征提取模块对所述低剂量含噪pet图像和含噪常值图像进行特征提取;然后,通过3个残差模块对所述提取的特征进行处理;
在所述图像重建部分,首先,通过四个上采样模块根据提取的特征逐步重建出pet图像和常值图像;然后使用填充层、卷积层以及非线性层对所述重建的pet图像和常值图像进行处理,并输出去噪后的pet图像和常值图像。
本申请实施例采取的技术方案还包括:所述特征提取模块包括卷积层、实例归一化层以及非线性层,每个特征提取模块的卷积层步长为2;随着所述特征提取模块的逐渐增加,所述卷积层输出特征图每个边长的尺寸变为上一特征提取模块的一半,所述特征图的数量为上一特征提取模块的两倍。
本申请实施例采取的技术方案还包括:将所述生成器生成的pet图像和常值图像分别与低剂量含噪pet图像和含噪常值图像在通道维上进行拼接,并输入判别器中;然后,所述判别器通过三组卷积、实例归一化和非线性操作,最后使用一个卷积层输出所述生成器生成的pet图像和常值图像的分类结果。
本申请实施例采取的技术方案还包括:所述共轭生成对抗网络的损失函数包括训练判别器时使用的第一损失函数和训练生成器时使用的第二损失函数,所述第一损失函数采用均方误差表示为:
上式中,d表示判别器网络,g表示生成器网络,
所述第二损失函数采用一范数损失函数和均方误差损失函数表示为:
上式中,||*||1表示一范数,γ表示真实的标准剂量pet图像β与常值图像拼接之后的图像。
本申请实施例采取的技术方案还包括:所述共轭生成对抗网络的损失函数还包括特征匹配损失函数:
上式中,di表示判别器的第i层,ni表示每层的元素数,t表示判别器的总层数。
本申请实施例采取的另一技术方案为:一种医学图像降噪系统,包括:
原始图像获取模块:用于获取标准剂量pet图像和常值图像;
图像衰减模块:用于将所述标准剂量pet图像和常值图像分别输入衰减函数,得到对应的低剂量含噪pet图像和含噪常值图像;
图像去噪模块:用于将所述低剂量含噪pet图像和含噪常值图像在宽度维或高度维上进行拼接后,输入到训练好的共轭生成对抗网络中,通过所述共轭生成对抗网络输出去噪后的pet图像和常值图像。
本申请实施例采取的又一技术方案为:一种终端,所述终端包括处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有用于实现所述医学图像降噪方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像降噪。
本申请实施例采取的又一技术方案为:一种存储介质,存储有处理器可运行的程序指令,所述程序指令用于执行所述医学图像降噪方法。
相对于现有技术,本申请实施例产生的有益效果在于:本申请实施例的医学图像降噪方法、系统、终端以及存储介质通过构建共轭生成对抗网络进行医学图像降噪,该网络结构采用图像转换的共轭机制,增强了对生成对抗网络的约束,可以强化对模型训练的监督,突出模型的训练目标,加快模型的收敛速度,同时使得模型能够学习到更为本质的特征,增强模型的泛化性能,并提高模型的稳定性,使得医学图像降噪模型的训练更为容易。在提高图像峰值信噪比和结构相似度的同时,增强了对图像的处理能力,提高了低剂量pet成像质量,降低了其方差,得到更为稳定、可靠的降噪效果。同时,增加生成图像与真实图像的一范数损失函数和特征匹配损失函数,有效提高了生成图像的质量,能够更好地监督网络逼近真实图像。
附图说明
图1是本申请实施例的医学图像降噪方法的流程图;
图2为本申请实施例的共轭生成对抗网络结构示意图;
图3为本申请实施例的生成器结构示意图;
图4为本申请实施例的判别器结构示意图;
图5为本申请实施例的医学图像降噪系统结构示意图;
图6为本申请实施例的终端结构示意图;
图7为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
请参阅图1,是本申请实施例的医学图像降噪方法的流程图。本申请实施例的医学图像降噪方法包括以下步骤:
s1:获取标准剂量pet图像和常值图像(像素值均为某一常数的图像);
s2:将标准剂量pet图像和常值图像分别输入衰减函数,得到对应的低剂量含噪pet图像和含噪常值图像;
s3:将低剂量含噪pet图像和含噪常值图像在宽度维或高度维上进行拼接后,输入到训练好的共轭生成对抗网络中,通过共轭生成对抗网络输出去噪后的pet图像和常值图像;
本步骤中,将低剂量含噪pet图像和含噪常值图像一同输入生成器进行处理,当根据含噪常值图像生成相应的常值图像时,也同时将低剂量含噪pet图像转换成了去噪的pet图像,这一过程即称之为“共轭”,基于此原理构建的生成对抗网络即为“共轭生成对抗网络”。
本申请实施例中,共轭生成对抗网络结构如图2所示,其包括生成器g(generator)和判别器d(discriminator).生成器的具体结构如图3所示,其包括反射式填充层“reflectionpad(3,3,3,3)”、卷积层“i1o32k7s1p0”、实例归一化层“instancenorm”、非线性层“relu”、残差模块“resnetblock”、上采样层“ui512o256k3s2p1”以及非线性层“tanh”。其中,卷积层的输入通道数为1、输出通道数为32、卷积核大小为7*7、步长为1、填充为0;上采样层的输入通道数为512、输出通道数为256、卷积核大小为3*3、步长为2、填充为1,即本申请实施例采用反卷积完成上采样操作。
生成器包括特征提取和图像重建两个部分,在特征提取部分,首先,使用填充层、卷积层、实例归一化层以及非线性层对输入的低剂量含噪pet图像和含噪常值图像进行处理;其次,使用四组特征提取模块依次进行特征的提取,特征提取模块包括卷积层、实例归一化层以及非线性层,每个特征提取模块的卷积层步长设置为2;随着特征提取模块的逐渐增加,卷积层输出特征图每个边长的尺寸变为上一特征提取模块的一半,而特征图的数量是上一特征提取模块的两倍;然后,使用3个残差模块对提取的特征进行处理。
在图像重建部分,首先,通过四个上采样模块根据提取的特征逐步重建出pet图像和常值图像;然后使用填充层、卷积层以及非线性层对重建的pet图像和常值图像进行处理,并输出去噪后的pet图像和常值图像。
判别器d是一个卷积神经网络分类器,判别器结构如图4所示,其包括卷积层、实例归一化层以及非线性层。首先,将生成器生成的pet图像和常值图像分别与低剂量含噪pet图像和含噪常值图像在通道维上进行拼接,并输入判别器中;然后,判别器通过三组卷积、实例归一化和非线性操作,最后使用一个卷积层输出pet图像和常值图像的分类结果。
本申请实施例中,使用adam优化器对共轭生成对抗网络进行训练。在网络训练时,轮流训练判别器和生成器,即每训练一次判别器,再训练一次生成器,因此,共轭生成对抗网络的损失函数包括训练判别器时使用的第一损失函数和训练生成器时使用的第二损失函数。训练判别器时使用的第一损失函数,采用均方误差表示为:
式(1)中,d表示判别器网络,g表示生成器网络,
训练生成器时使用的第二损失函数,采用一范数损失函数(l1)和均方误差损失函数表示为:
式(2)、(3)中,||*||1表示一范数,γ表示真实的标准剂量pet图像β与常值图像拼接之后的图像。
为了进一步提高生成器生成图像的质量,本申请实施例进一步引入了特征匹配损失函数,可表示如下:
式(4)中,di表示判别器的第i层,ni表示每层的元素数,t表示判别器的总层数。
则,最终的训练生成器时使用的第二损失函数为:
lg=lgan λ1ll1 λ2lfeat(5)
式(5)中,λ1,λ2分别表示为范数损失函数ll1、特征匹配损失函数lfeat设置的权重。
基于上述方案,本申请实施例的医学图像降噪方法通过构建共轭生成对抗网络进行医学图像降噪,该网络结构采用图像转换的共轭机制,增强了对生成对抗网络的约束,可以强化对模型训练的监督,突出模型的训练目标,加快模型的收敛速度,同时使得模型能够学习到更为本质的特征,增强模型的泛化性能,并提高模型的稳定性,使得医学图像降噪模型的训练更为容易。在提高图像峰值信噪比和结构相似度的同时,增强了对图像的处理能力,提高了低剂量pet成像质量,降低了其方差,得到更为稳定、可靠的降噪效果。同时,增加生成图像与真实图像的一范数损失函数和特征匹配损失函数,有效提高了生成图像的质量,能够更好地监督网络逼近真实图像。
请参阅图5,为本申请实施例的医学图像降噪系统的结构示意图。本申请实施例的医学图像降噪系统40包括:
原始图像获取模块41:用于获取标准剂量pet图像和常值图像(像素值均为某一常数的图像);
图像衰减模块42:用于将标准剂量pet图像和常值图像分别输入衰减函数,得到对应的低剂量含噪pet图像和含噪常值图像;
图像去噪模块43:用于将低剂量含噪pet图像和含噪常值图像在宽度维或高度维上进行拼接后,输入到共轭生成对抗网络中,通过共轭生成对抗网络输出去噪后的pet图像和常值图像。
请参阅图6,为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述医学图像降噪方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制医学图像降噪。
其中,处理器51还可以称为cpu(centralprocessingunit,中央处理单元)。处理器51可能是一种集成电路芯片,具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图7,为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61,其中,该程序文件61可以以软件产品的形式存储在上述存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本申请所示的这些实施例,而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。
1.一种医学图像降噪方法,其特征在于,包括:
获取标准剂量pet图像和常值图像;
将所述标准剂量pet图像和常值图像分别输入衰减函数,得到对应的低剂量含噪pet图像和含噪常值图像;
将所述低剂量含噪pet图像和含噪常值图像在宽度维或高度维上进行拼接后,输入到训练好的共轭生成对抗网络中,通过所述共轭生成对抗网络输出去噪后的pet图像和常值图像。
2.根据权利要求1所述的医学图像降噪方法,其特征在于,所述共轭生成对抗网络包括生成器和判别器;
所述生成器包括反射式填充层、卷积层、实例归一化层、非线性层、残差模块、上采样层以及非线性层;
所述判别器是一个卷积神经网络分类器,所述判别器包括卷积层、实例归一化层以及非线性层。
3.根据权利要求2所述的医学图像降噪方法,其特征在于,所述生成器包括特征提取和图像重建两个部分;
在所述特征提取部分,首先,使用填充层、卷积层、实例归一化层以及非线性层对输入的低剂量含噪pet图像和含噪常值图像进行处理;其次,使用四组特征提取模块对所述低剂量含噪pet图像和含噪常值图像进行特征提取;然后,通过3个残差模块对所述提取的特征进行处理;
在所述图像重建部分,首先,通过四个上采样模块根据提取的特征逐步重建出pet图像和常值图像;然后使用填充层、卷积层以及非线性层对所述重建的pet图像和常值图像进行处理,并输出去噪后的pet图像和常值图像。
4.根据权利要求3所述的医学图像降噪方法,其特征在于,所述特征提取模块包括卷积层、实例归一化层以及非线性层,每个特征提取模块的卷积层步长为2;随着所述特征提取模块的逐渐增加,所述卷积层输出特征图每个边长的尺寸变为上一特征提取模块的一半,所述特征图的数量为上一特征提取模块的两倍。
5.根据权利要求3所述的医学图像降噪方法,其特征在于,将所述生成器生成的pet图像和常值图像分别与低剂量含噪pet图像和含噪常值图像在通道维上进行拼接,并输入判别器中;然后,所述判别器通过三组卷积、实例归一化和非线性操作,最后使用一个卷积层输出所述生成器生成的pet图像和常值图像的分类结果。
6.根据权利要求2至5任一项所述的医学图像降噪方法,其特征在于,所述共轭生成对抗网络的损失函数包括训练判别器时使用的第一损失函数和训练生成器时使用的第二损失函数,所述第一损失函数采用均方误差表示为:
上式中,d表示判别器网络,g表示生成器网络,
所述第二损失函数采用一范数损失函数和均方误差损失函数表示为:
上式中,||*||1表示一范数,γ表示真实的标准剂量pet图像β与常值图像拼接之后的图像。
7.根据权利要求6所述的医学图像降噪方法,其特征在于,所述共轭生成对抗网络的损失函数还包括特征匹配损失函数:
上式中,di表示判别器的第i层,ni表示每层的元素数,t表示判别器的总层数。
8.一种医学图像降噪系统,其特征在于,包括:
原始图像获取模块:用于获取标准剂量pet图像和常值图像;
图像衰减模块:用于将所述标准剂量pet图像和常值图像分别输入衰减函数,得到对应的低剂量含噪pet图像和含噪常值图像;
图像去噪模块:用于将所述低剂量含噪pet图像和含噪常值图像在宽度维或高度维上进行拼接后,输入到训练好的共轭生成对抗网络中,通过所述共轭生成对抗网络输出去噪后的pet图像和常值图像。
9.一种终端,其特征在于,所述终端包括处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有用于实现权利要求1-7任一项所述的医学图像降噪方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像降噪。
10.一种存储介质,其特征在于,存储有处理器可运行的程序指令,所述程序指令用于执行权利要求1至7任一项所述医学图像降噪方法。
技术总结