本发明涉及一种图像处理和深度学习的方法，具体地说是一种基于cgan的自适应网络用于低剂量pet图像的增强方法。
背景技术：
随着科技的不断发展，人工智能技术越来越多的被应用于医疗诊断，以希望通过人工智能技术帮助医生更好的诊断。正电子发射断层扫描作为一种核医学成像技术，可实现人体代谢过程的可视化。目前该技术已经在临床获得应用，如诊断、分期和治疗监测等。为了获得高质量的用于诊断的pet图像，根据患者的体重，通常给患者注射5~10mci剂量的18f-fdg示踪剂。然而，pet扫描一般需要较长时间的放射性环境暴露，对患者存在有辐射损伤。临床中对某些病患（例如孕妇或儿童等特殊人群）的辐射剂量需要格外的注意。因此，在临床实践中，人们希望将示踪剂的注射剂量尽可能合理的降低。而降低示踪剂的注射剂量不仅意味着风险的降低，同时还可以降低成像成本，缩短成像时间。但是，示踪剂注射剂量的降低，会导致成像过程中的噪声和伪影的增加，从而降低了pet图像的质量，影响医生对患者的诊断。因此，如果能够从低剂量下的pet图像得到高质量的标准剂量下的pet图像，在临床实践中是非常寄希的。
现有的低剂量pet图像去噪方法虽然表现出较好的去噪性能，但仍存在一定的局限性。对于涉及多模态信息融合的方法，pet图像与mr或者ct不匹配，可能会导致伪影和噪声的增加。并且每种网络都是只针对了单一种类低剂量的pet图像，无法实现在不同剂量上的低剂量pet图像生成，这也大大限制了其应用的广泛程度。
技术实现要素：
本发明的目的就是提供一种基于gan的自适应网络用于低剂量pet图像的增强方法，以解决现有网络只能针对单一种类低剂量的pet图像而无法实现在不同剂量上均可生成低剂量pet图像的问题。
本发明的目的是这样实现的：一种基于gan的自适应网络用于低剂量pet图像的增强方法，包括以下步骤：
a、对注射有符合标准剂量的示踪剂的患者进行全身扫描，以此获得患者在标准剂量下的全身的pet图像；
b、对标准剂量下的全身的pet图像的原始数据进行随机部分采样，以模拟真实情况下对患者注射低于标准剂量的示踪剂的情况；
c、采用与标准剂量下的pet图像重建时相同的重建参数，对上述随机部分采样获得的采样数据进行重建，重建包括含有衰减校正、散射校正和随机校正在内的所有物理校正，以此获得若干重建后不同剂量下的pet图像；
d、将通过重建后不同剂量下的pet图像与标准剂量下的pet图像分别输入到网络模型中，通过网络训练，使网络模型能够自动匹配出不同低剂量下的pet图像，并获得接近于标准剂量下的pet图像；
e、对注射有低于标准剂量示踪剂的患者进行全身扫描，以此获得患者在低剂量下的全身的pet图像；再将低剂量下的pet图像输入到网络模型中进行增强，即可输出清晰的pet图像。
所述网络模型包括：
生成器g，采用unet网络分别构成解码器和编码器，用于将低剂量下的pet图像x转化为清晰的pet图像g（x）；
判别器d，采用patchgan中所采用的鉴别器，用于判断在整幅pet图像中n×n大小的patch的真伪；以及
自适应模块，用于为生成器g赋予不同的权重，以对不同剂量下的pet图像均能够进行增强。
所述编码器包括有5个卷积块和4个池化层，其中，卷积块与池化层交叠分布；所述解码器包括有5个卷积块和4个池化层，其中，卷积块与池化层交叠分布。
编码器中的卷积块由两层相同的卷积层组成，卷积层的卷积核为3×3，步长为1，padding为1，以relu做激活函数；解码器中的卷积块由两层相同的卷积层组成，卷积层的卷积核为3×3，步长为1，padding为1，以relu做激活函数。
解码器中的卷积块进行反卷积操作，输出低剂量下的pet图像的噪声分布，将原有的低剂量下的pet图像减去所获得的对应低剂量下的pet图像的噪声分布，即获取高质量的pet图像；将获取的高质量的pet图像与所对应的低剂量下的pet图像送入卷积核为4、步长为2、padding为1的三层卷积层中，逐步增大其感知视野，然后再使其通过卷积核为4、步长为1的一层卷积层，以映射为一维输出；在此过程中均采用lrelu做激活函数。
所述自适应模块用于为生成器g中的编码器的卷积层赋予不同的权重，以对不同剂量下的pet图像均能够进行增强。
所述自适应模块的网络结构为：
第一层：采用自适应平均池化层，输出尺寸为16×16，通道数为1；
第二层：采用全连接层，输出为一维数组，大小为512，并且使用relu作为激活函数；
第三层：采用全连接层，输出为一维数组，大小为5；
第四层：采用sigmoid激活函数层，输出为赋予生成器unet的编码器的不同尺度卷积层的权重值。
所述网络训练包括以下步骤：
d-1、训练生成器g，训练次数以生成器g的参数达到不变时为止；
d-2、训练判别器d，训练次数以判别器d的参数达到不变时为止；
d-3、继续训练生成器g，直到其损失函数g*达到最小化，即完成对网络模型的训练；
cgan网络与传统的gan的主要区别在于添加了一个约束性条件y，cgan的损失函数如公式1所示
其中：e表示期望，d（x|y）表示判别器对真实的样本进行判别，z是随机输入的噪声，g(z|y)表示生成的假数据，d（g(z|y)）表示判别器对于假数据的判别结果。
生成器的损失函数g*的计算如公式2所示：
其中，ming是生成器g的最小化损失函数，maxd是判别器d的最大化损失函数，ƛ1是…的系数，ƚcgan(d,g)是cgan的损失函数，ƚl1(g)是距离l1loss,即平均绝对误差。
本发明通过设计一种自适应权重分配模块，可以根据所提供先验知识（所采用的不同剂量）为生成器unet的编码器的卷积层动态赋予权重，使本发明所提出的网络模型能够对多种剂量的pet图像进行同时去噪，从而得到高质量的pet图像，由此解决了深度学习中所训练的单一模型只能用于单一剂量的pet图像去噪任务的弊端。
实验表明，本发明能够有效地将不同低剂量下的pet图像通过自适应模块，来匹配不同的权重，并生成高质量的pet图像。本发明增强方法可以有效地将不同低剂量下的pet图像生成清晰的pet图像，有助于医生对患者病情的诊断。
本发明解决了深度学习中所训练的单一模型只能用于单一剂量的pet图像去噪任务的弊端，并且对不同低剂量下的pet图像均有很好的增强作用。
附图说明
图1是本发明方法的流程框图。
图2是基础网络框架的结构示意图。
图3是unet网络结构示意图。
图4是加入自适应模块的生成器网络结构示意图。
图5是判别器的网络结构示意图。
具体实施方式
如图1所示，本发明基于cgan的自适应网络用于低剂量pet图像的增强方法包括以下步骤：
1、对注射有符合标准剂量的示踪剂的患者进行全身扫描，以此获得患者在标准剂量下的全身的pet图像；
2、对标准剂量下的pet图像的原始数据进行随机部分采样，以模拟真实情况下对患者注射低于标准剂量的示踪剂的情况；
3、采用与标准剂量下的pet图像重建时相同的重建参数，对上述随机部分采样获得的采样数据进行重建，重建包括含有衰减校正、散射校正和随机校正在内的所有物理校正；
4、将通过重建后不同剂量下的pet图像与标准剂量下的pet图像分别输入到网络模型中，通过网络训练，使网络模型能够自动匹配不同低剂量下的pet图像，并获得接近于标准剂量下的pet图像；
5、对注射有低于标准剂量示踪剂的患者进行全身扫描，以此获得患者在低剂量下的全身的pet图像；再将低剂量下的pet图像输入到网络模型中进行增强，即可输出清晰的pet图像。
具体包括以下步骤：
1、数据集的构建：包括训练集的构建和测试集的构建。
训练集包括x和y两种类型的pet图像；其中，x为低剂量下的pet图像，包括1/4、1/10、1/20剂量下的pet图像；y为标准剂量下的清晰pet图像。x类型的pet图像与y类型的pet图像之间存在患者扫描部位一一对应的关系。
测试集只有低剂量下的pet图像，与训练集中的x类型相一致。
2、网络模型的构建：
如图2所示，本发明方法中的基础网络框架为传统的条件生成对抗网络。网络模型包括生成器g、判别器d和自适应模块三个组成部分。其中，生成器g采用unet网络分别构成解码器和编码器，用于将低剂量下的pet图像x转化为清晰的pet图像g（x）；判别器d采用patchgan中所采用的鉴别器，用于判断在整幅pet图像中n×n大小的patch的真伪；自适应模块用于对生成器g的unet中的卷积层赋予不同的权重，以使不同剂量下的pet图像均能够进行增强。生成器g在训练过程中的目标是制造假的图片，让判别器d无法判断真假，判别器d在训练过程中的目标是区分真假pet图像样本。
2.1、生成器g的详细网络结构是：如图3所示，采用传统的unet网络分别构成解码器和编码器，其中，编码器包括有5个卷积块和4个池化层，具体是：
第一层为卷积块，输出尺寸为288×288，通道数为32；
第二层为池化层，输出尺寸为144×144，通道数为32；
第三层为卷积块，输出尺寸为144×144，通道数为64；
第四层为池化层，输出尺寸为72×72，通道数为64；
第五层为卷积块，输出尺寸为72×72，通道数为128；
第六层为池化层，输出尺寸为36×36，通道数为128；
第七层为卷积块，输出尺寸为36×36，通道数为256；
第八层为池化层，输出尺寸为18×18，通道数为256；
第九层为卷积块，输出尺寸为18×18，通道数为512。
可见，卷积块与池化层是交叠分布，可输入288×288×1的图像。编码器中的卷积块由两层相同的卷积层组成，卷积层的卷积核为3×3，步长为1，padding为1，以relu做激活函数。
解码器也包括有5个卷积块和4个池化层，其结构基本同上，也是卷积块与池化层交叠分布。解码器中的卷积块进行反卷积操作，输出低剂量下的pet图像的噪声分布，将原有的低剂量下的pet图像减去所获得的对应低剂量下的pet图像的噪声分布，即获取高质量的pet图像；将获取的高质量的pet图像与所对应的低剂量下的pet图像送入卷积核为4、步长为2、padding为1的三层卷积层中，逐步增大其感知视野，然后再使其通过卷积核为4、步长为1的一层卷积层，以映射为一维输出；在此过程中均采用lrelu做激活函数。
2.2、判别器d的详细网络结构（图5）是：判别器d采取的是patchgan中所采用的鉴别器策略。传统gan网络中的鉴别器是用于感知生成器合成图片与ground-truth的差异，并旨在实现区分出fakeorreal，其输出结果是一个整体图片的加权值，无法体现出局部图像的特征。而patchgan的思路是去判断在整幅图像中n×n大小的patch真伪。
判别器d将生成的高质量的pet图像与其对应的低剂量的pet图像送入卷积核为4、步长为2、padding为1的三层卷积层中，逐步增大其感知视野，然后再使其通过卷积核为4、步长为1的一层卷积层来映射成为一维输出。在此过程中均采用lrelu做激活函数。
2.3、自适应模块的详细网络结构是（图4）：
第一层为自适应平均池化层，其输出尺寸为16×16，通道数为1；
第二层为全连接层，其输出为一维数组，输出尺寸为512，并且使用relu作为激活函数；
第三层为全连接层，其输出为一维数组，输出尺寸为5；
第四层为sigmoid激活函数层，其输出为赋予生成器unet的编码器的不同尺度卷积层的权重值。
3、网络训练：
数据主要分为训练集和测试集。使用36368张图片作为训练集，其中27276张图片为低剂量的pet图像，包含1/4、1/10、1/20剂量下的pet图像各9092张，另外9092张为清晰的标准剂量下的pet图像。
测试集使用3895张低剂量下的pet图像。
训练集和测试的图像尺寸都是288×288。所有的实验均是在一个装有nvidiartx2080ti11g×8的服务器上进行，并且深度学习网络均是基于pytorch实现，训练的所有网络均使用adam优化器。
对于gan网络的训练，采用的方法为单独交替迭代训练。首先训练生成器g，将低剂量pet图像输入gan网络，使生成器g输出一个假的样本集（此时效果不一定为最佳）；固定生成器g，再训练判别器d，训练过程为一个有监督的二分类问题，训练次数以判别器d的参数达到不变时为止。当判别器d训练达到一定的训练次数后，判别器d的参数保持不变，继续训练生成器g；如此循环往复，直到生成器g的损失函数g*达到最小化，即完成对网络模型的训练。
利用训练完成的网络模型能够对不同低剂量的pet图像进行增强，并获得清晰的pet图像。最终，通过原有的低剂量pet图像减去所获得的噪声分布来获取最终的高质量的pet图像。
1.一种基于cgan的自适应网络用于低剂量pet图像的增强方法，其特征在于，包括以下步骤：
a、对注射有符合标准剂量的示踪剂的患者进行全身扫描，以此获得患者在标准剂量下的全身的pet图像；
b、对标准剂量下的pet图像的原始数据进行随机部分采样，以模拟真实情况下对患者注射低于标准剂量的示踪剂的情况；
c、采用与标准剂量下的pet图像重建时相同的重建参数，对上述随机部分采样获得的采样数据进行重建，重建包括含有衰减校正、散射校正和随机校正在内的物理校正，以此获得若干重建后不同剂量下的pet图像；
d、将通过重建后不同剂量下的pet图像与标准剂量下的pet图像分别输入到网络模型中，通过网络训练，使网络模型能够自动匹配不同低剂量下的pet图像，并获得接近于标准剂量下的pet图像；
e、对注射有低于标准剂量示踪剂的患者进行全身扫描，以此获得患者在低剂量下的全身的pet图像；再将低剂量下的pet图像输入到网络模型中进行增强，即可输出清晰的pet图像。
2.根据权利要求1所述的基于cgan的自适应网络用于低剂量pet图像的增强方法，其特征在于，所述网络模型包括：
生成器g，采用unet网络分别构成解码器和编码器，用于将低剂量下的pet图像x转化为清晰的pet图像g（x）；
判别器d，采用patchgan中所采用的鉴别器，用于判断在整幅pet图像中n×n大小的patch的真伪；以及
自适应模块，用于为生成器g赋予不同的权重，以对不同剂量下的pet图像均能够进行增强。
3.根据权利要求2所述的基于cgan的自适应网络用于低剂量pet图像的增强方法，其特征在于，所述编码器包括有5个卷积块和4个池化层，其中，卷积块与池化层交叠分布。
4.根据权利要求3所述的基于cgan的自适应网络用于低剂量pet图像的增强方法，其特征在于，编码器中的卷积块由两层相同的卷积层组成，卷积层的卷积核为3×3，步长为1，padding为1，以relu做激活函数；解码器中的卷积块由两层相同的卷积层组成，卷积层的卷积核为3×3，步长为1，padding为1，以relu做激活函数。
5.根据权利要求4所述的基于cgan的自适应网络用于低剂量pet图像的增强方法，其特征在于，解码器中的卷积块进行反卷积操作，输出低剂量下的pet图像的噪声分布，将原有的低剂量下的pet图像减去所获得的对应低剂量下的pet图像的噪声分布，即获取高质量的pet图像；将获取的高质量的pet图像与所对应的低剂量下的pet图像送入卷积核为4、步长为2、padding为1的三层卷积层中，逐步增大其感知视野，然后再使其通过卷积核为4、步长为1的一层卷积层，以映射为一维输出；在此过程中均采用lrelu做激活函数。
6.根据权利要求5所述的基于cgan的自适应网络用于低剂量pet图像增强的方法，其特征在于，所述自适应模块用于为生成器g中的编码器的卷积层赋予不同的权重，以对不同剂量下的pet图像均能够进行增强。
7.根据权利要求6所述的基于cgan的自适应网络用于低剂量pet图像增强的方法，其特征在于，所述自适应模块的网络结构为：
第一层：采用自适应平均池化层，输出尺寸为16×16，通道数为1；
第二层：采用全连接层，输出为一维数组，大小为512，并且使用relu作为激活函数；
第三层：采用全连接层，输出为一维数组，大小为5；
第四层：采用sigmoid激活函数层，输出为赋予生成器unet的编码器的不同尺度卷积层的权重值。
8.根据权利要求7所述的基于cgan的自适应网络用于低剂量pet图像增强的方法，其特征在于，所述网络训练包括以下步骤：
d-1、训练生成器g，训练次数以生成器g的参数达到不变时为止；
d-2、训练判别器d，训练次数以判别器d的参数达到不变时为止；
d-3、继续训练生成器g，直到其损失函数g*达到最小化，即完成对网络模型的训练。
技术总结