本发明涉及医学影像处理技术领域，尤其涉及一种基于局部优化生成对抗网络的mri运动伪影校正方法。
背景技术：
医学影像在现代医学中被广泛使用，其中，由于核磁共振成像不会对人体产生辐射，且对肿瘤有较好的检查效果，被广泛应用于临床检查中。然而，核磁共振成像时间较久，一次全身检查通常需要半个小时左右，因此，相较于其它类型的医学影像，核磁共振成像期间更容易受到人体运动的困扰。同时，由于核磁共振采集期间对于人体的运动极为敏感，所以在最终的成像结果中往往容易出现运动伪影。产生的运动伪影在临床治疗中会对医生的诊断产生不利的影响，如病理信息的丢失或者模糊等，这增大了误诊的风险，因此在mri的临床应用中需要避免出现运动伪影。虽然通过重新采集能够获取到清晰的mri，但是mr采集所产生的时间成本和经济成本均是非常高昂的。
技术实现要素：
为解决上述技术问题，本发明提供一种基于局部优化生成对抗网络的mri运动伪影校正方法。
本发明采用的技术方案是：一种基于局部优化生成对抗网络的mri运动伪影校正方法，包括：
s1：获取多个原始样本图像io，针对每一所述原始样本图像io，通过快速傅里叶变换将其转换为k空间数据，并对所述k空间数据进行随机相移后将发生改变的k空间数据通过快速傅里叶逆变换得到带有运动伪影的图像ima；
s2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，所述生成器包括下采样模块、残差模块以及与所述下采样模块跳层连接的上采样模块；
s3：将所述图像ima输入所述生成对抗网络模型，所述下采样模块提取图像ima的图像特征，所述上采样模块对所述下采样模块输出的对应层级的图像特征以及所述残差模块输出的图像特征进行融合处理，并输出去除运动伪影后的校正图像if；
s4：将所述原始样本图像io和带有运动伪影的图像ima作为训练数据对生成对抗网络模型的判别器进行t次训练后，再对生成器进行k次训练，交替迭代优化，直至达到总训练轮次得到目标生成对抗网络模型；所述判别器在每一次训练过程中利用预先通过wasserstein距离在图像if和图像io之间构造的对抗损失函数与预先在图像if和图像io的联合采样空间下构造的梯度惩罚损失函数进行优化，所述生成器在每一次训练过程中利用预先在图像if和图像io之间构造的内容损失函数与预先在图像if和图像io之间构造的局部优化损失函数进行优化；k>t，t和k为大于等于1的整数；
s5：获取待去除运动伪影的mri原始图像；
s6：将所述mri原始图像输入所述目标生成对抗网络模型得到校正后的mri目标图像。
进一步地，步骤s1中通过
其中，fft表示快速傅里叶变换，ifft表示快速傅里叶逆变换，kx和ky分别表示k空间下图像io分别在频率编码方向和相位编码方向上的坐标，m(ky)和n(ky)分别表示k空间下图像io分别在kx方向和ky方向上的相移函数。
进一步地，在步骤s3中所述上采样模块通过upsampleout(q)＝σ(concate(upsampleout(q-1)，downsampleout(s-q 1)))生成并输出去除运动伪影后的校正图像if；
其中，upsampleout(1)＝σ(concate(res,downsampleout(s)))，所述下采样模块和上采样模块的个数均为s，upsampleout(q)表示第q个上采样模块的输出，downsampleout(s-q 1)表示第s-q 1个下采样模块的输出，concate代表在特征图的最后一个维度上进行拼接，σ表示激活函数，所述第s个下采样模块与第1个上采样模块之间连接有所述残差模块，res表示所述残差模块的输出。
进一步地，步骤s4中预先构造的对抗损失函数为:
其中，
进一步地，步骤s4中预先构造的梯度惩罚损失函数为：
其中，
进一步地，所述判别器在每一次训练过程中的总损失函数为
进一步地，步骤s4中预先构造的内容损失函数为：
lcontent＝lmse αlperceptual；
其中，
进一步地，步骤s4中预先构造的局部优化损失函数为：
其中，k表示预先定义的单位矩阵，
进一步地，所述生成器在每一次训练过程中的总损失函数为
其中，β表示控制局部优化损失比重的超参数，γ表示控制对抗损失比重的超参数，
进一步地，t＝1，k＝2。
本发明提供的基于局部优化生成对抗网络的mri运动伪影校正方法在上采样模块和下采样模块之间添加了跳层连接，使最后构建的能够更好地特征并实现运动伪影的去除，能够更好的实现运动伪影的去除，并且基于局部优化损失计算了每组照片的局部损失，使输出的图像不仅在全局上损失最小，在局部区域也能够达到最优，以此保留输出图像的局部一致性，并且也不需要添加额外的组件，另外还结合了对抗损失函数、梯度惩罚损失函数以及内容损失函数对模型进行优化，使通过该模型校正后的图像具备逼真的纹理信息、结构信息以及更丰富的细节信息。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本实施例提供的基于局部优化生成对抗网络的mri运动伪影校正方法的流程示意图；
图2为本实施例提供的基于局部优化生成对抗网络的mri运动伪影校正方法的框架图；
图3为本实施例提供的实验数据图。
具体实施方式
为了使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例提供一种基于局部优化生成对抗网络的mri运动伪影校正方法，其流程图如图1所示，其框架图如图2所示，包括如下步骤：
s1：获取多个原始样本图像io，针对每一所述原始样本图像io，通过快速傅里叶变换将其转换为k空间数据，并对所述k空间数据进行随机相移后将发生改变的k空间数据通过快速傅里叶逆变换得到带有运动伪影的图像ima。
具体来说，步骤s1中可以通过
其中，fft表示快速傅里叶变换，ifft表示快速傅里叶逆变换，kx和ky分别表示k空间下图像io分别在频率编码方向和相位编码方向上的坐标，m(ky)和n(ky)分别表示k空间下图像io分别在kx方向和ky方向上的位移函数。
根据傅里叶变换可知，带有运动伪影图片的k空间数据可用下式表示：
令x′＝x-m(ky),y′＝y-n(ky)；
则
最后得到：
其中，2π(kxm(ky) kyn(ky))就是添加的相位偏移，用于添加运动伪影，s是无运动伪影图片的k空间数据，s′是添加运动伪影后的k空间数据。
s2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，所述生成器包括下采样模块、残差模块以及与所述下采样模块跳层连接的上采样模块。
s3：将所述图像ima输入所述生成对抗网络模型，所述下采样模块提取图像ima的图像特征，所述上采样模块对所述下采样模块输出的对应层级的图像特征以及所述残差模块输出的图像特征进行融合处理，并输出去除运动伪影后的校正图像if。
本实施例中，上采样模块的输出融合了对应层级的下采样的输出，具体来说，在步骤s3中所述上采样模块可以通过以下公式生成并输出去除运动伪影后的校正图像if：
upsampleout(q)＝σ(concate(upsampleout(q-1)，downsampleout(s-q 1)))；
其中，upsampleout(1)＝σ(concate(res,downsampleout(s)))，所述下采样模块和上采样模块的个数均为s，upsampleout(q)表示第q个上采样模块的输出，downsampleout(s-q 1)表示第s-q 1个下采样模块的输出，concate代表在特征图的最后一个维度上进行拼接，σ表示激活函数，所述第s个下采样模块与第1个上采样模块之间连接有所述残差模块，残差模块用于提取图像的深层次特征，res表示所述残差模块的输出。
s4：将所述原始样本图像io和带有运动伪影的图像ima作为训练数据对生成对抗网络模型的判别器进行t次训练后，再对生成器进行k次训练，交替迭代优化，直至达到总训练轮次得到目标生成对抗网络模型；所述判别器在每一次训练过程中利用预先通过wasserstein距离(推土机距离)在图像if和图像io之间构造的对抗损失函数与预先在图像if和图像io的联合采样空间下构造的梯度惩罚损失函数进行优化，所述生成器在每一次训练过程中利用预先在图像if和图像io之间构造的内容损失函数与预先在图像if和图像io之间构造的局部优化损失函数进行优化；k>t，t和k为大于等于1的整数。
应该说明的是，在进行对抗网络模型训练之前，预先在图像if和图像io之间构造了对抗损失函数，以使输出的图像更加逼真，泛化能力更强，并预先在图像if和图像io的采样空间下构造了梯度惩罚损失函数来约束判别器的优化，避免出现梯度消失和梯度爆炸的现象，并预先在图像if和图像io之间构造内容损失函数，使输出的图像更加清晰、纹理更加真实，并预先在图像if和图像io之间构造局部损失函数，以保证图像if局部的一致性。
步骤s4中预先构造的对抗损失函数为:
其中，
步骤s4中预先构造的梯度惩罚损失函数为：
其中，
所述判别器在每一次训练过程中的总损失函数为
步骤s4中预先构造的内容损失函数为：
lcontent＝lmse αlperceptual；
其中，
本实施例中的预训练网络是一个用于提取图像特征的预训练网络，通过公开mri数据集训练得到，优选的，本实施例中的vgg网络可以选取vgg-19网络。
步骤s4中预先构造的局部优化损失函数为：
其中，k表示预先定义的单位矩阵，
进一步地，所述生成器在每一次训练过程中的总损失函数为
其中，β表示控制局部优化损失比重的超参数，γ表示控制对抗损失比重的超参数，
s5：获取待去除运动伪影的mri原始图像。
s6：将所述mri原始图像输入所述目标生成对抗网络模型得到校正后的mri目标图像。
传统图像领域中，在训练生成对抗网络模型时，通常是训练5次判别器，然后训练1次生成器，而且数据集使用的是自然图像数据集。但是本实施例考虑到医学图像语义信息较为简单的原因，判别器的收敛速度比需要进行运动伪影去除操作的生成器收敛速度快，所以本实施例中的k>t，经过多次实验，优选的，本实施例中的t＝1，k＝2，图3为实验过程中图像的示意图，最左边的为仿真mri，中间的为原始标签mri，最右边的为通过目标对抗网络模型修复校正后的mri。
本实施例提供的基于生成对抗网络的mri运动伪影回溯校正方法可以实现mri中运动伪影的去除，本方法的结果相较于其它方法，修复后的mri的细节更加真实，具体的，使用基于随机的相位偏移方法进行运动伪影的仿真，结合了对抗损失和内容损失来实现对模型的约束和优化，使模型的输出图像具备真实的纹理信息和结构信息，引入局部优化损失来保证mri的局部一致性,而且不需要添加额外的组件便可实现。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
1.一种基于局部优化生成对抗网络的mri(磁共振成像)运动伪影回溯校正方法，其特征在于，包括：
s1：获取多个原始样本图像io，针对每一所述原始样本图像io，通过快速傅里叶变换将其转换为k空间数据，并对所述k空间数据进行随机相移后将发生改变的k空间数据通过快速傅里叶逆变换得到带有运动伪影的图像ima；
s2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，所述生成器包括下采样模块、残差模块以及与所述下采样模块跳层连接的上采样模块；
s3：将所述图像ima输入所述生成对抗网络模型，所述下采样模块提取图像ima的图像特征，所述上采样模块对所述下采样模块输出的对应层级的图像特征以及所述残差模块输出的图像特征进行融合处理，并输出去除运动伪影后的校正图像if；
s4：将所述原始样本图像io和带有运动伪影的图像ima作为训练数据对生成对抗网络模型的判别器进行t次训练后，再对生成器进行k次训练，交替迭代优化，直至达到总训练轮次得到目标生成对抗网络模型；所述判别器在每一次训练过程中利用预先通过wasserstein距离在图像if和图像io之间构造的对抗损失函数与预先在图像if和图像io的联合采样空间下构造的梯度惩罚损失函数进行优化，所述生成器在每一次训练过程中利用预先在图像if和图像io之间构造的内容损失函数与预先在图像if和图像io之间构造的局部优化损失函数进行优化；k>t，t和k为大于等于1的整数；
s5：获取待去除运动伪影的mri原始图像；
s6：将所述mri原始图像输入所述目标生成对抗网络模型得到校正后的mri目标图像。
2.如权利要求1所述的基于局部优化生成对抗网络的mri运动伪影校正方法，其特征在于，步骤s1中通过
其中，fft表示快速傅里叶变换，ifft表示快速傅里叶逆变换，kx和ky分别表示k空间下图像io分别在频率编码方向和相位编码方向上的坐标，m(ky)和n(ky)分别表示k空间下图像io分别在kx方向和ky方向上的相移函数。
3.如权利要求1所述的基于局部优化生成对抗网络的mri运动伪影校正方法，其特征在于，在步骤s3中所述上采样模块通过upsampleout(q)＝σ(concate(upsampleout(q-1)，downsampleout(s-q 1)))生成并输出去除运动伪影后的校正图像if；
其中，upsampleout(1)＝σ(concate(res,downsampleout(s)))，所述下采样模块和上采样模块的个数均为s，upsampleout(q)表示第q个上采样模块的输出，downsampleout(s-q 1)表示第s-q 1个下采样模块的输出，concate代表在特征图的最后一个维度上进行拼接，σ表示激活函数，所述第s个下采样模块与第1个上采样模块之间连接有所述残差模块，res表示所述残差模块的输出。
4.如权利要求1所述的基于局部优化生成对抗网络的mri运动伪影校正方法，其特征在于，步骤s4中预先构造的对抗损失函数为:
其中，
5.如权利要求4所述的基于局部优化生成对抗网络的mri运动伪影校正方法，其特征在于，步骤s4中预先构造的梯度惩罚损失函数为：
其中，
6.如权利要求5所述的基于局部优化生成对抗网络的mri运动伪影校正方法，其特征在于，所述判别器在每一次训练过程中的总损失函数为
7.如权利要求1所述的基于局部优化生成对抗网络的mri运动伪影校正方法，其特征在于，步骤s4中预先构造的内容损失函数为：lcontent＝lmse αlperceptual；
其中，
8.如权利要求7所述的基于局部优化生成对抗网络的mri运动伪影校正方法，其特征在于，步骤s4中预先构造的局部优化损失函数为：
其中，k表示预先定义的单位矩阵，
9.如权利要求8所述的基于局部优化生成对抗网络的mri运动伪影校正方法，其特征在于，所述生成器在每一次训练过程中的总损失函数为
其中，β表示控制局部优化损失比重的超参数，γ表示控制对抗损失比重的超参数，
10.如权利要求1-9任一项所述的基于局部优化生成对抗网络的mri运动伪影校正方法，其特征在于，t＝1，k＝2。
技术总结