本发明涉及人工智能与医学图像处理领域,更具体地,涉及一种基于形状指引的无监督域适应医学图像分割方法与系统。
背景技术:
1、在临床中的一个主要问题是不同医院采用的首选方式和扫描方案可能存在很大差异。不同的ct机器和方案会导致扫描的间距、切片厚度以及器官强度和纹理的变化不同这就导致医学数据集之间存在显著的领域差异,传统的监督学习方法在实际应用中往往受到限制,难以在未标记领域中取得令人满意的性能。即在某个医院的特定源域上训练的模型如果直接应用于从其他医院获得的数据而不针对目标数据进行微调,通常会降低性能。此外,医学图像分割需要大规模的注释数据才能实现良好的性能,这在标记的源域中可用,但在未知的目标域中不可用。除此之外,在标记样本方面也存在困难,因为专业医学标注通常需要耗费大量时间和专业知识。
2、在以往的无监督域适应的医学图像分割中主要集中在解决纹理差异,以缩小域差距。然而,由于纹理的复杂性,想要获得一个通用的模型使得在目标数据集上表现良好这一任务是非常具有挑战性的。以往的形状学习的方法有的是通过约束分割边界来约束形状,有的研究是通过使用变分自动编码器学习器官的形状,也有的通过隐式空间表示学习器官的形状,然而这些方式往往只适用于域间距较小的情况,但是当面临跨模态的情况时,性能会下降严重,除此之外,现有的形状建模的方法往往只是学习某个数据集内的某个特定器官的平均形状,泛化性较差。当面对域间距过大的情况源域分割模型往往会遭受到非常严重的噪声的影响,从而导致分割结果质量退化严重。
3、现有技术提供了一种无监督领域自适应图像分割方法及其系统,该方法包括:根据源域数据中带分割标签的图像训练分割模型和生成模型;将目标域数据中不带分割标签的图像输入分割模型,得到对应的分割预测标签;将目标域数据和对应的分割预测标签输入生成模型,得到匹配的参考图像和分割参考标签;将与分割参考标签重叠率符合预设值的分割预测标签作为准分割标签,根据准分割标签和对应的目标域数据再次训练分割模型并重新确定准分割标签,直至分割模型的分割精度满足预设条件时结束训练。
技术实现思路
1、本发明为克服上述面对域间距过大遭受严重噪声和学习器官种类偏少导致泛化性差的缺陷,提供一种基于形状指引的无监督域适应医学图像分割方法与系统。
2、为解决上述技术问题,本发明的技术方案如下:
3、本发明提供了一种基于形状指引的无监督域适应医学图像分割方法,所述方法包括:
4、获取源域图像数据和目标域图像数据;
5、对源域图像和目标域图像进行预处理,获得预处理后的源域图像和目标域图像;
6、根据预处理后的源域图像对构建的源分割模型和形状指引模型进行训练,获得训练好的形状指引模型、训练好的源分割模型及其网络参数;
7、基于预处理后的目标域图像数据和训练好的形状指引模型,对构建的伪标签分割模型进行训练,获得训练好的伪标签分割模型及其网络参数;其中,将所述训练好的源分割模型的网络参数作为构建的伪标签分割模型的初始网络参数;
8、基于预处理后的目标域图像数据、训练好的形状指引模型和训练好的伪标签分割模型,对构建的目标分割模型进行训练,获得训练好的目标分割模型;其中,将所述训练好的伪标签分割模型的网络参数作为构建的目标分割模型的初始网络参数;
9、将待分割图像输入到训练好的目标分割模型中,得到目标图像分割结果。
10、优选地,进行预处理的具体方法为:
11、对所述源域图像和目标域图像调整至相同的层厚,进行随机旋转和随机平移操作后,再进行随机强度缩放,获得预处理后的源域图像和目标域图像。
12、优选地,获得训练好的源分割模型具体方法为:
13、构建分割模型,所述分割模型包括依次连接的编码器和解码器;
14、利用编码器对预处理后的源域图像进行提取,获得源域图像特征;
15、所述源域图像特征通过解码器进行解码,获得源域分割结果;
16、设置第一dice损失函数,根据源域分割结果与真实标签,计算第一dice损失函数值,并对构建分割模型进行参数调整;
17、当第一dice损失函数值达到预设值时或达到预设训练次数时,获得训练好的分割模型。
18、优选地,所述第一dice损失函数为:
19、
20、其中,为源域分割结果,ys为真实标签。
21、优选地,获得训练好的形状指引模型具体方法为:
22、对预处理后源域图像中的分割标签进行遮蔽,获得遮蔽标签的图像;
23、将遮蔽标签的图像输入构建的形状指引模型中,获得重构分割标签的图像;
24、设置重构损失函数,根据重构分割标签的图像和分割标签的图像,计算重构损失函数值,并对构建形状指引模型进行参数调整;
25、当重构损失函数值达到预设值时,获得训练好的形状指引模型。
26、优选地,获得训练好的伪标签分割模型及其网络参数具体方法为:
27、将预处理后的目标域图像数据输入构建的伪标签分割模型中,得到伪标签;
28、将伪标签输入训练好的的形状指引模型中,得到对应的重建伪标签;
29、设置第二dice损失函数,根据重建伪标签和伪标签,计算第二dice损失函数值,当第二dice损失函数值达到预设值时,获得训练好的的伪标签分割模型及其网络参数。
30、优选地,所述第二dice损失函数为:
31、
32、其中,为伪标签;为重建伪标签。
33、优选地,获取训练好的目标分割模型具体方法为:
34、构建目标分割模型,将训练好的伪标签分割模型的网络参数作为目标分割模型的初始网络参数;
35、将预处理后的目标域图像数据分别输入训练好的伪标签分割模型和构建的目标分割模型中,获得伪标签和目标分割标签;将所述目标分割标签输入训练好的形状指引模型中,获得目标重建标签;
36、设置总损失函数,根据所述伪标签、目标分割标签和目标重建标签计算总损失函数值,当总损失函数值达到预设值时,获得训练好的目标分割模型。
37、优选地,所述总损失函数包括重构损失函数和伪损失函数,所述总损失函数为:
38、
39、其中,λpseudo为超参数,为伪损失函数;为重构损失函数;
40、所述重构损失函数为:
41、
42、其中,为目标分割标签;为目标重建标签;
43、所述伪损失函数伪:
44、
45、其中,为伪标签。
46、本发明还提供了一种基于形状指引的无监督域适应医学图像分割系统,用于实现上述的方法,所述系统包括:
47、数据获取模块,获取源域图像数据和目标域图像数据;
48、预处理模块,对源域图像和目标域图像进行预处理,获得预处理后的源域图像和目标域图像;
49、第一模型训练模块,根据预处理后的源域图像对构建的源分割模型和形状指引模型进行训练,获得训练好的形状指引模型、训练好的源分割模型及其网络参数;
50、第二模型训练模块,基于预处理后的目标域图像数据和训练好的形状指引模型,对构建的伪标签分割模型进行训练,获得训练好的伪标签分割模型及其网络参数;其中,将所述训练好的源分割模型的网络参数作为构建的伪标签分割模型的初始网络参数;
51、目标模型训练模块,基于预处理后的目标域图像数据、训练好的形状指引模型和训练好的伪标签分割模型,对构建的目标分割模型进行训练,获得训练好的目标分割模型;其中,将所述训练好的伪标签分割模型的网络参数作为构建的目标分割模型的初始网络参数;
52、分割模块,将待分割图像输入到训练好的目标分割模型中,得到目标图像分割结果。
53、与现有技术相比,本发明技术方案的有益效果是:
54、本发明本发明通过基于形状指引的方式来构建无监督域适应的分割模型,能够使得能够在无监督情况下学习医学图像的结构信息,有助于更准确地分割出不同的组织结构和器官,提高分割精度;通过补全标签掩码的方式来学习器官的形状、结构信息,使得形状指引模型能够针对每一个人得器官形状进行补全,而不是仅仅学习一个数据集中的器官的平均模板,能够极大的缓解严重的性能衰退。这种方式能在很大程度下降低不同模态、甚至于不同器官之间域间距过大,而导致性能急剧下降的情况。
1.一种基于形状指引的无监督域适应医学图像分割方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于形状指引的无监督域适应医学图像分割方法,其特征在于,进行预处理的具体方法为:
3.根据权利要求1所述的基于形状指引的无监督域适应医学图像分割方法,其特征在于,获得训练好的源分割模型具体方法为:
4.根据权利要求3所述的基于形状指引的无监督域适应医学图像分割方法,其特征在于,所述第一dice损失函数为:
5.根据权利要求1所述的基于形状指引的无监督域适应医学图像分割方法,其特征在于,获得训练好的形状指引模型具体方法为:
6.根据权利要求1所述的基于形状指引的无监督域适应医学图像分割方法,其特征在于,获得训练好的伪标签分割模型及其网络参数具体方法为:
7.根据权利要求6所述的基于形状指引的无监督域适应医学图像分割方法,其特征在于,所述第二dice损失函数为:
8.根据权利要求1所述的基于形状指引的无监督域适应医学图像分割方法,其特征在于,获取训练好的目标分割模型具体方法为:
9.根据权利要求1所述基于形状指引的无监督域适应医学图像分割方法,其特征在于,所述总损失函数包括重构损失函数和伪损失函数,所述总损失函数为:
10.一种形状指引的无监督域适应医学图像分割系统,用于实现权利要求1-9所述的方法,其特征在于,所述系统包括:
