本发明涉及医学图像分割,特别是涉及一种基于半监督深度学习的腺体分割方法。
背景技术:
1、结直肠癌与乳腺癌中的腺体实例分割的准确性是病理学家定量分析结癌症的关键步骤,在基于深度学习的结直肠癌与乳腺癌的腺体分割研究中,通常需要病理学家对结直肠癌与乳腺癌的腺体图像进行标注,以便用于模型的训练,有监督的深度学习方法需要大量已标注的结直肠癌和乳腺癌腺体图像,这是一项繁重的任务,为了减轻病理学家标注的工作量,发展半监督深度学习方法是非常有意义的,这种方法结合了有监督和无监督学习,只需要少量已标注的结直肠癌和乳腺癌的腺体图像,同时可以有效地利用未标注的图像进行训练。半监督学习方法可以提高模型的性能,以减少对标注数据的依赖。
2、有标签的图像数量往往是有限的,关键在于如何利用无标签的图像,在半监督的深度学习方法中,无标签的图像在整个模型中担任着辅助引导训练的重要角色,为了更有效地利用无标签的图像,通常会采用伪标签策略来进行辅助监督,从而提高模型性能。随着半监督学习的不断快速发展,常常使用mean-teacher架构,但是,此架构具有一定的局限性,例如教师模型在训练过程中产生的伪标签置信度低,存在一定的噪声,直接将这些低置信度的伪标签用于辅助监督训练会对模型的预测准确性产生不良影响,往往容易造成腺体的过分割或欠分割现象,通常的方法是采用置信度阈值过滤低置信度的伪标签。
3、然而,经过置信度过滤的伪标签仍然存在着一些不可靠的像素,这些像素实际上通常会对学生模型中的预测带来比较大的负面影响,这种情况通常会导致学生模型的预测结果不够准确。因此,我们不能简单地将这些伪标签用于直接监督学生模型的训练,亟需一种基于半监督深度学习的腺体分割方法来解决上述技术问题。
技术实现思路
1、本发明的目的是为了解决结直肠癌和乳腺癌的腺体图像标签少、噪声伪标签、不可靠标签的问题,提供一种基于半监督深度学习的腺体分割方法,使用k-means聚类来细化伪标签,提升伪标签的质量,采用教师模型助手策略,来消除不可靠的伪标签对学生模型的带来的负面影响,能够有效地提升结直肠癌和乳腺癌腺体图像的分割精度。
2、为实现上述目的,本发明提供了如下方案:
3、一种基于半监督深度学习的腺体分割方法,包括:
4、获取待分割腺体图像;
5、将所述待分割腺体图像输入预设的分割模型中,获取分割预测图,其中,所述分割模型基于训练集训练获得,所述训练集包括有标注的结直肠癌腺体图像和乳腺癌腺体图像,无标注的结直肠癌腺体图像和乳腺癌腺体图像,所述分割模型包括教师模型、学生模型和教师助理模型,所述教师模型、学生模型和教师助理模型的主干网络均采用deeplabv3+网络构建。
6、可选地,基于所述训练集训练所述分割模型之前还包括对所述训练集进行预处理,对所述训练集进行预处理包括:
7、对所述结直肠癌腺体图像和乳腺癌腺体图像依次进行灰度化、归一化、数据增强处理;
8、将处理后的所述结直肠癌腺体图像和乳腺癌腺体图像分别划分为有标签图像和无标签图像;
9、将所述有标签图像转换为三元组标签,并进行随机染色和标签编码处理,完成对所述训练集的预处理。
10、可选地,所述deeplabv3+网络包括:编码器和解码器,所述编码器用于提取图像特征,获取特征图;所述解码器用于对所述特征图进行恢复,获取所述分割预测图;
11、其中,所述编码器经过包含7×7卷积、最大池化的第一层、包含1×1、3×3卷积的第二层、包含1×1、3×3卷积的第三层、包含1×1、3×3卷积的第四层、包含1×1、3×3卷积的第五层,以及空洞空间金字塔池化层,提取所述图像的多尺度特征,并将所述多尺度特征进行融合,获取所述特征图;
12、所述解码器经过3×3卷积、非线性激活relu、双线性插值上采样操作对所述特征图进行恢复,获取所述分割预测图。
13、可选地,所述分割模型的训练过程包括:
14、s1.所述学习模型从所述有标签图像中提取特征,获取第一预测图,同时将学习模型参数传递至所述教师模型;
15、s2.所述教师模型基于所述学习模型参数更新教师模型参数,并从所述无标签图像中提取特征,获取粗糙伪标签,并对所述伪标签进行处理,获取建议特征图;
16、s3.将所述粗糙伪标签和所述建议特征图进行特征融合,获取细化伪标签;
17、s4.所述教师助手模型在经过数据扰动的细化伪标签的监督下,从所述无标签图像中提取特征,获取第二预测图,同时将教师助手模型参数传递至所述学习模型;
18、s5.所述学习模型将所述学习模型参数更新为所述教师助手模型参数,迭代进行s1-s5,直至达到预设训练条件。
19、可选地,对所述伪标签进行处理,获取建议特征图包括:
20、对所述伪标签使用k-means聚类,获取聚类特征图;
21、遍历所述聚类特征图中每一个腺体实例,构建灰度矩阵,并基于所述灰度矩阵选取平均灰度值最高的像素作为腺体边界;
22、采用去除最小子区域、腐蚀、膨胀操作来通过所述腺体边界填充腺体区域,获取所述建议特征图。
23、可选地,基于训练集和教师模型、学生模型、教师助理模型训练获得所述分割模型还包括设计损失函数,其中,所述学生模型采用方差约束交叉熵损失,所述教师助手模型采用均方误差损失。
24、可选地,所述学生模型的损失函数为:
25、lvarce=lce+αlvar
26、
27、
28、其中,lvarce为方差约束交叉熵损失,lce为交叉熵损失,α为超参数,lvar为方差约束项,c为实例数,si为属于实例c的像素集合,pi为像素i类别正确的概率,μi为集合si中像素概率pi的均值,n为所有像素的数量,yi(m)是学生模型预测的像素i属于类别m的概率,m为所有类别的数量,ti(m)是像素i对应类别m的真标签,wi是像素可选择的权重。
29、可选地,所述教师助手模型的损失函数为:
30、
31、其中,lmse为均方误差损失,为教师助理模型产生的预测图,pi为教师模型产生的细化伪标签经过classmix数据扰动的伪标签,n为所有像素的数量。
32、可选地,所述学习模型参数、教师模型参数、教师助手模型参数的更新方法为:
33、
34、
35、其中,θt为初始教师模型参数,θs为初始学生模型参数,和)分别为第t次迭代时的教师模型参数、学生模型参数和教师助理模型参数,β为平滑系数。
36、本发明的有益效果为:
37、本发明采用改进版的mean-teacher架构,包含教师模型、学生模型、教师助理三部分,使用预训练的deeplabv3+作为主干网络,对教师模型产生的伪标签使用k-means聚类来细化伪标签,提升伪标签的质量,学生模型跟之前的策略不同,它只训练有标签的图像,对有标签图像进行学习,而对无标签的图像的训练是采用教师模型助手策略,来消除不可靠的伪标签对学生模型的带来的负面影响,最后将学习到的参数通过指数平均(ema)方式传递给学生模型,使学生模型能够充分利用无标签的图像,能够有效地提升结直肠癌和乳腺癌腺体图像的分割精度。
1.一种基于半监督深度学习的腺体分割方法,其特征在于,包括:
2.根据权利要求1所述的基于半监督深度学习的腺体分割方法,其特征在于,基于所述训练集训练所述分割模型之前还包括对所述训练集进行预处理,对所述训练集进行预处理包括:
3.根据权利要求1所述的基于半监督深度学习的腺体分割方法,其特征在于,所述deeplabv3+网络包括:编码器和解码器,所述编码器用于提取图像特征,获取特征图;所述解码器用于对所述特征图进行恢复,获取所述分割预测图;
4.根据权利要求2所述的基于半监督深度学习的腺体分割方法,其特征在于,所述分割模型的训练过程包括:
5.根据权利要求4所述的基于半监督深度学习的腺体分割方法,其特征在于,对所述伪标签进行处理,获取建议特征图包括:
6.根据权利要求4所述的基于半监督深度学习的腺体分割方法,其特征在于,基于训练集和教师模型、学生模型、教师助理模型训练获得所述分割模型还包括设计损失函数,其中,所述学生模型采用方差约束交叉熵损失,所述教师助手模型采用均方误差损失。
7.根据权利要求6所述的基于半监督深度学习的腺体分割方法,其特征在于,所述学生模型的损失函数为:
8.根据权利要求6所述的基于半监督深度学习的腺体分割方法,其特征在于,所述教师助手模型的损失函数为:
9.根据权利要求4所述的基于半监督深度学习的腺体分割方法,其特征在于,所述学习模型参数、教师模型参数、教师助手模型参数的更新方法为:
